当前位置: 首页 > >

实验设计和结果分析经验总结

发布时间:

听了一位实战派博士的关于实验设计和结果分析的分享,记录一下。属于方法论,具体还得自己去悟,去实践操作才能真正体会精髓。


一、分析现有方法的结果及缺点
1.1 为什么要分析现有方法?
可以找到最需要解决的问题,发现新方向找到真正的问题,而不是空想的问题用统计数据来佐证问题的严重性创新性更强
1.2 如何分析?

人工分析、自动分析、Case study等等


关注最为严重和实际的问题(抓主要矛盾)与先前的分析角度不同(举例:原先方法的角度是 NMT存在漏翻问题, 现:哪类单词容易漏翻)抽象出共性的科学问题
二、如何改进
2.1 原因假设和猜测

几个原则:


对现有的方法有较为深刻的理解合情合理尽可能简单明了
2.2 模型设计
具体问题具体分析从易到难(先用最简单的方法验证、再试复杂模型)了解基本的解决手段或方法(如多任务学*、强化学*、迁移学*等)对所提方法的创新性和有效性要有预判(即快速验证想法的有效性)
2.3 实验设计
主要实验: 公开测试集,公用的指标辅助实验:模型中不同模块的影响、超参数的影响、主要修正的错误类型、不同数据集的效果



友情链接: