全部 自然 健康 生物 人文 日报 科研干货 文献云
盲法分析——科学偏见的克星?
来源 : 科学之家   发布时间 : 2016-02-20 09:21

图片说明:盲法分析在科学界能否吃香?图片来源:discovermagazine.com

近日,美国科学家Robert MacCoun和Saul Perlmutter在Nature期刊上发表了一篇有意思的评论性文章(Blind analysis: Hide results to seek the truth),指出包括粒子物理学在内的更多科学领域应该采用盲法分析的方法来避免偏见。
 
以下为这篇文章的部分内容:

数十年前,包括理查德•费曼(Richard Feynman,美国物理学家)在内的一些物理学家注意到了一件令人担忧的事情:对基本物理常量的最新估值常常比考虑了标准测量误差后所预期的更接近公布值。这些物理学家意识到,其他研究人员更可能“认可”而非反驳预期的结果,不符合研究人员预期的结果经常会受到系统性的排除或修改。

为解决这一问题,一些粒子物理学家和宇宙学家组成团队,研究出了盲法分析的方法,临时果断地移除了数据标签并改变了数据值……盲法分析确保了所有分析决策都已完成,并且全部程序和流程都经过除错后,相关结果才会呈现给实验人员。首先,一位研究人员或一个计算机程序系统地干扰数据值、数据标签或两者;然后团队的其余研究人员在对结果一无所知的前提下进行尽可能多的分析。在解盲之前,研究人员应同意无论产生的结果是什么,都对他们的分析结果的公布有足够的信心,也不再进行进一步的除错和反思。


对此,Discover期刊特约撰稿人Neuroskeptic认为,盲法分析与预注册有很多相同之处:两者都涉及到“中国墙(Chinese wall,指一种隔离效应)”的创设,避免最终结果影响到分析决策;两者都需要预先做出对有关关注点的假设;两者都旨在防止P值操纵(P值即概率,反映某一事件发生的可能性大小,P值操纵就是不断地把数据量加倍,直到获得自己想要的结果)以及其它有意、无意的偏见现象的发生。盲法分析也存在许多与预注册一样的限制,MacCoun和Perlmutter在发表的文章中讨论了诸如“人们不会偷看原始数据吗?”这样的关注性问题;类似地,预注册也出现了诸如“人们不会回顾性地进行预注册吗”这样的批判性问题。两种方法的使用最终都有赖于人们的信任。

不过,MacCoun和Perlmutter认为盲法分析比预注册更好,因为盲法分析更灵活,他们表示:“预注册需要在分析前确定数据运算计划……但由于许多分析决策(和计算机编程漏洞)无法预料,研究人员被迫做出决定,(有意或无意地)了解他们的选择是如何影响最终结果的,这样就会产生偏见。而盲法分析让研究人员只需专注于分析、探究和定案,不存在这样的偏见。”

然而,Neuroskeptic认为,预注册和盲法分析可以一起使用,彼此受益。一方面,预注册确保了若负面结果出现时会被公布于众。事实上,在负面或正面结果获得前,期刊若能同意发表基于这些方法研究的文章,那么预注册与同行评议方法的使用会有助于负面结果的发现。如果只借助盲法分析,则不会达到这种效果。另一方面,盲法分析的使用会令预注册更加有用。预先设定的分析计划可并入盲法阶段,这样一来,研究者没有必要在一开始就决定如何处理异常值,而是可以暂时保留这个问题不做讨论,然后通过对最终数据的盲法观察后再做出决定。(科学之家,编辑/译审:YWY)

关注科学之家微信公众号:科学HOME (长按复制) 收取新鲜科学资讯。投稿请点击
下载APP 收藏
相关阅读
偏见 同行评审
美国国立卫生研究院:对"性别偏见"say NO
虚拟身体交换可减少对他人的偏见
男性和女性如何看待理工学科中的性别偏见?
别不承认,你也存在认知偏见!
点击进入 [ 人文 ] 频道 >
推荐文章
女博士的内心独白:在实验不顺后悔读博时 我遇到了Mr Right
文科博士们,没有打通这五关的心态千万别读博
词汇量上不去怎么破?剑桥博士带你走出单词学习的几个误区