也许你不应该太看重“五位牙医中有四位推荐”这样的说法？一项新研究（当然）发现，科学家们，即使是同一领域的专家，也无法就哪些研究最重要达成一致。一方面，这听起来很明显——专家意见不一致。另一方面，这表明即使是科学家也无法准确判断什么是伟大的科学。这项新研究还发现，科学家们会过度受到论文发表期刊声望的影响。
“评估价值非常困难。我们都在迷雾中摸索，”英国萨塞克斯大学的生物学家亚当·埃尔·沃克（Adam Eyre-Walker）告诉《大众科学》（Popular Science）。
埃尔·沃克和他的同事妮娜·斯托莱茨基（Nina Stoletzki）审查了6000多篇论文，这些论文在发表后由专家进行了评审。这些论文来自两个数据库。一个是研究资助组织惠康基金会（Wellcome Trust）的数据库，该基金会要求专家评审其资助的已发表论文。另一个是Faculty of 1000网站，生物学家们在该网站上发布他们喜欢的论文，对它们进行评分，并进行讨论。在这两个数据库中，埃尔·沃克和斯托莱茨基发现，评估同一篇论文的科学家们给出相同分数的几率，远远高于偶然的几率。
两人还发现，审稿人的评分过度依赖于论文发表期刊的声望。即使两篇论文在其他衡量价值的标准上（例如被其他科学家引用的次数）相同，科学家们也会给发表在声望更高的期刊上的论文评分更高。
“论文的发表地点存在巨大的随机因素，”埃尔·沃克说。
英国政府定期邀请外部专家评审政府资助研究的论文，以检查其资金是否用在正确的地方。埃尔·沃克和斯托莱茨基想看看这项工作是否值得。美国没有类似的计划，但这两位生物学家的发现具有超越英国的影响：它们表明，论文在发表前进行的专家评审可能同样混乱。“我们可以推断，在评估论文在发表前的价值或重要性方面，也可能存在大量的误差，”埃尔·沃克说。
发表前的同行评审是全球科学研究的核心部分。许多科学家已经认为这个过程可以改进，所以看到一些数学支持很有趣。
一个需要注意的地方是：尽管他和斯托莱茨基没有评估这一点，但埃尔·沃克认为专家们擅长判断一篇论文是否可能真实或准确。然而，研究论文能否在期刊上发表，往往不仅仅取决于其准确性。期刊的专家审稿人必须认为这篇论文很重要或有趣，尤其是当它发表在《自然》（Nature）或《科学》（Science）这样的著名期刊上时。然而，埃尔·沃克的研究表明——就像你的朋友在你没考上常春藤盟校时告诉你的那样——进入顶级期刊有点像一场赌博。
“论文的发表地点存在巨大的随机因素，”他说。“可能存在两篇价值相等的论文，其中一篇运气好，得到了所有认为它很棒的审稿人，”而另一篇则没那么幸运。
埃尔·沃克有一个解决方案。“你应该资助多样化的科学研究，并发表多样化的科学成果，而不管你是否认为它有趣，”他说。与此同时，在一篇与埃尔·沃克的研究同时发表的观点文章中，一个由科学家和出版商组成的团队认为，科学需要一些更好的衡量伟大成就的标准。
至少有一家主要期刊遵循了埃尔·沃克的建议。开放获取出版商公共科学图书馆（Public Library of Science）的旗舰期刊《PLOS ONE》承诺发表所有“技术上健全”的论文，而不评估论文是否有趣或重要。埃尔·沃克和斯托莱茨基将他们的研究发表在《PLOS Biology》上，这是同一出版商旗下的期刊，该期刊会判断论文的重要性。
