如何自己核查可疑的科学故事

被误导性的标题困扰?直接追溯源头。

对于每一个复杂的科学问题,都有一个清晰、简单却错误的答案。我在这里 是在改述H.L. Mencken的话,但重点是:对于每一个提供你健康简单真相的耸人听闻的标题,都有一个同行评审的论文,而大多数人(包括很多时候撰写这些标题的人)都没有读过。

存在一个驱动这些误导性标题的复杂供需媒体机器,但 suffice to say(简而言之),大多数媒体需要点击量来维持运营,大学新闻办公室经常发布闪亮的通稿来提升其机构的公众认知度,而记者,就像所有人类一样,可能是不诚实的、容易上当的(或者可能只是工作过度)。

但当媒体机器炮制出一个故事,声称例如,因为你经常低头看手机而长出了犄角,那么能够 核实你所读内容的真实性 就会很有用。而做到这一点的最佳方法就是直接去看科学论文本身。大多数信誉良好的媒体在其文章中应该会链接到论文,尽管有时研究本身会被付费墙挡住(如果你仍然非常想读,可以给通讯作者发邮件,他们通常很乐意提供PDF给感兴趣的人)。如果你能读懂,好消息是你不必成为专家也能领会一些关键信息,即使很多技术术语你可能不理解。

这项研究是否检验了它声称的结论?

假设,根据标题,一篇论文暗示,由于蓝光辐射过多,增加手机使用会导致眼睛损伤。我们再假设,研究人员通过查看某种眼部扫描来进行了他们的研究,这种扫描可以检测到人类眼睛物理结构的改变。他们发现他们观察的年轻人有一种特定的改变,我们称之为黄斑软化(一个实际上不存在的病症,以防你是疑神疑鬼的人)。他们认为,年轻人经常看屏幕,而这种黄斑软化是一个新现象——所以他们推测,很可能是来自屏幕的蓝光造成了这种损伤。不出所料,媒体将其宣传为研究的结论。

问题来了:他们实际上并没有测量蓝光暴露量,更不用说具体是哪种蓝光来源了。那么他们怎么能得出蓝光导致黄斑软化的结论呢?

他们不能。

基于这项研究的媒体故事可能以“你的手机导致你的眼睛软化”为标题的原因有很多。一种是记者误读了研究,或者根本不理解研究,然后写了一个故事,却没有真正核实他们的理解是否正确。论文本身可能都没有得出这个结论。可能是大学新闻办公室写了一份误导性的通稿,连接了论文本身并未支持的点,但也可能是科学家本人歪曲了他们的发现。也许来自手机的蓝光只是科学家认为值得告诉媒体的猜测——科学家猜测他们可能在未来的研究中包含哪些未经验证的细节是完全公平的——而他们并没有真正打算让它听起来像个结论。或者,科学家可能过于兴奋,真的认为就是蓝光,尽管他们的研究并未证实这一点。他们可能在论文的结尾部分提到了这个理论(要么加上了很多限制条件,要么,如果他们发表在一个非常粗糙的期刊上,就将其呈现得好像联系如此明显,以至于数据也支持它一样)。

无论原因如何,当你打开这份研究时,第一件事就是进行关键词搜索。论文中是否实际出现了“蓝光”或“屏幕”等词语?如果出现了,它们出现在研究的主体部分了吗,也就是科学家解释他们实际做了什么以及收集了什么数据的地方?或者这些关键词出现在摘要或结论中,在那里科学家提出了他们未实际测试的发现的可能机制?通常你可以在网页或PDF中直接搜索来自己发现,这是你能做的最基本测试之一。

这项研究是否能够探讨因果关系?

你可能已经听到过“相关性不等于因果性”这句话 次数 比你 要多。但这是一个普遍的说法,因为你听到的 绝大多数新闻报道 都陷入了这个问题。几乎所有你听说过的营养学研究都关注相关性,而你读到或看到的大部分媒体报道都将其讨论得好像科学家已经证明了因果关系。这并不是说所有这些研究都是错误的,但它们在能得出的结论方面是有限的。

让我们回到黄斑软化的例子。年轻人可能比老年人接触更多的蓝光,年轻人也可能患有黄斑软化。或许这项研究通过询问参与者他们花在手机上的时间,表明年轻人有更高的屏幕暴露率以及更高的黄斑软化率。但这并不一定意味着手机的蓝光导致了黄斑软化。可能如此——我们现在还无法确定。检验因果关系需要不同的研究设计,即改变一个变量(接收到的蓝光量)并观察结果(黄斑软化)如何变化。在这种情况下,要想对手机蓝光导致黄斑软化得出强有力的结论,你必须招募多个年龄段、生活方式各不相同的人,然后通过调整他们的屏幕使用时间,看看他们的黄斑软化率是否升高或降低。你还必须设计对照组来证明如果没有蓝光,盯着手机不会增加黄斑软化率,并且你想研究增加暴露于其他蓝光来源的情况。听起来很复杂?确实如此。这样的研究需要大量的时间和金钱才能完成,因此需要多年的仔细研究设计和数据收集才能真正证明一件事导致另一件事。

相关性是棘手的,因为很多事情可能相互关联。是的,年轻人倾向于更多地看手机。但他们还有很多其他共同的特征。更可能盯着手机看的人也可能花更多时间待在室内。他们可能倾向于吃更多加工食品。也许他们旅行更多。也许他们锻炼得更少。任何一个因素都可能是他们黄斑软化的真正罪魁祸首。

这并不意味着一项单一的研究就不能有力地证明因果关系。虽然它可能充斥着术语,但可以查看结果或方法部分。程序是仅仅收集人们健康和习惯的数据,比如他们吃多少份坚果以及多少人患有心脏病?如果是这样,他们就在研究相关性。或者,研究方案是否涉及改变变量以观察结果?如果是这样,他们就在研究因果关系。

另一个令人惊讶的有用提示:看看讨论部分。大多数信誉良好的期刊都会要求科学家包含一到两段关于他们的研究局限性的内容。这意味着大多数仅关注相关性的论文必须在结论中指出它们无法说明因果关系。这听起来像是一个弱点,但实际上,当科学家公开讨论他们研究的不足之处时,这是一个非常好的迹象。这表明他们可能对自己的发现持现实(且诚实)的态度。

这些发现的适用范围有多广?

即使研究方法非常准确,并且没有让你感到可疑的地方,在评估其结论时,了解数据来自哪里也很重要。假设黄斑软化研究是在一个大学校园里收集参与者的。他们研究了1000名受试者,这算是不错了。但因为是在大学校园,所以他们的参与者偏向年轻(学生)和中年或老年(五十多岁和六十多岁的教授)。在这种情况下,我们将想象一下构成比例:大约900名大学生和100名成年人,其中绝大多数年龄在40岁以上。一千名受试者听起来是一个不错的、相对较高的数字,但结果是,只有100人代表了据称不太可能出现手机相关黄斑软化的人群。这使得很难知道他们是否真的发现了年轻人和老年人在黄斑软化方面的差异,或者他们是否仅仅表明这是大学生中普遍存在的现象——他们的老年受试者样本太小,无法确定它是否仅仅是少数异常受试者带来的随机偏差。科学家们还承认,由于大学的人口结构,他们的参与者90%是美国人,90%是白人(并且100%就读于昂贵的常春藤盟校)。这使得不可能对所有年轻人都得出结论,因为普通年轻人在这项数据中没有得到充分的代表。

查看论文的方法部分,了解研究了多少参与者以及他们代表了什么人口统计特征。没有一个神奇的数字可以让你确信结果是绝对真理,但一般来说,越多越好。

这些结果有多显著(或相关)?

好的,就说我们的蓝光研究确实暗示蓝光会导致黄斑软化。更具体地说,我们假设每年每多暴露100个“流明”(一个完全虚构的单位!)的蓝光,你的黄斑就会额外软化20%。听起来很厉害,对吧?在这里,你可能需要查阅论文之外的信息来获得一些视角。

例如,20%的软化意味着什么?如果普通人一年只经历1%的软化,那么这些额外的“流明”仍然只会意味着总共1.2%的软化,这并不算多。或者,也许普通人的黄斑在一生中会发生很多软化,但这实际上并不影响他们的视力——额外20%可能真的无关紧要。

也许更重要的是,你暴露于多少蓝光?也许阳光一年给你提供了1000个“流明”的蓝光——与你日常经历的自然光相比,屏幕的影响似乎很小。或者,情况可能恰恰相反。也许每天看屏幕10小时,一年下来,你只会暴露于1个“流明”的蓝光,所以研究中显示的联系不太可能影响大多数人。

这是好的新闻文章应该包含的背景信息,但如果你还没有找到关于该研究的新闻报道,那么搜索一些其他快速统计数据可能会有所帮助。问自己两个基本问题:

  • 对这种所谓的危险事物的基础暴露量是多少?
  • 基础风险是多少?

即使是罕见事件的风险增加50%,总风险仍然很小。

作者是否有利益冲突?

在所有信誉良好的期刊中,科学研究的作者都被要求披露他们可能存在的任何竞争性利益。如果研究人员检查了蓝光是否会损害你的眼睛,同时他们也拥有一家生产防蓝光眼镜的公司,那么你可以安全地假设他们的判断至少有点偏颇。这并不意味着他们的结果必然无效或造假,但你应该更加警惕他们如何将数据转化为结论,以及他们如何将这些结论传达给媒体。

大多数科学家不拥有自己的公司,但他们从对特定结果有利害关系的实体获得资助的情况更为普遍。同样,这并不总是意味着发生了什么卑鄙的事情;研究总需要资金来源,而完全受人尊敬的科学家可以进行可能有助于或可能无助于公司销售产品的测试。但不幸的是,很难知道研究的方法、结果或向媒体的呈现方式是否受到了这些有偏见一方的影响。许多关于电解质对运动员水合作用至关重要的研究,部分是由Gatorade等公司提供的,正如许多关于糖不是导致肥胖率上升的原因的研究,是由使用大量糖在其产品中的食品制造商资助的。

你可能会惊讶于利益冲突部分被忽视的频率,所以自己去看看吧。

 

更多优惠、评测和购买指南

 
Sara Chodosh Avatar

Sara Chodosh

撰稿人

Sara Chodosh 在《Popular Science》杂志工作了 5 年多,她从编辑助理一路晋升为科学副编辑。在此期间,她逐渐接管了已停刊的杂志的“图表”板块。她对图表的喜爱最终促使她成为《纽约时报》的图形编辑。


© .