你可能已经注意到：这是一个事实有些奇怪的时代。一方面，尽管人们对我们所谓的“后真相时代”忧心忡忡，但事实确实依然存在。另一方面，要从充斥着误导信息、宣传和假新闻的阴暗角落里挖掘出事实，正变得越来越困难。1 无论是带有病毒的止痛药、2016年总统大选中投出的300万张非法选票，还是一个名为“我的第一个电子烟”的新款儿童玩具，虚假信息正在堵塞互联网。事实核查员和记者们尽力呈现事实，但谎言太多，而我们太少。普通公民被假新闻愚弄的频率尚不清楚。但接触假新闻的机会却很多。皮尤研究中心去年报道称，超过三分之二的美国成年人通过社交媒体获取新闻，而社交媒体充斥着虚假信息。我们也会主动寻找。12月，普林斯顿大学、达特茅斯学院和埃克塞特大学的政治学家报告称，在2016年大选期间，四分之一的美国人访问过假新闻网站——主要是通过Facebook点击进入。随着政治家、评论员甚至政府将信息武器化，利用我们的地区、性别和种族差异，Facebook、Google和Twitter等大型科技公司正面临着反击的压力。初创公司和大型企业已经尝试部署算法和人工智能来核查数字新闻。人们的想法是，构建智能软件，真相就有机会。杜克大学新闻学教授、该项目之一的杜克科技与核查合作社（Duke Tech & Check Cooperative）主管比尔·阿代尔（Bill Adair）说：“过去，新闻媒体会过滤掉不准确和荒谬的东西。但现在没有过滤器了。消费者需要新的工具来分辨哪些是准确的，哪些不是。”该合作社获得了120万美元的资金，其中包括Facebook新闻项目的20万美元，用于支持虚拟事实核查工具的开发。到目前为止，这些工具包括ClaimBuster，它可以扫描数字新闻报道或演讲稿，并与已知事实数据库进行比对；一个发言点跟踪器，可以标记政治家和评论员的言论；以及Truth Goggles，它可以让可信信息更容易被有偏见的读者接受。许多其他组织也在尝试构建类似的工具。作为一名记者和事实核查员，我希望算法一切顺利。我们确实需要帮助。但我对此持怀疑态度。不是因为我害怕机器人会抢走我的工作，而是因为我知道它们要面对什么。我写过关于事实核查的书（真的，书名就叫《芝加哥事实核查指南》2）。我还主持了一个名为“方法”（Methods）的播客，探讨记者、科学家和其他专业真相探求者是如何知道他们所知道的。通过这些经验，我可以告诉你，真相是复杂而模糊的。人脑可以识别上下文和细微差别，这两者在核实信息时都至关重要。我们可以识别讽刺。我们懂得反语。我们理解句法可能会改变，但基本信息保持不变。有时我们仍然会出错。3 机器能做到吗？
媒体一直在报道人工智能的努力可能会拯救我们免受虚假标题的困扰，充满了希望。但那些数字大脑里到底有什么？算法将如何工作？毕竟，人工智能在遵循严格规则时表现最好。所以，是的，我们可以教会电脑下棋或围棋。但由于事实是难以捉摸的，数据科学家、畅销书《数学武器：大数据如何加剧不平等并威胁民主》的作者凯西·奥尼尔（Cathy O’Neil）并不看好人工智能。“至少乍一看，事实核查算法的概念是，将一个陈述与已知真相进行比较，”她说。“由于不存在真相的人工算法模型，它根本行不通。”
这意味着计算机科学家必须自己构建一个。那么，他们是如何构建他们的虚拟事实核查大军的？他们的真相模型是什么？我们离信任他们的算法来筛选假新闻还有多远？为了找出答案，Popular Science的编辑让我尝试使用一段假新闻来测试一个自动化事实核查器，并将其过程与我自己的过程进行比较。结果好坏参半，但原因可能和你（至少是我）所想的不同。
程开力（Chengkai Li）是德克萨斯大学阿灵顿分校的计算机科学家。他是ClaimBuster的主要研究者，截至本文撰写时，ClaimBuster是唯一公开可用的AI事实核查工具（尽管它仍处于开发阶段）。从2014年底开始，程开力和他的团队基本上按照其他正在开发的自动化事实核查器的思路构建了ClaimBuster。首先，他们创建了一个算法——一种计算机代码，它可以通过遵循一套规则来解决问题。然后，他们通过输入大量句子并告诉它们哪些是声明，哪些不是，来教会他们的代码识别声明——即新闻报道或政治演讲中被断言为真相的陈述或短语。由于程开力团队最初设计该工具是为了捕获政治声明，他们输入的词语来自过去大约30场美国总统辩论，总共约有20,000个声明。“我们的目标是2016年大选，”程开力说。“我们当时在想，应该在总统候选人辩论时使用ClaimBuster。”接下来，团队教会计算机代码将声明与一组已知事实进行比较。算法本身没有识别事实的固有特征，必须由人类提供。我们通过构建我称之为“真相数据库”来做到这一点。为了奏效，这些数据库必须包含高质量且范围广泛的信息。程开力团队使用了数千份事实核查报告——由专业事实核查员和记者撰写的文章和博客文章，旨在纠正有疑问的声明——这些报告来自PolitiFact、Snopes、factcheck.org和《华盛顿邮报》等信誉良好的新闻网站。我想看看ClaimBuster能否检测出来自一个臭名昭著的、散播经不起考验帖子网站infowars.com的虚假科学新闻。4 我问程开力怎么看。他说，虽然该系统在政治新闻方面最有效，但可能也会奏效。“我认为Infowars的一个帖子听起来很有意思，”他说。“为什么不试试看，然后告诉我你的发现？”为了公平竞争，我和我的编辑同意了两条规则：我自己不能挑选假新闻，而且我不能在完成自己的事实核查之前测试AI。Popular Science的一位资深事实核查员从Infowars上挑选了七篇虚假的科学报道，我和我的编辑从中选了一篇涉及政治话题的：气候变化。由于程开力团队自2016年底以来没有预算更新ClaimBuster的真相数据库，我们选择了一篇在此之前发表的文章：“气候重磅：新的NASA数据显示，自1979年以来，极地冰层未曾消退”，发表于2015年5月。
气候变化否认者和假新闻撰稿人常常歪曲真实研究来支持他们的论点。在核查这篇报道时，我依赖于当时可用的事实。
为简洁起见，我们使用了Infowars报道的前300个字。5 对于实验的人工部分，我像核查任何文章一样逐行检查了选段：我确定了基于事实的陈述——基本上是每一句话——并从主要来源，如气候科学家和学术期刊中寻找支持或反驳的证据。我还点击了Infowars报道中的链接，以评估其质量，并查看它们是否支持论点。（这是我事实核查的样本。）
例如，文章的第一句话：“NASA更新了其卫星测量数据，显示自1979年开始测量以来，该行星的极地冰盖并未显著消退。” 在线，“来自卫星测量的数据”带有超链接。要查看故事引用的数据，我点击了链接，该链接指向一个已失效的伊利诺伊大学网站Cryosphere Today。死胡同。我给学校发了邮件。该大学大气科学系主任给了我一个曾在该网站工作的研究员的电子邮件地址：约翰·沃尔什（John Walsh），现任阿拉斯加国际北极研究中心首席科学家，我后来通过电话采访了他。
沃尔什告诉我，“来自卫星测量的数据”并非直接来自NASA。相反，位于科罗拉多州博尔德的国家冰雪数据中心（National Snow and Ice Data Center）对NASA的北极海冰原始卫星数据进行了清理。然后，伊利诺伊大学对其进行分析并发布。当问及该数据是否显示极地冰盖自1979年以来没有太大消退，正如Infowars所声称的那样时，他说：“我无法调和这个说法与网站过去显示的内容。”
除了与沃尔什交谈，我还使用了Google Scholar查找相关的科学文献，并找到了一篇由美国气象学会（American Meteorological Society）发表在同行评审的《气候学报》（Journal of Climate）上的关于全球海冰趋势的综合论文，作者是NASA戈达德太空飞行中心的高级气候科学家克莱尔·帕金森（Claire Parkinson）。我也采访了她。她向我解释了她的研究与Infowars报道中的说法之间的对比，指出了后者是如何歪曲数据的。虽然全球海冰数据收集确实始于1979年，大致是在相关卫星发射时，但随着时间的推移，测量显示全球海冰总体上呈现消退趋势，帕金森说。Infowars报道还将北极和南极海冰的数据混淆了；尽管极地海冰的面积每年都在变化，但北极海冰持续呈现收缩趋势，其速度超过了南极海冰的增长趋势，导致全球总数显著下降。Infowars的作者史蒂夫·沃森（Steve Watson）在整篇文章中混淆了北极、南极、全球、年度和平均数据，并且可能从南极一个繁荣的年份里挑选了数据来夸大他的说法。
在其他情况下，Infowars的报道链接到了质量差的来源——并且误读了它们。例如，有一句话声称阿尔·戈尔（Al Gore）曾警告说，北极冰盖可能在2014年消失。这句话链接到了一篇《每日邮报》（Daily Mail）的文章——而非一手来源——其中包含一句据称是戈尔2007年诺贝尔奖演讲中的引述。但当我阅读了演讲稿并观看了诺贝尔奖网站上的视频后，我发现该报纸大幅修改了引述，删除了注意事项和背景。至于Infowars报道的其余部分，我采用了相同的流程。除了两句话外，其余的都错了或具有误导性。（一位Infowars发言人表示，作者拒绝置评。）在我完成自己的工作后，我很想看看ClaimBuster的表现。该网站需要两个步骤才能进行事实核查。第一步，我将300字的摘录复制并粘贴到一个标记为“输入您自己的文本”的框中，以识别摘录中的事实声明。一秒钟内，AI给每一行打分，从零到一；分数越高，越可能包含一个声明。分数范围从0.16到0.78。程开力建议将0.4作为值得进一步检查的声明阈值。AI将16句话中的12句话评为或高于该分数。总共有12句话中有11个值得核查的声明，而我之前也识别出了所有这些声明。但ClaimBuster漏掉了四句。例如，它给一句“气候变化‘被认为是由自然因素和，在较小程度上，人为影响的结合所致’”的句子打出了0.16的低分。这句话确实是一个声明——一个错误的声明。科学界普遍认为，人类是近期气候变化的主要原因。这样的假阴性，即一个句子被评为不值得检查，即使它确实值得检查，也可能导致读者被谎言愚弄。ClaimBuster怎么会漏掉这个声明，尽管媒体和学术期刊上对此有如此多的报道？程开力说，他的AI可能没有捕捉到它，因为语言含糊不清。“它没有提到任何具体的人或团体，”他说。因为这句话没有具体的数字，也没有引用可识别的人物或机构，“没有什么可以量化的。”只有人脑才能在没有明显线索的情况下发现声明。接下来，我将11个已识别声明中的每一个都输入到第二个窗口，该窗口会与系统的真相数据库进行比对。理想情况下，机器会将声明与现有的事实核查进行匹配，并标记为真或假。实际上，它吐出的大部分信息都无关紧要。
以文章的第一句话为例，关于极地冰盖的消退。ClaimBuster将这些词语与数据库中的所有句子进行比较。它搜索匹配项、同义词或语义相似性。然后对命中结果进行排名。最好的匹配来自一篇PolitiFact的文章——但话题涉及美国与伊朗之间的核谈判，而不是海冰或气候变化。程开力说，该系统可能正在捕捉不相关的相似词语。例如，两句话都包含“since”（自从）、“has”（有）、“not”（不）等词语，以及“updated”（更新）和“advanced”（先进）等类似词语。这触及了一个基本问题：程序还没有学会优先考虑更重要的词语而不是非特定词语。例如，它无法分辨出伊朗故事是无关的。
当我测试关于阿尔·戈尔的句子时，最相关的匹配项更有希望：另一篇来自PolitiFact的链接匹配到了一篇故事中的句子：“科学家们预测，北极将在2013年夏天完全消失。”在这里，匹配更加明显；句子共享了“Arctic”（北极）等词语，以及“disappear”（消失）和“ice-free”（无冰）等同义词。但当我进一步挖掘时，我发现PolitiFact的文章是关于时任参议员约翰·克里（John Kerry）在2009年《赫芬顿邮报》（Huffington Post）上的一篇观点文章，而不是阿尔·戈尔在2007年的诺贝尔奖演讲。当我测试了故事中其余的声明时，我也遇到了类似的问题。
当我向程开力汇报这些结果时，他并不惊讶。问题在于ClaimBuster的真相数据库没有包含关于这篇特定假新闻的报告，或任何相似的内容。请记住，它是由PolitiFact和《华盛顿邮报》等机构的人类事实核查员提供的信息组成的。他说，由于该系统非常依赖人们提供的信息，因此结果“只是进一步证明了人类事实核查员是远远不够的。”
这并不意味着AI事实核查完全没有用。从积极的方面来看，ClaimBuster的速度比我快得多。我花了六个小时进行事实核查。相比之下，AI花了大约11分钟。还要考虑到我会在一天结束时休息。AI则不会睡觉。“它就像一个不知疲倦的实习生，会全天候观看电视，并对事实声明有敏锐的判断力，”阿代尔说。随着程开力团队测试新的AI以提高声明评分和事实核查能力，ClaimBuster必将改进，其他工具也一样。阿代尔的合作社也正在使用ClaimBuster扫描有线电视上评论员和政治家的声明，突出最值得核查的言论，并将其发送给人类事实核查员进行确认。关键在于让准确性匹配效率。毕竟，我们之所以陷入目前的困境，至少部分原因在于算法。截至2017年底，Google和Facebook分别拥有11.7亿和20.7亿用户。如此庞大的用户群激励着假新闻制造者和宣传者利用算法来传播他们的内容——操纵自动化事实核查器可能也同样可行。而大型科技公司最近修复AI的尝试并未取得很大成效。例如，2017年10月，在拉斯维加斯发生大规模枪击事件，造成851人受伤、58人死亡后，来自4chan消息板的用户能够在Facebook上推广一个错误识别枪手的假新闻。去年秋天，Google AdWords在PolitiFact和Snopes的网站上投放了假新闻标题。即使有一个免疫错误和操纵的AI事实核查器，ClaimBuster及其类似项目——以及总的来说假新闻——也会存在一个更大的问题。政治操纵者和党派读者通常不关心一篇文章是否故意是错误的。只要它支持他们的议程——或者只是让他们觉得好笑——他们就会分享。根据2017年普林斯顿、达特茅斯和埃克塞特大学的研究，那些阅读假新闻的人也阅读所谓的“硬新闻”——而政治知识渊博的读者实际上更有可能去看假新闻。换句话说，并不是读者不知道区别。媒体不应低估他们点击此类“猫薄荷”的欲望。最后一个难题。随着公司推出一系列AI事实核查器，双方的党派读者可能会将它们视为另一种宣传方式。唐纳德·特朗普总统曾称《纽约时报》和CNN等传统新闻媒体为“假新闻”。Infowars，一个他欣赏的网站，保留了自己的假新闻来源列表，其中包括《华盛顿邮报》。Infowars还将Snopes和PolitiFact等事实核查网站的工作比作审查制度。
尽管如此，AI事实核查者可能是我们抵制假新闻的最佳盟友。需要追踪的数字欺骗行为太多了。一家初创公司Veracity.ai——得到了Knight Prototype Fund的支持，旨在帮助广告行业识别可能与在线广告并列的假新闻——最近识别出了1,200个虚假新闻网站和约400,000个单独的虚假帖子，该公司预计这个数字还会增长。撒谎是如此快速和廉价，而人类纠正它却如此昂贵且耗时。而且我们永远无法指望读者进行点击式事实核查。我们仍然需要记者来利用AI事实核查工具扫描互联网上的欺骗行为，并为真相数据库提供素材。
我问程开力，我核查过的这篇故事是否会产生影响，是否会进入ClaimBuster的真相数据库。“一个完美的自动工具会捕获你的数据，并将其纳入存储库，”他说。
他补充道：“当然，目前还没有这样的工具。”
脚注
1“假新闻”是一个备受争议的词。它被用来描述故意误导的新闻——出于政治或经济利益——基于虚假、误解或操纵的事实。但党派人士也用它来诽谤声誉良好的传统媒体。在这里，我们采用前一种定义。
2这本书是芝加哥大学出版社写作指南系列的一部分。而且，是的，书中的事实都经过了芝加哥以外的验证。
3一位《Popular Science》事实核查员花了15个小时核实了《智能特刊》的页面，并在我们付印前发现了34个错误。
4Infowars是一个媒体帝国，是各种阴谋论的集散地——从政府控制天气到格伦·贝克（Glenn Beck）是CIA特工的说法。
5我们确保故事的其余部分没有提供可能影响我们事实核查的证据或背景。
本文最初发表于《大众科学》2018 年春季刊“智识”特刊。
