本文最初发布于 Undark。
威廉·C·汤普森（William C. Thompson）通常并不去猎捕“害虫”，他对一种分析 DNA 的计算算法的审查最初也相当纯粹。在 2016 年 3 月，警方拦截了一名名叫亚历杭德罗·桑多瓦尔（Alejandro Sandoval）的男子，此案中调查人员使用了某款软件。这次交通拦截演变成了一项刑事调查，最终的证据几乎相当于一个细胞的量。
汤普森，加州大学欧文分校的犯罪学、法律与社会学名誉教授，于 2023 年发表了一篇关于此案的文章，该文章最终引发了一个更广泛的问题：关于遗传信息、人工智能以及利用大量数据进行计算的社会应用，一场激烈而公开的争论。
这是现代监控时代的一个引爆点——一个似乎从老式的窃听器一跃而变为算法全景敞视监狱的学科，而公众却鲜少关注。例如，今年早些时候，科学家们证明，可以从空调滤网中提取人类 DNA 样本，并且这不仅是可能的，而且是可行的。即使罪犯戴着手套，将手机用锡箔纸包裹以避免被发现，并擦净了地板上的血迹，然后在房间里短暂停留，空调滤网也会被动地收集 DNA 痕迹，这些痕迹随后可以被收集、分离并用于识别嫌疑人。当然，对任何个体——包括你自己——也同样如此。因此，现代监控的状况应该引起我们所有人的关注。
与此同时，被动式的监听和观察无处不在：在某些管辖区，枪声会触发计算生成的警报，精确定位枪声地点并派遣执法部门。美国人口超过百万的所有城市，其所有警察部门都部署了自动车牌识别摄像头。你的车辆特征——从这些摄像头获取——很可能被一家声称自己参与侦破了美国 10% 案件的公司记录。如果摄像头未能捕捉到车牌上的每个数字或字母，也没关系：一款名为DeepPlate的算法将能够解读模糊的图像，为犯罪调查提供线索。
即使是看似微不足道的违规行为，也可能将公民纳入现代计算监控的罗网。在至少一个司法管辖区实行的一种交换中，诸如遛狗不拴绳之类的轻微违法行为，常常以一种交易的方式处理：你提供一份 DNA 样本，我们就撤销指控。这可能会将你的基因组数据纳入一个国家数据库，该数据库在未来的某个时间点，可能将你的亲属——即使是尚未出生的亲属——与未来的犯罪联系起来。同时，如果你最终被捕入狱，数个系统不仅会监控你的通话和联系人，还可能使用软件“监听”是否存在不当言论。
以上这些例子都不是假设。这些技术已经到位，正在运行，并且在全球各地的司法管辖区不断扩展。但它们通常引发的问题——关于隐私和同意的问题，甚至是对人工智能侵入政府监控的生存担忧——掩盖了一些更基本的问题，而许多专家表示，这些问题在很大程度上被忽视了：这些系统真的有效吗？
越来越多的批评者认为它们无效，或者至少缺乏独立的验证。他们说，其中一些技术，至少在其当前版本中，缺乏可靠性、透明度和鲁棒性的证明记录，而且这些工具提供的“答案”无法解释。它们的神奇之处，无论是什么，都发生在代码的比喻性黑箱中。因此，任何输出的准确性都无法经受典型科学出版和同行评审的审查。
用软件工程师的传统术语来说，这些系统被称为“脆弱的”。
可以说，亚历杭德罗·桑多瓦尔的案子也可以这样说。在交通拦截过程中，警方声称搜出了毒品——具体来说，大约 80 克甲基苯丙胺，分装在两个塑料袋里，据报道，毒品从他腋下滑落。但他的辩护提出了另一种可能性：毒品——以及上面的 DNA——属于别人。
随着案件的审理，桑多瓦尔的律师要求进行 DNA 检测。结果表明其中一个袋子里混合了多个人的 DNA。主要贡献者似乎是女性，假设只有两个贡献者，那么只剩下少量的另一个人的 DNA，总共只有 6.9 皮克（picograms）的遗传物质——大约是人体细胞内的含量。由于用于分析的 DNA 量非常低，并且似乎是多人混合贡献的，分析师认为它“不适合”进行手动比对，促使检查员将数据输入到计算机程序中。
目标是利用另一种现代监控和调查工具，即概率基因分型——这是一种能够梳理不确定的遗传数据纠缠的算法。根据 2024 年 3 月在国家科学院、工程和医学院公开研讨会上展示的数据，该技术目前在全国 100 多个犯罪实验室中使用，支持者们认为这些算法解决方案是在其他人无法完成工作时，完成任务的一种方式。在桑多瓦尔的案子中，输出结果将衡量袋子上的 DNA 属于他的可能性。
检察官最初请来法学教授汤普森讨论统计输出的原因是，结果表明检察官抓错了嫌疑人。两个不同软件程序的结果都表明桑多瓦尔的 DNA 不是混合物的一部分，这意味着他没有对袋子上的证据做出贡献的可能性更大。
似乎有些事情不对劲。
汤普森越看证据，就越觉得得到准确结果“可能是天真幻想”。虽然两个竞争软件程序都表明桑多瓦尔不是贡献者，但其中一个程序 TrueAllele 却非常明确地表明了这一点。根据 TrueAllele 的说法，该案件的 DNA 检测结果，在桑多瓦尔的 DNA 未包含在混合物中的情况下，其发生的可能性是包含在内的 1670 万倍。另一个程序 STRmix 则认为可能性仅在 5 到 24 倍之间。
该技术的支持者后来质疑他的分析和他提出的目标；然而，在一封回应批评者的信函中，汤普森坚持他的研究是认真的。
“当我得知两个概率基因分型程序对同一个案件产生了截然不同的结果时，”他在《法医学杂志》上写道，“我想了解这是如何发生的。”
通过质疑从如此少量的确凿证据中能获得多少统计确定性，汤普森照亮了监控国家的一个阴暗角落，那里有一整套数据收集工具声称能够破案，并得出有时极难验证的惊人结论。
“我们如何批判性地评估这些说法？”汤普森在最近的一次采访中说。“我们如何确保这些说法是负责任的？它们没有夸大或过分强调其结论的力度？而我只是说，我们还没有做到。”
争论就在这里。
脱离桑多瓦尔案件的具体细节，你会发现这些问题涉及到其他生成预测和统计概率的算法。这些系统代表了一整类工具——也反映了它们被不加批判地部署的更广泛模式。正如斯坦福大学生物医学伦理中心研究员达芙妮·马尔琴科（Daphne Martschenko）所说：“我们的生活越来越被各种数据包围，这些数据常常在我们不知情或未经我们完全同意的情况下被收集。”换句话说，这是朝着我们所知的隐私终结迈出的巨大一步中的一小步。
无论你是否关心——如果你认为自己是守法公民，你可能并不关心——我们通常不会认真对待这些对自主权的常规侵犯和隐私的丧失。视频监控和面部识别技术的常态化，包括门铃摄像头等无处不在的消费类产品，或者在夏令营中检测你孩子面孔的自动标记功能，导致了人们的麻木；反过来，几位学者在一篇最近的法学评论文章中指出，“我们正被编程，不再担忧那些曾经让许多人感到毛骨悚然、模棱两可的威胁形式的监控。”
以 DNA 为例，它现在是法医调查的金标准；几十年前，它在协助执法方面的应用可能让你感到不安。虽然 O.J. Simpson 案在 90 年代中期将DNA 战争推到了前台，但如今法医 DNA 技术的应用却呈指数级增长，却受到的审视却越来越少。以调查性遗传家谱为例，它将从犯罪现场提取的 DNA 样本与公开可用的数据库进行比较，包括直接面向消费者（DTC）的测试公司提供的数据库。在一次电话采访中，莎拉·朱（Sarah Chu），纽约大学卡多佐法学院 Perlmutter 法律正义中心政策与改革主任，也是近期国家科学院研讨会的协调人，讨论了这个问题，她告诉我，这些应用并未引发类似的关于“什么是允许的，什么是不允许的，什么会侵犯隐私，可以对技术施加哪些限制以确保它们既能解决公共安全问题，又能尽量减少足迹”的国家性对话。
“一旦 DNA 在系统中变得无处不在，”她补充道，“我认为很多敏感性都消失了。不幸的是，它们消失的时候，技术已经发展到我们可以从人们那里获取比以往更多信息了。”
但这不止于此：数据收集系统会催生对更多数据的需求，而且我们已经习惯于将为某个目的收集的数据用于完全不同的应用。“没有任何限制，例如，当你拥有这些数据时，你不能用于任何其他目的，”朱说。DNA 混合物解析工具的可用性进一步鼓励执法机构收集更多数据，常规性地采集经常由多人处理的证据，例如枪支和毒品。通过扩大收集范围，执法机构捕获了更多数据，包括低级别的混合物，这些混合物不仅给科学过程带来了不确定性，而且也拓展了解释的容量。最终，朱说，“一方面是几乎可靠的结果，另一方面，你有一种动力去采集尽可能多的样本，因为你可以通过概率基因分型得到答案。”
我们生活在一个“预测的美妙新世界”中，但像任何预测一样，仍然存在着古老的“可证伪性”问题。如果无法了解真实情况，就无法评估准确性。当分析发生在典型的黑箱内部时，这些未知因素会变得更加复杂。“我们生活在一个资本主义社会，行业由利润和经济利益驱动，而揭示他们所使用的软件的黑箱，不一定符合他们的最佳利益，”马尔琴科说。“当然，在执法部门使用这些基因技术的情况下，会对现实世界中的人们产生真实的影响。”
政府对桑多瓦尔的指控案件既显得例行公事又非同寻常。加州大学欧文分校教授汤普森认为，此案值得关注有几个原因。首先，起诉律师试图排除某些 DNA 结果，这很可能是政府首次试图抛弃概率基因分型。毕竟，结果对检方不利：它们表明甲基苯丙胺袋子上的嫌疑人 DNA 痕迹微乎其微，暗示桑多瓦尔没有接触过这些袋子，可能无罪。但争论从未进入庭审。2023 年 7 月，桑多瓦尔对毒品指控认罪。他被判处 90 天监禁，外加缓刑。如果统计数据给了加州一名男子清白的光环，那么法律体系的输出 nonetheless 仍然判他有罪。
汤普森在他的原始 2023 年论文中没有直接命名该案。但他声称善意地审查了两个软件程序，却引发了与制造商之间一场激烈的来回争论。TrueAllele 的制造商——一家匹兹堡公司的首席执行官兼首席科学官马克·珀林（Mark Perlin）——在一篇预印本仓储库的文章中联合撰写了一篇冗长的反驳，称汤普森的工作“不平衡、不准确且科学上有缺陷”。据珀林统计，该论文包含近二十个“概念性错误”和“120 个错误或有问题的陈述”。汤普森则在同一个预印本服务器上发表了一篇回应，辩称，除了其他事项外，珀林提出了明显错误的指控，例如声称他的原始论文提到了桑多瓦尔的名字。（珀林在他的反驳中提到了案件的名称，但在随后的公司网站上发布的一封信函中，他声称汤普森是按照其致谢部分关于“应要求提供”桑多瓦尔案件报告的提议，首先说出名字的。）
发表汤普森原始论文的期刊接受了珀林及其合著者的一封篇幅短得多的信函，以及其他研究人员的来信。汤普森对这两份信函都做出了回应。在他看来，如此尖刻的批评是常有的事。销售 STRmix 和 TrueAllele 的公司一直对它们专有的源代码保密，拒绝请求，或对可能允许独立科学家测试软件的研究许可证施加限制。（珀林否认这些指控，声称他的公司确实会将软件授权给“学术法医科学项目”。但他不会提供给那些他认为是“倡导者”的研究人员，在他看来，这些研究人员更感兴趣的是“搞破坏而不是测试。”）计算机科学与学术界一样，都以开放为根基，但汤普森亲眼看到了营销这些工具的公司是如何应对的。“他们写了一封信，指控我各种科学不端行为，声称我使用了他们的专有数据，并做出了各种荒谬的指控，希望‘压制这篇文章’，”汤普森说。“但没有成功。”
珀林和其他人在他们的预印本中提出的一个指控是，汤普森是个“穿白大褂的律师”。“汤普森，”他们写道，“写的东西像一个冒充科学家的律师。”汤普森说，他确实当过律师，而且他以前打过诽谤官司，他不认为他的对手有获胜的可能。尽管他毫不畏惧，但汤普森担心这些策略可能会阻止其他人测试这项技术。他认为，这类攻击并非空穴来风，其目的是让人们不敢批评。
就珀林而言，他认为自己是科学真理的捍卫者。在给 Undark 的书面答复中，珀林说，“已发表的验证研究涵盖了广泛的数据和条件。”在一次采访中，他驳斥了政府团体提出的关于概率基因分型软件需要更多独立审查的建议。“科学家们尊重实验室中使用的数据、技术、软件和工具，利用所有数据，并努力根据数据给出无偏见、客观、准确的答案，”他说。“而这些咨询委员会和许多学者却不是这样。”珀林继续重申他的主要反对意见：“他们不是在扮演科学家的角色，而是在扮演倡导者的角色。”
美国诉桑多瓦尔案并不是最常见的两个工具 STRmix 和 TrueAllele 第一次在相同的原始数据上产生不同的结果。（一项2024 年的研究表明，至少在某些条件下，竞争算法“有 90% 以上的时间收敛于相同的结果。”）这几乎就像拥有两个不给出相同答案的计算器。在汤普森看来，这值得审查。而珀林则认为这篇文章没有意义。
然而，监管机构正在关注。今年 1 月，在参议院司法委员会的听证会以及在华盛顿特区举行的一次关于证据规则的独立咨询委员会会议上，关于这些技术的讨论是焦点。研究人员也质疑人工智能技术在刑事司法案件中的使用。加州大学伯克利分校法学院教授安德烈亚·罗斯（Andrea Roth）建议，接受机器生成证据的门槛可以是两台机器得出相同的结论。她还建议，现有的关于所谓的“证人先前陈述”的规则可以作为挑战算法可信度的一种模式，从而产生一种强制披露任何先前的矛盾或已知错误的规定。但就目前而言，法律尚未确定，而现有系统似乎完全未能为已然来临的未来做好准备。
如果别的方面都无济于事，那么针对桑多瓦尔的案件至少表明存在局限性，而且人们——警察、检察官和辩护律师——正在测试这些局限性。珀林不认为这是一个说明他的软件局限性的案例，但他承认概率基因分型确实存在局限性。“就像你通过望远镜看一样；在什么点它就停止工作了？好吧，没有确切的数字。到了某个点，你就再也看不到星星了。它们太远了。”
一名被告的基因档案的发布被视为侵犯隐私，但也同时被视为一项公共服务。而且，这令人担忧的原因不止一个。正如汤普森所说：“我们看到的每一个新技术发展，都有一个共同的主题：它充满了热情，对整个社会都有益，但我们没有好的机制来阻止人们走得太远。并且我们有大量的激励措施让人们这样做，而几乎没有多少控制措施。”
双方都认为对方在“无中生有”。
也许我们需要从根本上重新评估我们对监控人们的计算工具的看法。在《人工智能、算法和糟糕的人类》一文中，隐私学者们最近提出，这些工具的决策方式可能与你的想象不同。与普遍看法相反，将它们视为冷酷、计算的机器，摆脱了人类的偏见和歧视，这是不合理的。作者们还指出：“关于人类的决策涉及特殊的情感和道德考量，而算法尚未准备好做出——而且可能永远无法做出——这些决策。”
例行监控——无论是地理定位枪声的来源，使用面部识别工具，还是从两袋甲基苯丙胺中分离出 DNA 混合物——都与控制并驾齐驱。算法及其预测会巩固模式，固化偏见和不平等。朱和其他人称之为“监控负担”，这个负担不成比例地落在过度执法的社区身上。其他人也认为，系统无法通过重写代码或重构算法来修复比喻性的“坏掉的计算器”；数据本身就存在内在缺陷。
没有关于计算分析结果与定罪或无罪判决不符的频率，或者自动化怀疑形式最终一无所获的全面数据集。据称，一些连环杀手被捕是因为丢弃的比萨饼上带有他们的 DNA；也发生过涉及基因分型的误导性调查。对子弹和潜在指纹上的微小图案的分析越来越多地利用计算工具。还有一些我们一无所知的案件。定罪并不能证明任何新兴技术是方法上可靠的科学。
即使在最佳情况下，有已发表的内部验证和公开的基准，这仍然留下一个问题。正如马尔琴科所说：“有多少人在最后，你知道，他们只是成为了过程的一部分，而这与他们毫无关系？”大规模监控几乎肯定会牵连无辜的人，那么隐私的丧失就是我们必须为这些系统所取得的成就付出的代价吗？某种系统性的故障和错误评估或许能有所帮助。而这最终可能会回答马尔琴科提出的问题：“值得不值得？”
就桑多瓦尔而言，无论你相信一个无辜的人被送进了监狱，还是两个算法错误地支持了一个假设，表明一个有罪的嫌疑人没有接触与犯罪相关的证据，这两种说法都不一致。真相只有一个。出了问题。真正的问题是我们可能永远不知道社会上几乎肯定存在的司法不公的范围。
珀林认为科学不偏不倚。他声称他的结果是正确的，而且，他说，不使用计算工具来破案也有其负面影响。他认为，政府批准的 DNA 解释方法缺乏信息量。“这个领域中许多被接受的基础都只是建立在沙子上的。”事实上，他说，将 DNA 证据错误地标记为“不确定”的结果意味着潜在有用的信息被丢弃了。这有时会对试图证明自己清白的人不利，但也意味着罪犯逍遥法外。“政府犯错误，因为它没有获得可能抓住连环杀手、儿童性侵犯者或危害他人者信息。他们也不想重犯。”
在临床研究界，联邦机构对消费产品进行测试。在医学领域，我们有食品药品监督管理局（FDA）和临床实验室改进修正案（CLIA），它们制定国家标准。我们可能知道所谓的“自动驾驶汽车”是如何以及为何会杀人，因为调查报告会审查错误，并且有机构负责调查，但这些其他技术有多少次正在扰乱人们的生活？
现代监控系统是脆弱的，但当它出现裂痕时，没有一个单一的机构提供监督。事实上，如果我们只知道监控系统何时真正有效——例如，当技术证明某人有罪并且毫无疑问时——那么许多学者和活动家都认为，没有人知道何时出现问题，因此也就没有问责制。“飞机失事后，他们会派出一个专家小组来记录所有出错的方面以及如何修复，”汤普森说。“对于司法不公，没有这样的机构存在。”
如果以及当这些技术真正起作用时，会发生什么？如果我们的数据无法保密，这个问题尤为紧迫。市政当局会筛选废水。私人公司会记录通话以收集我们声音的独特信号和财务数据；警方会运行监控视频中的静态图像，通过面部识别算法。除了基因分析、地理定位和生物识别技术，研究人员还提出了大脑-计算机接口（BCI）或“脑劫持”（brain-jacking）的恶意使用可能性，这正迫近地平线。
这也应该引起我们所有人的关注。
