上周，生命未来研究所 (FLI) 发布了一封公开信，呼吁禁止自主武器。该研究所将这些系统定义为“无需人为干预即可选择并攻击目标”的系统，并提出“人工智能 (AI) 技术已经发展到这样一个阶段，即在几年内，而不是几十年内，部署此类系统在实践上（如果不是在法律上）是可行的……”
但那封信的内容几乎无关紧要。这是一份轻描淡写的 437 字文件，更像是 Facebook 帖子，而不是号召。这也是 FLI 今年第二次就人工智能的危险发出警告。1 月份，他们发布了一封关于人工智能安全的公开信，提到了隐私和工伤事故问题，以及可能消灭人类的机器的生存威胁。该文件引起了广泛关注，很大程度上是因为埃隆·马斯克和史蒂芬·霍金等著名签署者。现在，他们两人也签署了这封新信。
但马斯克和霍金的参与也无关紧要。他们过去曾就人工智能发表过耸人听闻和毫无根据的担忧，使用的语言和逻辑都来源于科幻小说，而不是任何基于研究的结论。他们的偏见是既定的，尽管他们在其他事务上有着清晰的才华，但这个话题超出了他们的专业和学术范畴。霍金研究高能物理学，最著名的是在与 2014 年电影《超验异种》相关的评论文章中对人工智能感到担忧。而马斯克的许多未来主义项目目前还不包括人工智能。即使是马斯克个人投资的人工智能公司 Vicarious 的联合创始人，也有效地驳斥了他关于研究人员实际上正在努力避免失控机器智能的末日爆发的说法。
那么，FLI 的信，如果不是内容，也不是最突出的签署者，有什么重要之处呢？
重要的是，几乎所有人工智能和机器人领域的重量级人物都支持它。不断壮大的签署者队伍目前包括 50 多名谷歌工程师和研究人员，其中许多人来自谷歌去年以 4 亿美元收购的人工智能公司 DeepMind。名单上还有 Facebook 人工智能研究主管 Yann LeCun 和蒙特利尔大学的人工智能研究员 Yoshua Bengio。他们是深度学习领域的先驱，深度学习是人工智能的一个子集，通常与创造真正类人机器智能的潜力相关。当我采访他们，撰写一篇关于人工智能恐慌危险的文章时，他们认为这种担忧在很大程度上是无关紧要的，并且对该领域有害。就 Bengio 而言，他甚至担心研究人员会被那些被欺骗而将人工智能视为末日威胁的人盯上。然而，那些担心机器人遭到越来越多的反对的人，却支持禁止自主武器的想法。
我们看到的是一个必然性的开始。
我们看到的是一个必然性的开始。这封公开信是在联合国第二次关于禁止致命性自主武器系统（LAWS）的会议之后发布的（鉴于其禁令的背景，这是一个不幸的缩写）。这些会议尚未达成具有约束力的协议或提案，并且被视为正在进行的讨论，而不是政治的前奏。但 FLI 信的最后一句更加直接：“开始军事人工智能军备竞赛是一个坏主意，应该通过禁止超越有意义人类控制的进攻性自主武器来阻止。”
人权组织希望禁止这些系统。大量的人工智能研究人员和机器人专家也是如此。随着自主杀戮机器越来越可行，或者确实出现在战场上，这种共识只会越来越大。这是一种注定要失败的技术。
然而，仍然存在的问题并非微不足道或显而易见：我们究竟要禁止什么，何时禁止？
* * *
反自主武器运动的核心目标可以用一个词概括：有意义的人类控制。
你可以从这三个词中读出很多内容，包括一些误解。他们的队伍中有边缘分子，但大多数 LAWS 的批评者并不害怕《终结者》式的机器人起义。控制武装机器人的愿望在于保留人类决定杀戮的权利。不允许机器人决定何时使用致命武力存在哲学原因——例如，这应该是一个艰难的决定，并带有情感代价——以及更实际的担忧。FLI 的信警告了扩散的风险，即随着其最终低成本和易用性，“自主武器将成为未来的卡拉什尼科夫”。如果一群一次性携带炸弹的机器人可以被任何人部署，那么什么能阻止所有人使用它们呢？
丹佛大学政治学教授 Heather Roff 也担心 LAWS 会制造出一种新的“无罪的暴行”类别，即旁观者或投降敌人的杀戮可以归咎于一个故障。“突然之间一切都成了事故，”Roff 说。“战争罪不再有定义，因为没有意图。”自主武力误用与真正故障之间的界限，甚至在 LAWS 上战场之前，就已经显得模糊不清了。
2013 年，一家总部位于英国的非营利组织 Article 26创造了“有意义的人类控制”这个词，试图明确自主武器的批评者究竟在寻求什么。但尽管这个词在统一反 LAWS 的情绪方面卓有成效，但人们对它究竟意味着什么却没有真正的认识。“它给了我们一个非常有用的分析框架，”Hoff 说。“在过去一年里，‘有意义的人类控制’被提及得非常频繁，在论文和演示中。现在的问题是，是的，我们都喜欢它听起来，但它意味着什么？”
因此，Roff 和 Article 26 正在合作一个研究项目，以探讨有意义的人类控制的具体参数。这包括让反 LAWS 群体更具体地了解他们反对的是什么，以帮助规范他们提出的建议。在过去的六个月里，Roff 一直在建立一个半自主杀戮系统的数据库，首先从出口和进口武器最多的五个国家的系统开始。“每个人都在讨论人工智能和自主武器以及半自主武器，”Roff 说，“但似乎缺乏对这意味着什么、我们在谈论什么的确切理解。”
例如，海军舰艇上的“密集阵”系统（可以设置为扫描地平线上的来袭导弹并自主开火）与“哈拉布”无人机（可以盘旋在一个区域，然后俯冲攻击遇到的第一个雷达发射器，假设它是在一个“毒刺”或类似的对空导弹发射器上引爆）在自主性方面有什么区别？随着新系统的出现，我们将使用什么标准来确定哪些系统可能受到潜在禁令的约束？
7 月 1 日，Roff 和 Article 26 获得了 FLI 提供的 104,000 美元赠款，用于资助一年的人工智能武器系统研究。这笔钱是埃隆·马斯克捐赠的 1000 万美元的一部分，将分配给人工智能安全相关项目的提案。尽管 Roff 仍在为另一年的研究寻找资金（提案规划了两年研究），但她终于可以支付研究生参与的费用，并投入更多时间来研究武器自主性和有意义的控制到底构成什么。
以下是一个例子，说明为什么这种基础研究很重要。假设一个国家开发了严格的反物质无人机，只能攻击其他无人机，以避免涉及杀害人类的糟糕后果。这似乎与伊斯兰国等组织不会受到 LAWS 禁令约束的担忧相悖。一群无人机猎手将相当于军舰上“密集阵”系统那样的导弹防御系统。问题解决了，对吧？
但是，当反无人机群在平民人群中发现敌方机器人时会发生什么？如果像“密集阵”一样，这些无人机的速度快到人类无法响应——谁能在几分钟内处理并批准 1000 个不同的目标——它们可能会立即采取行动，并在平民附近下降并自毁。当局可能会对所谓的附带损害表示遗憾，并可能将责任推给对方利用其自主交战规则的漏洞。现在，在世界各地各种冲突的无数变体中，重复这一事件。这还不包括 LAWS 可能被用于秘密行动，政府否认其参与暗杀的可能性。“突然之间，世界看起来有点黯淡，”Roff 说。“人工智能开始变得非常可怕。”
* * *
过去，我曾认为，倡导禁止 LAWS 的研究人员和人权组织是在浪费时间和资源。军方没有人想要一个糟糕的代码行就可能对己方人员造成误伤的系统。
我错了，这真令人尴尬。
反 LAWS 群体的普遍假设是，当我们仔细阅读五角大楼的材料时，例如 DARPA 的提案请求或美国海军对未来战争的预测，自主武器正在到来。我并不完全相信。其中一些言论存在一种将零散信息联系起来的特质，这令人不安地接近阴谋论。互联网为国防行业的每一个举动带来了急需的审查，我的看法是，直到某个国家试图开发它，否则为什么还要为一个无穷无尽的机器人应用领域争论不休呢？该领域已经背负了荒诞的恐惧。横行霸道的杀戮机器人又一个科幻小说式的狂热幻想。
但我没有理解这个问题的复杂性，也没有理解研究机器人学者的日益增长的动力。Roff 的工作只是试图将数据和科学严谨性应用于最初是一种充满激情但有些含糊的政治论点的尝试之一。
然而，我最感到尴尬的是忽略了一个显而易见的问题：禁止自主武器没有坏处。随着 Roff 这样的研究人员积极地勾勒出此类法规的参数，很明显，禁止 LAWS 不会是对其他类型自主机器人的全面限制。而国际禁令将为各国提供处理部署它们的政府的政治选项。
唯一的危害在于等待自主武器开始杀戮。
唯一的危害在于等待自主武器开始杀戮。如果我们能在第一朵毒气云飘过士兵，在第一次世界大战中直接杀死 30,000 至 90,000 人（估计差异很大），并导致不明数量的致命癌症之前就禁止化学武器呢？如果我们能在 20 世纪 40 年代，在核武器的开发过程中，公众就已经了解它们呢？像广岛和长崎这样的城市，也许仍然会成为目标，并被常规武器轰炸。原子弹的辩护者认为，如果日本没有被一种能够用一枚炸弹夷平整个城市的可怕新技术所震惊而投降，可能会损失更多的盟军生命。尽管如此，当面临全球核末日武器扩散的前景时，世界难道不会至少考虑禁止它们的制造吗？
事后看来，化学武器和核武器最终被完全或至少部分禁止似乎是不可避免的。这些行动对成千上万的受害者来说太晚了。自主武器可能永远不会被认为像化学武器或核武器那样不人道或具有政治颠覆性，但潜在的痛苦和混乱的增加，无论是有意还是无意，都无法抵消自动化致命性的好处。我们有机会在悲剧发生之前，在失控扩散之前，预防一定程度的悲剧。
这是一个我甚至无法全力论证的案例，因为它太过显而易见。但要使这项不可避免的禁令生效，像 Roff 这样的研究人员还有很多工作要做。任何此类法规的学术基础都必须是数据驱动的，尊重人类尊严，而不是仅仅是和平主义。“我是一名正义战争理论家，所以这是否意味着我有时认为战争是可以的，”Roff 说。“这是关于思考这个问题。因为技术不是价值中立的。它是带有价值的。”
