去年 8 月，驻扎在美国的美国海军操作人员与一架在马里兰州上空飞行的“火力侦察兵”直升机失去了所有联系。他们原本已编程将这架无人驾驶飞行器设置为在地面通信失败时返回其发射点，但它却朝着国家首都以西北偏北方向飞去。接下来的 30 分钟里，军方官员通知了联邦航空管理局和北美防空司令部，并准备了 F-16 战斗机拦截这架无人驾驶飞机。最终，当“火力侦察兵”距离白宫仅几英里时，海军重新获得了控制权，并命令它返航。随后几天的报纸头条警告说：“无人驾驶飞机叛变，在首都附近上空徘徊。”另一则报道则宣称：“无人机反抗其人类压迫者，在华盛顿特区上空逍遥游。”
“火力侦察兵”没有携带武器，而且无论如何，它都不是一种具有足够智能或自主性以实现科幻小说中所说的机器人终将“醒悟并起义”的机器。但世界上最大的军队正在迅速重塑自身，使其成为一支主要由机器组成的战斗部队，并正努力使这些机器变得更加智能、更加独立。3 月份，美国国防部主管采购、技术和后勤的副部长阿什顿·卡特（Ashton Carter）指出，“当前和未来的军事系统可以引入前所未有、或许是无法想象的自主程度”，他呼吁成立一个关于自主性的特别工作组，以确保各军种“充分利用这一领域的进步”。
在伊拉克和阿富汗，大约有 20,000 架机器人和遥控车辆加入了美军在地面和空中的作战。中央情报局定期将无人机派往巴基斯坦，以打击涉嫌的基地组织成员和其他目标。国会要求到 2015 年，至少有三分之一的军用地面车辆实现无人化，并且空军每年培训的无人机操作员数量已经超过了战斗机和轰炸机飞行员的总和。根据空军最近一份 detailing the branch’s science aims 的报告《科技前沿》（Technology Horizons），军事机器将实现“比今天可能实现的自主功能水平高得多”并“以网络速度可靠地做出广泛的自主决策”。一位高级空军工程师告诉我，“你可以设想无人系统可以执行我们今天做的几乎任何任务。”或者正如陆军无人机系统卓越中心前主任克里斯托弗·卡利尔上校（Colonel Christopher Carlile）所说，“科幻与科学的区别在于时机。”
我们在这个画廊中收集了一些迄今为止最强大、最令人恐惧的机器人。点击缩略图，了解更多机器人变得更快、更智能、更致命的方式。
在这个军队 ranks 的根本性重组中，我们已经走得很远了，但美国或任何其他国家都还没有制定出任何像样的机器人学说，甚至连军事机器的明确政策都没有。正如英国谢菲尔德大学人工智能与机器人学教授诺埃尔·沙基（Noel Sharkey）所说，各国正在迅速建造这些系统，它们也想部署它们：“根本没有进行国际讨论。这一切都在进行，没有人相互交流。”布鲁金斯学会的研究员 P.W. 辛格（P.W. Singer）在他的新书《为战争而生：机器人革命与 21 世纪的冲突》（Wired for War: The Robotics Revolution and Conflict in the 21st Century）中认为，机器人和遥控武器正在像火药、机械化和原子弹一样改变战争和更广泛的世界。但辛格也看到了重大的区别。他告诉我：“我们正在经历摩尔定律，”引用了计算机处理能力将每两年翻一番的格言，“但我们还没有摆脱墨菲定律。”机器人将拥有更强大的智能，更强的推理和自我适应能力，当然它们也将拥有更强的破坏力。那么，当这些军事机器可能出现的所有问题都发生时，这意味着什么呢？
我将这个问题抛给了空军首席科学家、《科技前沿》的首席作者维尔纳·达姆（Werner Dahm）。他认为，好莱坞式的恐惧，就像当初媒体报道海军“火力侦察兵”事件时表现出来的那样，是不可信的。“最大的危险不是大家想象的《终结者》式的场景，即机器接管一切——事情不是这样失败的，”达姆说。他真正的担忧是，我们会建造出强大的军事系统，它们将“承担所有完全由人类完成的关键大型职能”，然后却发现为时已晚，这些机器根本无法胜任。“我们眨眨眼，”他说，“10 年后，我们会发现技术根本就没有发展到那个程度。”
然而，达姆的设想提出了另一种“终结者”式的场景，一种更可能发生且并非没有危险的场景。通过与军方官员、机器人设计师和技术伦理学家的数十次访谈，我逐渐意识到，我们正在进行两个主要项目：第一个是赋予机器越来越高的智能和自主性，第二个是维持对这些机器的控制。达姆担心的是前者取得成功，但我们至少应该同样担心后者失败。如果我们制造了智能机器，却没有同样智能的控制系统，那么我们将面临一种情况：有一天，通过数千个看似合理的、出于好意的决定，机器实际上会接管曾经属于我们的所有“关键职能”。然后，“我们眨眨眼”，发现我们所处的这个世界是我们不再能够理解或控制的。
低垂的果实
如今，士兵和空勤人员已经可以看出，至少在某些情况下，机器正变得与他们相当甚至更好。去年夏天，当我访问俄亥俄州代顿市附近的莱特-帕特森空军基地（Wright-Patterson Air Force Base）的空军研究实验室时，那里的科学家给我看了一个正在开发的名为“感知与规避”（Sense and Avoid）的系统的视频演示，他们预计该系统将在 2015 年投入使用。通过一系列机载传感器，装备此技术的无人机可以探测到附近是否有其他飞机，并迅速进行机动以避免碰撞。“感知与规避”可以在战斗中使用，并且已经在计算机模拟中进行了测试，模拟中有多架飞机从各个方向向无人机靠近。然而，它最直接的好处可能是证明无人机可以在美国领空安全飞行。美国联邦航空管理局（FAA）还不允许在战争地区自由飞行的无人机靠近国内的商业航班，而且即使在我们未受限制的空域，它们也只能非常罕见地飞行。但是，“感知与规避”算法遵循所有飞机都必须遵守的、可预测的 FAA 航行权规则。视频中有一个画面，展示了该系统在安大略湖上空成功测试的情况，屏幕上出现了一位驾驶迎面而来的飞机之一的飞行员的引言：“这简直就像飞行员的操作一样。”
机器已经拥有了一些明显优于我们凡人的优势。无人机能够达到飞行员通常会失去意识的加速度，而且它们可以连续飞行数天甚至数周。一些军事机器人还可以快速瞄准并发射高能激光，而且（在受控情况下）它们能够比人类更稳定地击中目标。陆军目前使用一种名叫“反火箭、炮弹和迫击炮”（C-RAM）的矮胖的、类似 R2-D2 的机器人，它使用雷达探测绿色区域或巴格拉姆机场（Bagram Airfield）上空的来袭炮弹，然后以惊人的 70% 的命中率将其击落。空军的科学家们还谈到了一个“超级助推的自动驾驶仪”，它可以通过利用气象卫星的数据快速调整飞机航线，从而最大限度地提高燃油效率。另外，一个可以在飞行员迷失方向时自动将飞机从地面拉起的计算机程序将于今年晚些时候在 F-16 上线。
目前，机器能力的增强正伴随着人力投入的增加。空军告诉辛格，平均每架“捕食者”（Predator）无人机有 68 人负责操作，其中大多数人负责分析每次飞行产生的大量数据。随着五角大楼部署越来越多的先进成像系统，从九个传感器的“蛇发女妖之视”（Gorgon Stare）到计划中的 368 个传感器的 ARGUS，对数据挖掘人员的需求将持续增长。然而，由于人员是维护军队的最大成本，五角大楼正开始探索使用“智能”传感器。这些设备利用运动传感算法，可以自行决定哪些数据是重要的，只传输目标出现时的几分钟，而不是 19 小时的空旷沙漠。
佐治亚理工学院（Georgia Institute of Technology）移动机器人实验室主任罗纳德·阿金（Ronald Arkin）推测，在某些有限的范围内，武装机器人甚至可以比人类更合乎道德地执行军事行动。配备阿金原型“道德制动器”（ethical governor）的机器将无法执行不遵守交战规则、不最小化附带损害或不在合法“杀伤区”内发生的致命行动。此外，机器不会寻求报复，也不会经历保护自己的压倒性冲动，它们永远不会被恐惧或歇斯底里的情绪所左右。我在 9 月份与阿金交谈，就在五角大楼起诉五名美军士兵谋杀阿富汗平民并亵渎他们尸体的消息爆出的几天后。“机器人已经更强大、更快速、更智能了，”他说，“为什么它们不会更人道呢？在人类犯下暴行的战争中，这相对来说是低垂的果实。”
一件棘手的事情
在空军研究实验室的一个安全区域，我观看了自动空中加油系统的计算机模拟。该系统允许无人机靠近一架正在飞行的空军加油机，进入适当的加油位置，并在近 30 分钟的加油时间内保持该位置，即使在颠簸中也是如此。空军已经进行空中加油约 60 年了，最初是在朝鲜战争中对战斗机使用精细的操作，以及对那些在空中停留数天的核轰炸机。空中加油通过延长任务航程，并允许飞机以更少的燃料和更大的有效载荷在较短的跑道上起飞，从而减少所需的飞机和基地的数量。由于这个过程需要两架飞机非常靠近地飞行，因此协调这些互动一直由双方的飞行员负责。
随着空军向无人机机队过渡，它正试图确保该过程能够在没有人类控制的情况下完成。由诺斯罗普·格鲁曼（Northrop Grumman）等公司联合开发的自动空中加油系统已经进行了“干式”飞行测试，其中一架“莱尔捷特”（Learjet）飞机充当了无人机的角色。但大部分测试是使用计算机模拟进行的，尽可能多地运行各种场景，识别潜在问题，并相应地调整输入。从人类到机器人的控制转移是渐进的。实验室控制科学部门（Control Sciences Division）的一位高级工程师鲍勃·史密斯（Bob Smith）说：“你演示的信任越多，就越能说服所有人无人机是安全的。但信任比可靠性或安全性更重要。它必须随着时间的推移而建立。信任是一件棘手的事情。”
实验室里还有一个模拟器，空勤人员在该模拟器上训练加油系统。我被允许脸朝下躺在一张从退役的波音 KC-135 空军加油机上拆下的吊杆操作员的沙发上，尝试进行这项操作。我的头大部分时间都沉浸在一个由视频屏幕组成的圆顶中，这些屏幕被制作成加油机的窗户的样子，可以看到虚拟地面远处连绵起伏的山丘和白雪皑皑的山峰。一架看起来像黄貂鱼的无人机在我下方约 50 英尺处滑入视野，它似乎因为风的阵风而有些摇晃。全球定位系统（GPS）使无人机能够以相同的速度跟随加油机精确的盘旋模式。我的任务是通过操纵右手边的控制器将一根硬质燃油管精确地放置在无人机油箱上方，并用左手边的控制器将燃油管向下伸展，直到与无人机对接。就电子游戏而言，这是一个低风险的游戏——没有文明被创造或毁灭，没有杀戮或被杀。但在模拟器里，它似乎相当真实。
我将吊杆移到位，放下它，但错过了。我缩回，重新开始，又偏离了。在我几次尝试失败后，看着我趴着的背影的科学家们开始提及下一个演示，说我们不应该让忙碌的工程师等待。显然，我是系统中薄弱的一环。机器会做得更好。
意外时刻
将如此大的信心寄托在我们的军事机器上可能是诱人的，但并非总是明智的。1988 年，一艘在波斯湾巡逻的美国海军巡洋舰击落了一架伊朗客机，造成 290 人死亡，当时其自动雷达系统将飞机误认为是一架小得多的战斗机，而舰上的船员比其他冲突数据更信任电脑。莱特-帕特森基地的几位科学家提到，他们从这种过度依赖机器的经典例子中吸取了教训，这种依赖甚至在民用航空领域也导致了致命事故。正如一家机器人公司的一位副总裁向 P.W. 辛格描述的那样，军事机器的这些失误，往往是技术在如此早期开发阶段发生的“意外时刻”，这些不是不常见的错误。2007 年，当第一批名为 SWORDS 的武装坦克式机器人被部署到伊拉克——然后又被迅速撤回——时，流传着一个故事，说其中一个将枪口对准了友军。
机器人的制造商后来证实确实发生了几次故障，但坚称从未危及人员安全。在伊拉克的一台 C-RAM 确实瞄准了一架美国直升机，错误地将其识别为来袭火箭弹；它为何没有开火仍不清楚。一位 2006 年退役的士兵告诉辛格，他在伊拉克操作的一台地面机器人有时会“开出公路，冲向你，原地打转，诸如此类。”同年，辛格说，一台 SWORDS 在一次高管演示期间莫名其妙地开始旋转；如果不是因为机器人的机枪没有装弹，那么就像电影《机器人警察》（Robocop）中的场景就会发生。但在 2007 年一次拥挤的南非陆军训练演习中，一门自动防空炮似乎发生了故障，然后开始疯狂地旋转，射出了它 500 枚自动装填的炮弹。九名士兵死亡，14 人重伤。
事实证明，设计出自主性更强的智能机器人比证明它们将始终安全运行要容易得多。《科技前沿》报告强调了“自主系统的相对易于开发，与开发 V&V [验证与确认] 措施的负担形成对比”，并肯定“开发建立‘对自主系统可认证信任’的方法是必须克服的，以获得通过增加使用自主系统可以实现的性能优势的单一最大技术障碍。”地面和飞行测试是展示机器正确工作的一种方法，但它们成本高昂，并且能够检查的变量极其有限。软件模拟可以廉价地运行大量场景，但无法确定在混乱的真实世界任务中，字面意思的机器会如何反应。空军研究实验室控制科学部门的技术顾问丹尼尔·汤普森（Daniel Thompson）告诉我，随着机器自主性从自动驾驶仪发展到自适应飞行控制，再到先进的学习系统，证明机器在做它们应该做的事情变得越来越困难。“我们仍然需要开发能够让我们应对这种指数增长的工具，”他说，“我们谈论的是非常复杂的事情。”
这个技术问题也有政治影响。其他国家希望获得优越机器人智能和力量的战术优势，可能会愿意部署未经测试的、可能失控的自主系统。包括中国和伊朗在内的 43 个国家目前拥有或正在开发自己的军用机器人。无人机系统国际协会（Association for Unmanned Vehicle Systems International）拥有 6,000 名会员。空军科学家表示，他们可以通过加强自身的验证和确认工作来领先于那些偷工减料的国家。但这些努力对阻止其他地方不可靠的机器人扩散作用甚微，而且可能会激发一些国家在试图赢得机器人军备竞赛时，进一步偷工减料。“容易做的是制造一个杀死一切的笨拙的自主机器人，”加州州立理工大学圣路易斯奥比斯波分校（California Polytechnic State University at San Luis Obispo）伦理与新兴科学小组负责人帕特里克·林（Patrick Lin）说。毫不费力地想象一个雄心勃勃、好战的国家制造了一个杀死错误目标的笨拙机器人，从而引发一场更大的冲突。
耶鲁大学（Yale University）技术与伦理研究小组主席温德尔·瓦拉赫（Wendell Wallach）说，机器经常被赋予它们实际上不具备的辨别力、韧性和适应性，这通常是承包商极力吹捧他们的产品所致。“自主系统的一个真正危险在于，它们最终会被用于根本不适合的场合，”他说。
这些系统的先驱——执行许多军队称之为对人类来说“枯燥、肮脏和危险”操作的遥控机器——已经得到广泛使用，而且并非没有后果。由于中情局无人机操作员未能充分区分战斗人员和平民，迄今已杀死多达 1,000 名巴基斯坦平民。而真正自主的系统正承担着日益敏感的任务。“我不知道我们能否忽视《终结者》的风险，”林说，他举的例子不是什么杀人无人机，而是如今控制我们许多商业运作的计算机。例如，去年春天，一家交易公司的“卖出算法”引发了股市突然的 1,000 点“闪崩”。“认为我们生活的很大一部分，从商业系统到军事系统，都将由处理信息速度比我们快得多的计算机来运行，并可能导致股市崩盘或潜在地引发战争，这并非夸张。从长远来看，《终结者》的场景并非完全荒谬。”
脱离循环
随着我们加快战争（以及股票交易）的节奏和复杂性，将很难避免将控制权交给机器。士兵理论上可以否决 C-RAM 的开火，但他们必须在短短 0.5 秒内做出决定并执行。当机器将确认目标的通信传递给远程人类操作员并等待开火确认时，也会损失关键的几秒钟。随着自主系统以超人的速度执行超人的任务，人类本身越来越无法快速做出决定。他们正逐渐成为机器的监督者和“僚机”——不再是“在循环中”（in the loop）的决策者，而是“在循环外”（on the loop）的观察者，正如军方所说的。
空军实验室的官员们迅速指出，自主性不应被视为一种全有或全无的命题。理想情况下，存在“灵活自主的程度”，可以不断地扩大和缩小，在某些情况下，人类扮演更多的监督角色，而在另一些情况下，机器独立运行。实验室指挥官艾伦·波利科夫斯基（Ellen Pawlikowski）少将告诉我：“我们的重点是利用自动化来帮助人类做出决策，而不是为人类做出决策。如果到了因为人类脱离循环而导致糟糕的决策的时候，那就是自动化必须停止的时候。”
但要维持这种程度的人类参与，就需要人类和机器之间达到非同寻常的协调和沟通水平。艾萨克·阿西莫夫（Isaac Asimov）在他常被引用的“机器人三大定律”中提出了这个问题，这虽然是虚构的装置，但已成为讨论机器人控制的默认起点：机器人不得伤害人类，或因不作为而允许人类受到伤害；机器人必须服从人类的任何命令，除非该命令与第一定律相冲突；机器人必须保护自己，只要其行为不与前两条定律相冲突。
俄亥俄州立大学（Ohio State University）教授、专门研究人机协作并与军事研究人员在自动化系统方面密切合作的大卫·伍兹（David Woods）表示，简单的基于规则的方法永远不足以预测机器人在战场上将面临的无数物理和伦理挑战。相反，需要一个系统，当决策变得过于复杂时，控制权会迅速交还给人类或另一个回路上的另一台机器。“机器人是负责任的人的资源。它们延伸了人类的触角，”他说，“当事情出错时，干扰会级联，人类需要能够协调并与多个回路进行交互。”根据伍兹的说法，机器人三大定律可以提炼成一个单一的原则：“平稳的控制转移”。我们可能在特定情况下放弃控制，但我们必须始终保持能够收回控制权的系统。我们放手越多，就越困难。
在莱特-帕特森基地，我观察了一个模拟，其中一个人使用一种名为“警惕之灵控制站”（Vigilant Spirit Control Station）的独特界面，同时控制四架无人机。在两个大显示器上，每架飞机都以不同的颜色显示，其重要的飞行数据和与任务、传感器足迹以及目标位置相关的战术信息都以相应的颜色显示在屏幕边缘。实验室的监督控制界面技术顾问马克·德雷珀（Mark Draper）解释说，如果飞机只是监视地面固定目标，并且传感器视频被传达给需要它的人，那么一名操作员就可以处理十二架无人机。真正的考验是人类和机器是否能够检测到某种干扰或异常，并通过迅速重新分配控制权来做出反应。“如果十二架无人机中的一架突然发现一个高价值目标，他坐上一辆卡车离开了呢？”德雷珀提出了一个问题，“这是一个非常动态的事件，一个人无法同时管理 12 架飞机并跟踪他。那么，这项任务会立即转移给其他地方的某个专用单位。当任务完成后，飞机就会转回到最初的资源管理者，他仍在跟踪那 11 架在空中盘旋的飞机。”
空军也在研究如何通过使用药物和各种设备使人类更像机器，以便更顺畅地与机器互动。无人机管理员的工作通常是八小时的极度枯燥，然后在未知的时间因几分钟的混乱而被打破。在飞行测试中，无人机操作员往往会“隧道化”，只关注一架无人机而忽略其他无人机，一项北约（NATO）研究表明，当一个人从监视一架无人机转向监视两架无人机时，其性能下降了一半。关于镇静剂或增强警觉性和敏锐度的药物的军事研究是众所周知的。但在实验室的人类效能部门（Human Effectiveness Directorate），我看到一个原型，一种带有电极手指的头带，戴在头皮上，接收大脑产生的电信号。未来的计划是让监督多架无人机的操作员佩戴这种装置，并接受持续的心率和眼球运动监测。总而言之，这些设备将确定一个人何时疲劳、愤怒、兴奋或不知所措。如果无人机操作员注意力不集中，他可以通过视觉提示，或者磁刺激器可以被发送到他的额叶。当一个人表现出惊慌或压力的明显迹象时，人类（或机器）监督者可以简单地将责任转移给其他人。
即使是空军实验室的研究人员，也对保持人类“在循环中”的难度感到惊讶。在“警惕之灵”演示结束时，房间里十多名工程师之一的鲍勃·史密斯说：“我们认为难点在于让一辆车自己做某事。难点在于让它在有人参与的情况下做得很好。”
战略
9 月，来自 40 名科学家、政府官员、人权律师和军事人员组成的代表团齐聚柏林，参加了国际机器人军控委员会（International Committee for Robot Arms Control）的首次会议。
诺埃尔·沙基（Noel Sharkey）于 2009 年与人共同创立了该组织，希望就军事机器人如何已经改变了战争的性质，并颠覆了许多关于合法目标和战斗人员、合法打击和暗杀、间谍和侵略性军事行动的现有交战规则展开辩论。大卫·伍兹（David Woods）说，我们很可能很快就会听到关于反无人机战斗的消息，在这种战斗中，无人机会互相监视、跟踪、佯攻、干扰和窃取信息——除了直接的空中缠斗之外的一切。
随着人类承担的战斗风险越来越小，沙基和其他许多人担心，武装冲突的门槛将会降低，因为（至少从拥有机器人的角度来看）战斗的代价似乎更低。美国目前正在巴基斯坦进行一项由一个民间情报机构执行的、定义不清的军事行动。自 2004 年以来，该国在巴基斯坦西北部发动了 196 次无人机袭击，在奥巴马政府执政期间，这些袭击的频率急剧增加。“如果没有无人机，”帕特里克·林（Patrick Lin）说，“我们很可能根本不会在那里。这些机器人使我们能够做我们否则不会做的事情。”
大多数与会者签署了一份声明，呼吁对无人系统进行监管，并禁止未来开发和部署武装自主机器人武器。但沙基说，与会者甚至在如何定义基本术语上争论不休，这次经历进一步向他表明，让国家参与讨论是多么困难。建造这项技术的政府是为了推进其军事目标，但很快目标就变得符合技术，而机器本身也变得不可或缺。该委员会的新颖性和规模（只有 10 人是正式会员）表明，关于这个话题的对话是多么惊人地罕见。
温德尔·瓦拉赫（Wendell Wallach）强调了“关于自主机器人能发展到何种程度存在着巨大的困惑。我们从‘我们离人类水平的 AI 只有二十年’到认为我们还有 100 年，或者永远无法实现。即使在空军实验室，当我看到该领域的前沿工作时，我也未能清楚地了解未来几年我们可能会期待什么。那里的控制理论负责人西瓦·班达（Siva Banda）告诉我，空军非常了解建造有人驾驶飞机的标准和规范。“但我们在无人机方面的知识——我们就像婴儿。我们是婴儿。”事实上，尚不清楚是否有人在军事机器问题上发挥主导作用。P.W. 辛格（P.W. Singer）最近向五角大楼官员介绍了他的《为战争而生》一书后，一位国防部高级战略专家表示，他发现这次谈话很有趣，并提出了一个问题：“谁在为这一切制定和制定战略？”辛格，他现在已经做了许多这样的演讲，他向这位官员解释道：“其他人认为这是你。”
