没有人想要机器人末日。从 gave us the word “robot” 的话剧 R.U.R. 中机械工人起义，到《终结者》和《黑客帝国》系列电影中末日后的贫瘠、核战后的地狱景象，人类被自己创造的工具毁灭的想法，即使仍然属于虚构范畴，也极具吸引力。为了让末日牢牢地处于推测的领域，今天，国际红十字委员会发布了一份不同寻常的声明，对于一个国际人道主义团体而言：“杀戮和毁灭的决定是人类的责任。”
红十字会并非在“鼓励”人类做出杀戮和毁灭的决定。相反，它认为，如果这些决定将会做出（而人类历史上的几乎所有迹象都表明它们终将做出），那么关键在于，真正拥有这种权威和权力的必须是真正的人类，而不是致命性自主武器系统。或者，用这个运动的俗语来说，就是“杀手机器人”。来自红十字会
这份声明来自红十字会，是关于《特定常规武器公约》致命性自主武器系统专家会议的一部分。本周，此次会议正在日内瓦举行，其目标是制定武器规则，以便如果战争不可避免，也能以尽可能人道的方式进行。此前，《特定常规武器公约》已经禁止了诸如火焰喷射器之类的武器，这些武器既极其残忍，军事效用又有限。“致命性自主武器系统”比“投掷燃烧粘液”的范围更广，尽管很少有人明确希望机器人到处决定谁应该死，但“致命性”、“自主性”、“武器”和“系统”的定义将不仅塑造我们对这些机器的理解，还将塑造影响这些机器使用方式的法律和规则。
这不是致命机器是否会存在的问题，而是人类参与决策过程的程度问题。
红十字会声明的一半内容集中在定义和阐明辩论的术语。对国际红十字委员会而言，“‘自主武器系统’是一个总称，包括任何在选择和攻击目标的关键功能方面具有自主性的武器系统。”对这些武器的有意义的人类控制需要“在执行的任务、攻击的目标、操作环境、操作的地理空间和时间、用于人类监督武器系统运行的范围以及在必要时人类将其停用的能力方面，实行严格的操作限制。”或者，简而言之，需要对致命性自主机器人的使用中的“在哪里、何时、谁、多大程度以及如何”进行大量控制，并且在任何阶段，人类都需要能够停止武器。
为了符合人道主义法律，红十字会表示武器必须是可预测的：一个超出人类控制并以异常方式运行的无人机群将被禁止。红十字会不确定在武器发射时有人类控制是否足以防止自主性造成的危险，如果“在武器系统运行阶段只有很少或没有人为控制”的话。以洛克希德·马丁公司为 DARPA 开发、并最终装备美国海军的远程反舰导弹为例。该导弹的一个决定性特征是它能够自主地为目标舰艇规划航线，并通过它们发出的信号来识别目标。根据红十字会的指导方针，仅仅在武器发射时选定目标是不够的；人类必须批准目标的变化，否则该武器将违反战争的人道主义规范。
红十字会并非唯一一个试图弄清自主武器问题的组织。上个月，在华盛顿邮报主办的关于军事未来的活动“Secure Tomorrow”上，国防部副部长 Bob Work 谈到了自主性问题。来自五角大楼的报道
因此，这并非是致命机器是否会存在的问题，而更多地是关于人类参与决策过程的程度，以及哪些类型的自主性才重要。
通过Twitter私信，《大众科学》采访了 Mark Gubrud，他是一位物理学家，也是北卡罗来纳大学和平、战争与国防课程的兼职教授。Gubrud 认为，定义自主性是错误的问题。他说，相反，“正确的问题是我们必须在哪里以及可以在哪里划定界限，以阻止这场军备竞赛，使其不会将我们带入更危险的境地？”
同样，Gubrud 心目中对人类控制有着更精确的定义：“如果一个（非人类）系统在内部程序加上环境输入的情况下做出决定，那不是人类控制，”他说，“你可能已经编程了它，并且你可能满意它正在做出正确的决定，但你并没有在它做出这些决定的过程中控制它。人类控制是指人类做出决定。称某事物为自主的全部意义在于它在人类控制之外运行，自主做出决定。”
安全研究教授 Heather M. Roff 在《原子科学家公报》上撰文认为，战场上复杂、学习型机器带来的危险如此之大，以至于应该被完全禁止。她说
去年，位于华盛顿特区的智囊团新美国安全中心发布了一份报告，试图将关于杀手机器人的宏大辩论分解为关于自主程度、人类参与度和决策类型等一系列更小的辩论。
“红十字会的声明是关于自主武器系统对话的负责任且具有前瞻性的贡献。它正确地指出，武器系统中的自主性是现实生活中的一个事实，并且保持对武力使用的有效控制至关重要，”该报告的作者之一 Michael C. Horowitz 在接受采访时表示。
他继续说，“红十字会提到了公众良心指令在理解自主武器系统的合法性方面的重要性。考虑到公众对自主武器系统这个话题在全球范围内普遍缺乏认识，我们在断定‘公众良心’在这种问题上‘是什么’时需要谨慎。红十字会声明提出的一个关键问题是，判断任何假设的自主武器系统的可预测性和可靠性的要求，是否应该与现有其他武器系统的要求相同——或更高。”
在他即将出版但尚未公开的著作中，Horowitz 提出了定义自主武器的不同方法，并认为区分不同类型的自主性是向前发展的一个关键途径。
作为一个物种，我们可能正面临着一个独特的局面：为了保护自己免受其他人类的侵害，我们是否愿意将杀戮的权力委托给机器？如果愿意，又在多大程度上？很明显，红十字会认为我们需要非常谨慎地考虑我们的下一步行动，我与任何讨论致命自主性的人都没有异议。当涉及到武装机器时，没有明确的二元选择。
