在未来的某个战场上，一台军事机器人将会犯错。设计用于战争的自主机器意味着未来需要接受一定程度的错误，更令人头疼的是，这意味着我们无法确切地知道这种错误会是什么。
随着各国、武器制造商和国际社会在制定自主武器规则方面取得进展，如果机器要兑现其减少伤害的承诺，坦诚地讨论数据错误带来的风险至关重要。
联合国下属机构发布的一份新报告直接探讨了这一对话。今日发布的《已知未知：数据问题与军事自主系统》是联合国裁军研究所的一份报告。其目的是帮助政策制定者更好地理解自主机器固有的风险。这些风险包括数据处理可能出现的故障，以及敌对势力如何主动操纵数据收集。这种风险的一个主要组成部分是，在战斗中收集和使用的数据比实验室中的数据要混乱得多，这将改变机器的行为。
现实场景令人担忧。也许机器人的摄像头，经过训练以适应白沙导弹靶场的沙漠强光，会在一个雾蒙蒙的早晨误将车头灯的反光解读为目标。也许机器人的机枪目标算法会错误地计算距离，将准星从坦克的前部移到操场上的一个设备上。也许一个自主侦察机器人，通过读取附近手机信号塔的位置数据，被敌方故意喂送了错误的信息，并错误地将一条街道标记为士兵的安全通道。
自主机器之所以能自主，是因为它们在移动过程中收集关于环境的数据，然后基于这些数据采取行动。在训练环境中，自主系统收集的数据是相关、完整、准确且高质量的。然而，报告指出，“冲突环境是严酷的、动态的和对抗性的，战场上的真实世界数据总是比用于构建和验证自主系统的有限样本数据具有更多的变数。”
[相关：俄罗斯正在制造一辆可以自行选择目标的坦克。会出什么问题？]
这种错误的一个例子来自摄像头传感器。在2020年10月的一次演示中，一家军事传感器公司的执行官展示了一个目标算法，并吹嘘该算法可以区分军用车辆和民用车辆。在同一演示中，视频将一个在停车场行走的人和一个树标记为相同的目标。
当军事规划者构建自主系统时，他们首先在一个受控的环境中用数据训练这些系统。有了训练数据，应该可以使目标识别程序区分树和人。然而，即使算法在训练中是正确的，在战斗中使用它也可能意味着自动目标程序会锁定树木而不是人，这在军事上是无效的。更糟糕的是，它可能会锁定人而不是树木，这可能导致意外伤亡。
敌方士兵或非正规武装人员，为了智胜自主武器的攻击，也可能试图用虚假或误导性的数据来欺骗搜捕他们的机器人。这有时被称为欺骗，在和平环境中也存在此类例子。例如，通过在35英里/小时限速标志上贴胶带，使其看起来更像8，研究人员说服了一辆处于自动驾驶模式的特斯拉汽车加速到85英里/小时。
在另一项实验中，研究人员成功地欺骗了一个物体识别算法，通过给苹果贴上写有“iPod”的纸标签，让它误以为苹果是一个iPod。在战争中，一辆旨在清除街道爆炸物的自主机器人可能会忽略一个明显的诡雷炸弹，如果它上面贴着写有“足球”的标签的话。
联合国裁军研究所安全与技术项目副研究员、本报告作者Arthur Holland Michel表示，从收集、解释到向人类传达信息的任何环节的错误，都可能导致“级联效应”，从而造成意外伤害。
“想象一下，一架侦察无人机，由于欺骗或错误的数据，错误地将一个目标区域归类为平民极少的区域，”Holland Michel通过电子邮件告诉《大众科学》。“那些根据该系统评估采取行动的人类士兵不一定会知道它是错误的，在快节奏的情况下，他们可能没有时间审核系统的评估并找到问题。”
如果测试表明目标摄像头可能会将树木误认为平民，那么士兵们就会知道在战斗中留意这种错误。如果这个错误是测试中从未出现过的，比如一个红外传感器看到了几个聚集的散热器的热量，并将其解释为人员，那么士兵们直到枪战结束后都不会有理由相信自主系统是错误的。
讨论机器如何产生错误，尤其是意外错误，是很重要的，因为否则依赖机器的人很可能会假设它是准确的。更糟糕的是，在战场上很难弄清楚自主机器是如何做出决定的。
[相关：美国空军的一项人工智能计划已经让一架无人机战斗机飞行了数小时]
“一种叫做深度学习的人工智能技术以不透明而闻名，因此通常被称为‘黑箱’。它通过概率来处理问题，而且通常有效，但我们不知道为什么，”布鲁塞尔自由大学（Vrije Universiteit Brussel）的博士研究员Maaike Verbruggen通过电子邮件告诉《大众科学》。“但是，如果士兵对机器得出的结论一无所知，他们又如何评估机器的建议是否正确呢？”
考虑到战场上的不确定性，士兵们很可能会遵循机器的建议，并认为它们没有错误。然而，在冲突中使用自主机器，错误是不可避免的。相信机器正确行事并不能免除士兵在国际法下避免意外伤害的义务。
虽然今天已经有一些带有自主功能的武器在使用，但没有哪个国家明确表示愿意在没有人类参与的情况下，信任机器来瞄准和射击人类。然而，数据错误可能导致新的问题，让人们对机器的行为负责，因为机器的行为是意外和不可预见的。随着机器变得越来越自主，这种危险很可能会增加。
“在自主武器方面，魔鬼藏在技术细节中，”Holland Michel说。“说人类应该始终对自主武器的行为负责是很好的，但如果这些系统由于其复杂的算法架构而存在无人能够用现有测试技术预见的未知故障点，你又如何规定这种责任呢？”
全自主武器的一个可能用途是只瞄准其他机器，比如无人机，而不是瞄准人或载有人的车辆。但实际上，该武器如何收集、解释和使用数据变得极为重要。
“如果这样的武器因为收集到的关于建筑的数据不完整而失效，导致系统瞄准人员，那就又回到了原点，”Holland Michel说。
