据我们所知，人工智能是自动化海量复杂任务的最佳方式，例如在 Facebook 上标记数百万张独特的照片，或者让机器人 学会走路。计算机科学家和机器人学家正以 惊人的速度 越来越擅长制造这些算法，这意味着现在是时候考虑阻止 人工智能作恶的能力 了。
Google Deepmind 与人类未来研究所合作，发布了一项研究，旨在确定如果人工智能算法或机器人失控，我们将如何阻止它们。他们的结论是什么？一个大的红色按钮。
该研究引用了 2013 年的一项早期研究，其中一个玩游戏的算法意识到，如果它 只是暂停《俄罗斯方块》，它就不会输。这些由机器引起的棘手、意想不到的漏洞正是人类未来研究所预言会发生的。该研究所的创始人尼克·博斯特罗姆（Nick Bostrom）写了《 超级智能 》一书，书中警告说，当人工智能学会自主学习时，它将能够以人类无法企及的速度学习。这种情况被称为“奇点”，这个词最早由数学家斯坦尼斯瓦夫·乌拉姆（Stanislaw Ulam）在 1958 年提出。
安全地中断机器并不一定意味着拔掉电源插头——在任何可预见的场景中，如果人工智能危险到足以造成损害，它都会是自主运行的，或者托管在服务器机架上。相反，DeepMind 和 FoH 的研究得出结论，机器需要被欺骗。
要做到这一点，构建算法的科学家必须安装一个“中断策略”，或者一个允许人类“强制临时改变代理自身行为”的触发器。换句话说，这是一个让机器认为自己应该停止的信号。（有点像《美国队长》电影中控制巴基·巴恩斯的密码。）该机器不是遵循外部命令，而是内部做出停止的决定——尽管它是被欺骗的。这有点令人困惑，但却是应对一个不再听从人类指令的机器人的方法。
研究人员指出，这必须是一个专有的信号，只能由人工智能的所有者发送，而不是任何人都可以随时发送的信号。他们提到了一个遥控器，这可能就是他们之前提到的臭名昭著的“大红色按钮”。
当然，这只在非常具体的情况下才有效。如果存在奇点级别的人工智能，它很可能会阅读这项研究并移除中断策略。这项研究很大程度上是推测性的，因为通用人工智能的具体架构尚未出现，但谨慎总是一件好事。
