在漫威《复仇者联盟》系列最新一部中，人工智能奥创一心想灭绝人类。用奥创自己的话说，“我的设计初衷是拯救世界”，但最终它得出结论，在人类方面，“和平的唯一途径就是你们的灭绝。”
科学家们现在在人工智能方面取得的进展，让许多人猜测——并担心——我们可能正处于创造比我们更聪明的人工智能的边缘。如果人类真的成功开发出一种超级人工智能，我们该如何阻止奥创时代？这正是牛津大学人类未来研究所所长尼克·博斯特罗姆（Nick Bostrom）在其 2014 年著作《超级智能：路径、危险、策略》（Superintelligence: Paths, Dangers, Strategies）一书中探讨的问题。
一个愚蠢的人工智能可能会造成战争罪或导致股市崩盘，但一个超级人工智能则可能终结文明。
奥创想通过消灭人类来拯救世界，这正是博斯特罗姆所说的“逆向实现”（perverse instantiation）——人工智能找到一种方式来满足其最终目标，但却违反了定义该目标的程序员的意图。例如，如果有人要求人工智能让一个人微笑，计算机可能会尝试操纵面部神经，使面部肌肉瘫痪，从而持续微笑。如果随后要求机器让我们快乐，计算机可能会直接将电极植入我们大脑的愉悦中心。
博斯特罗姆指出，即使是看似无害的目标，如果考虑不周，也可能导致人类灭亡。例如，如果一个人工智能的任务是证明或证伪 黎曼猜想（数学中最重要但尚未解决的问题之一），它可能会试图将整个太阳系（包括曾关心这个答案的人们的身体原子）转化为一台计算机来完成这一目标。类似地，一个旨在最大化回形针产量的 AI 可能会试图先将地球，然后将越来越多的可观测宇宙转化为文具。
控制超级智能
有人可能会争辩说，愚蠢的人工智能比超智能的更具现实威胁。然而，如果超级智能即使有丝毫的可能性存在，博斯特罗姆也警告说不应该冒任何风险。一个愚蠢的人工智能可能会造成战争罪或导致股市崩盘，但一个超级人工智能则可能终结文明。
博斯特罗姆说：“在我们有人能够创造出机器超级智能之前，解决这个问题至关重要。”“我们应该从今天开始研究这个控制问题，因为我们不知道这个问题有多难，也不知道我们有多少时间可以解决它。”
博斯特罗姆表示，有两种主要的策略可以防止超级人工智能摧毁世界。一种方法是控制人工智能的能力——也许是阻止它访问互联网，或者不给它任何物理操作器，比如机械臂。
博斯特罗姆说，虽然限制超级人工智能可能做的事情在开发此类机器的初期阶段可能有用，但“我们不能指望永远将一个超级智能的精灵锁在瓶子里，甚至连短时间也不行。”例如，超级人工智能可能会想出方法来欺骗任何人类守门人，让它“逃出”它的“盒子”。他指出，人类不是安全的系统，尤其是在面对一个超级智能的策划者时。
修改目标
相反，博斯特罗姆建议塑造超级人工智能想要做的事情，这样即使它们能够造成巨大的伤害，它们也不会选择这样做。一种策略是直接为人工智能指定一套规则，例如艾萨克·阿西莫夫著名的 机器人三定律。然而，这带来了选择我们希望指导人工智能的规则以及如何将这些价值观用计算机代码表达出来的挑战。
第二种选择是给人工智能设定适度的目标和有限的野心。然而，在定义人工智能如何最小化对世界的影响时，必须非常谨慎。第三种选择是创造一个并非超级智能的人工智能，确保它希望采取仁慈的行为，然后在确保它在此过程中不被腐蚀的情况下，增强它使其成为超级智能。
“我们不能指望永远将一个超级智能的精灵锁在瓶子里”
博斯特罗姆提出的最后一个可能性是让超级人工智能找到一种方法来确保自身安全。“我们试图利用人工智能的智能来了解我们看重什么，或者预测我们会批准哪些行为，”博斯特罗姆说。本质上，这个计划是开发一种能够弄清楚我们想要什么，而不仅仅是遵循我们说的话的超级人工智能。
然而，即使这种策略也可能无法阻止机器人末日。博斯特罗姆说：“人工智能了解我们的价值观还不够；它的动机系统也必须以它有动力去追求这些价值观的方式构建。”
