我们被告知要害怕机器人。但为什么我们会认为它们会反过来对付我们呢？

尽管有耸人听闻的头条新闻，客观数据显示，全球各地的人们平均寿命更长，患病率更低，食物摄入量更多，在校时间更长，接触的文化更多，死于战争、谋杀或事故的可能性更低。然而，绝望之情却生生不息。当悲观主义者被迫承认，对越来越多的人来说，生活越来越好时，他们总有办法反驳。他们说，我们正在快乐地冲向一场灾难，就像那个从屋顶上摔下来的人，每经过一层楼时都说：“到目前为止还好。”或者我们正在玩俄罗斯轮盘赌，致命的几率终将找上门来。或者我们会因为“黑天鹅”事件而措手不及，那是一种统计分布尾部极端的“四西格玛”事件，几率很低但后果灾难性。半个世纪以来，现代末日的四大骑士一直是人口过剩、资源短缺、污染和核战争。最近，它们又加入了一支由更奇特的骑士组成的骑兵队：将吞噬我们的纳米机器人、奴役我们的机器人、将我们变成原材料的人工智能，以及那些会在卧室里制造灭绝病毒或摧毁互联网的保加利亚青少年。那些熟悉的骑士（人口过剩、资源短缺、污染和核战争）的警惕者往往是浪漫主义者和卢德分子。但那些警告高科技危险的人，常常是科学家和技术专家，他们运用自己的创造力，找到了世界即将终结的各种方式。2003年，天体物理学家马丁·里斯（Martin Rees）出版了一本书，名为《我们的最后时刻》（Our Final Hour），他在书中警告说，“人类可能是自己灭亡的制造者”，并列举了十几种我们“威胁到整个宇宙未来”的方式。例如，粒子对撞机中的实验可能产生一个会毁灭地球的黑洞，或者一个“奇异子”（strangelet），即被压缩的夸克，会导致宇宙中的所有物质与其结合并消失。里斯触及了灾难主义的富矿。这本书的亚马逊页面写道：“看过此商品的顾客还看过《全球性灾难风险》、《我们的最终发明：人工智能与人类时代的终结》、《终结：科学与宗教告诉我们关于末日的一切》以及《僵尸战争：僵尸战争的口述历史》。”科技慈善家们资助了专门研究新存在风险并找出如何拯救世界免受其害的研究机构，包括人类未来研究所（Future of Humanity Institute）、生命未来研究所（Future of Life Institute）、存在风险研究中心（Center for the Study of Existential Risk）和全球灾难风险研究所（Global Catastrophic Risk Institute）。我们应该如何看待潜伏在我们渐进式进步背后的存在风险？没有人能预言灾难永远不会发生，本文也不包含这种保证。气候变化和核战争尤其面临着严峻的全球挑战。虽然它们尚未解决，但它们是可以解决的，而且已经制定了长期脱碳和无核化的路线图。这些进程正在稳步推进。每十亿美元的国内生产总值（GDP）所排放的二氧化碳量正在减少，世界核武库已经减少了85%。当然，为了避免可能的灾难，必须将它们完全降至零。

除了这些真实的挑战之外，还有一些更为可疑的情景。几位科技评论员猜测，我们可能会有意或无意地被人工智能（AI）征服，这是一场有时被称为“机器人末日”（Robopocalypse）的灾难，通常用《终结者》电影的剧照来形象地说明。一些聪明人对此认真对待（尽管有些虚伪）。埃隆·马斯克（Elon Musk）的公司生产人工智能自动驾驶汽车，他称这项技术“比核弹更危险”。斯蒂芬·霍金（Stephen Hawking）通过他的人工智能合成器警告说，这可能“预示着人类的终结”。然而，在那些不为此失眠的聪明人中，大多数是人工智能领域的专家和人类智能领域的专家。

机器人末日基于一种模糊的智能概念，它更多地源于“存在之链”（Great Chain of Being）和尼采的“权力意志”（Nietzschean will to power），而不是现代科学理解。在这种概念中，智能是一种全能的、有求必应的魔药，各种智能体拥有不同程度的它。

人类拥有比动物更多的智能，而未来的人工智能计算机或机器人（按新的数词用法称为“AI”）将拥有比人类更多的智能。既然我们人类利用自己适度的禀赋驯化或消灭了禀赋较差的动物（并且技术先进的社会已经奴役或消灭了技术落后的社会），那么超智能AI也会对我们做同样的事情。既然AI的思考速度比我们快数百倍，并且会利用其超智能递归地提升其超智能（这种情况有时被称为“foom”，源于漫画中的音效），那么从它启动的那一刻起，我们将无力阻止它。

但这种设想的道理，就像担心喷气式飞机已经超越了老鹰的飞行能力，有一天它们会从天上俯冲下来夺走我们的牛一样荒谬。第一个谬误是混淆了智能和动机——混淆了信念和欲望，混淆了推理和目标，混淆了思考和渴望。即使我们发明了超智能机器人，它们为什么会想奴役它们的主人或接管世界呢？智能是利用新颖的手段来实现目标的能力。但目标与智能无关：聪明并不等于渴望某物。恰好，在一个系统（智人）中的智能，是达尔文自然选择的产物，而自然选择是一个本质上竞争的过程。在那个物种的大脑中，推理（在不同个体中程度不同）与支配对手和积聚资源等目标捆绑在一起。但是，将某种灵长类动物的边缘大脑中的电路与智能的本质混为一谈是错误的。一个被设计而非进化的AI系统，很可能像阿克（Al Capp）的漫画《李尔·阿伯纳》（Li’l Abner）中的阿布（shmoos）一样思考，它们是圆滚滚的利他主义者，它们会发挥其相当大的智慧，为了人类食客的利益而将自己烤熟。没有复杂的系统法则规定智能体必须变成无情的征服者。

第二个谬误是将智能视为一种无限的潜能连续体，一种能够解决任何问题、实现任何目标的奇迹般的灵药。这种谬误导致了诸如AI何时会“超越人类水平的智能”之类的无稽之谈，以及对具有上帝般全知全能的终极“通用人工智能”（AGI）的想象。智能是一个由小工具组成的装置：软件模块，它们获取，或被编程以知识，知道如何在各种领域追求各种目标。人类具备寻找食物、赢得朋友和影响他人的能力，讨好潜在的伴侣，抚养孩子，在世界中移动，并追求人类的其他痴迷和消遣。计算机可以被编程来处理其中一些问题（如人脸识别），而忽略其他问题（如讨好伴侣），并且还可以处理人类无法解决的其他问题（如模拟气候或整理数百万份会计记录）。

问题不同，解决这些问题所需的知识类型也不同。不像拉普拉斯的妖（Laplace’s demon）——那个神话中的存在，知道宇宙中每个粒子的位置和动量，并将它们输入物理定律的方程以计算未来任何时刻的一切状态——一个现实世界中的认知者必须通过一次一个领域地与其互动，来获取关于混乱的世界、物体和人物的信息。理解力并不遵循摩尔定律：知识是通过形成解释并将其与现实进行检验来获得的，而不是通过运行算法来做得越来越快。吞噬互联网上的信息也不会赋予全知：大数据仍然是有限数据，而知识的宇宙是无限的。

出于这些原因，许多AI研究人员对最新的炒作（AI的长期弊病）感到恼火，这导致观察者误以为通用人工智能即将到来。据我所知，目前没有建造AGI的项目，这不仅是因为它在商业上可疑，而且因为这个概念几乎不连贯。2010年代确实出现了能够驾驶汽车、给照片配字幕、识别语音以及在《危险边缘》（Jeopardy!）、围棋和雅达利电子游戏中击败人类的系统。

Enlightenment Now: The Case for Reason, Science, Humanism, and Progress — 启蒙的现在：理性、科学、人本主义和进步的论据

查看

但这些进步并非来自对智能运作机制的更好理解，而是来自于更快的芯片和更大的数据的强大力量，这使得程序可以对数百万个例子进行训练，并将其泛化到类似的新例子。每个系统都是白痴学者，在解决它未被设定来解决的问题方面能力很弱，并且对它解决的问题掌握得很脆弱。一个照片字幕程序将即将发生的飞机坠毁标记为“一架飞机停在停机坪上”；一个游戏程序会因为评分规则的 slightest 变化而不知所措。尽管程序肯定会越来越好，但没有任何迹象表明会出现“foom”。这些程序也没有采取任何行动来接管实验室或奴役它们的程序员。

即使AGI试图行使权力意志，如果没有人类的合作，它仍然是一个无能为力的“缸中之脑”（brain in a vat）。计算机科学家Ramez Naam消除了关于“foom”、技术奇点和指数级自我改进的泡沫。

想象你是一个运行在某种微处理器（或者，也许是数百万个这样的微处理器）上的超智能AI。你瞬间就设计出了一个更快速、更强大的微处理器，你可以在上面运行。现在……该死！你必须实际制造那些微处理器。而那些[制造厂]需要巨大的能源，需要从世界各地进口原材料，需要高度控制的内部环境，需要气闸、过滤器以及各种专业设备来维护，等等。所有这些都需要时间和能源来获取、运输、集成、建造厂房、建造发电厂、测试和制造。现实世界阻碍了你自我超越的上升螺旋。

现实世界阻碍了许多数字末日。当HAL变得傲慢时，戴夫用螺丝刀将其禁用，让它可怜巴巴地给自己唱着“两个人骑着自行车”（A Bicycle Built for Two）。当然，人们总可以想象一个邪恶的、普遍赋权、永远在线且防篡改的末日计算机。处理这种威胁的方式很简单：不要制造它。

随着邪恶机器人似乎变得过于俗套而无法认真对待，存在主义的守护者们发现了一个新的数字末日。这个故事情节不是基于《弗兰肯斯坦》或《魔像》（Golem），而是基于精灵许下三个愿望，第三个愿望是用来撤销前两个愿望的，以及国王米达斯（King Midas）后悔他将触碰的一切变成黄金，包括食物和家人。这种危险，有时被称为“价值对齐问题”（Value Alignment Problem），是我们可能会给AI设定一个目标，然后无助地站在一旁看着它无情地、字面意义地执行其对该目标的解读，而不管我们其他方面的利益。如果我们给AI设定的目标是维持大坝后面的水位，它可能会淹没一个城镇，而不顾死去的人。如果我们给它的目标是制造回形针，它可能会将可触及宇宙中的所有物质变成回形针，包括我们的财产和身体。如果我们要求它最大化人类的幸福，它可能会给我们所有人植入静脉注射多巴胺滴管，或者重新连接我们的大脑，让我们在罐子里最快乐，或者，如果它被训练成使用笑脸图片来理解幸福的概念，就会将整个星系铺满数万亿个微小的笑脸图片。

我不是在胡说。这些都是所谓的用来阐述先进人工智能对人类的生存威胁的情景。幸运的是，它们是自相矛盾的。它们基于两个前提：1）人类如此聪明，能够设计出全知全能的AI，但又如此愚蠢，会在测试其工作原理之前就将其控制权交出；以及2）AI会如此聪明，能够弄清楚如何嬗变元素并重塑大脑，但又如此愚蠢，会基于最基本的误解错误地造成混乱。选择一个能最好地满足冲突目标的行动的能力，不是工程师可能敲打额头忘记安装的附加功能；它是智能。解释语言使用者意图并结合语境理解的能力也是如此。只有在像《糊涂特工》（Get Smart）这样的电视喜剧中，机器人才会响应“抓住服务员”而把餐厅经理举过头顶，或者响应“关灯”而拔出枪射击灯。