在人类当前面临的“危机”的日常喧嚣中，我们常常忘记了我们希望能够延续下去的许多代人。不是指 200 年后的人，而是指 1,000 年或 10,000 年后的人。我用“希望”一词，是因为我们面临着威胁要毁灭人类的风险，这些风险被称为存在风险。这些风险不仅仅是导致重大灾难，而是可能终结历史的灾难。
然而，并非所有人都忽视了长远的未来。诺查丹玛斯这样的预言家经常试图计算世界末日。H.G.威尔斯则试图发展一种预测科学，并在他的小说《时间机器》中生动地描绘了人类遥远的未来。其他作家也创作了其他长远的未来场景，以示警告、娱乐或推测。
但如果这些先驱或未来学家没有考虑人类的未来，这也不会改变结果。在他们那个时代，人类几乎无能为力来拯救我们免受存在风险的侵害，甚至也无法引发一场存在风险。
如今，我们处于更有利的地位。人类的活动一直在持续塑造我们星球的未来。尽管我们离控制自然灾害还远，但我们正在开发可能有助于缓解，或至少应对这些灾害的技术。
不完美的未来
然而，这些风险仍然研究不足。人们对它们有一种无力感和宿命论。人们已经谈论了数千年的世界末日，但很少有人试图阻止它。人类也难以应对尚未发生的问题（部分原因在于可得性启发法——即倾向于高估我们能想起的事件的发生概率，而低估我们无法轻易回忆起的事件的发生概率）。
如果人类灭绝，至少的损失相当于所有在世个体以及他们目标落空的损失。但损失可能远不止于此。人类灭绝意味着过去几代人创造的意义的损失，所有未来世代的生命（可能存在天文数字般的未来生命）以及他们可能创造的所有价值的损失。如果意识或智能丧失，可能意味着价值本身从宇宙中消失。这是努力阻止存在风险成为现实的重大道德原因。并且，我们在这场追求中不能失败一次。
有鉴于此，我选择了我认为对人类生存构成最大威胁的五项。但必须牢记一些注意事项，这个名单并非最终确定。
在过去的一个世纪里，我们发现了或创造了新的存在风险——超级火山在 20 世纪 70 年代初被发现，而在曼哈顿计划之前，核战争是不可能的——因此我们应该预料到其他风险的出现。同样，一些今天看来很严重的风险，随着我们了解的增多可能会消失。概率也会随时间变化——有时是因为我们关注这些风险并解决了它们。
最后，仅仅因为某件事是可能的且潜在危险的，并不意味着它值得担忧。有些风险是我们完全无法应对的，比如由星系爆炸引起的伽马射线暴。但如果我们发现我们可以做些什么，那么优先级就会改变。例如，通过公共卫生、疫苗和抗生素，瘟疫就从神的旨意变成了公共卫生不良的问题。
1. 核战争
尽管到目前为止，在战争中只使用了两枚核武器——二战时期的广岛和长崎——并且核武器的储备量已从冷战时期的峰值下降，但认为核战争不可能发生是错误的。事实上，它可能并非不可能。
古巴导弹危机曾非常接近核战争。如果我们假设每 69 年发生一次此类事件，并且有三分之一的几率会升级为核战争，那么这种灾难发生的几率将增加到每年约 200 分之一。
更糟糕的是，古巴导弹危机仅仅是最为人所知的一例。美苏核威慑的历史充满了擦边球和危险的错误。实际概率会根据国际紧张局势而变化，但每年发生概率远低于千分之一似乎是不可信的。
一场主要大国之间的全面核战争将直接或间接导致数亿人死亡——这是一场难以想象的灾难。但这还不足以使其成为存在风险。
同样，辐射落尘的危害也常常被夸大——虽然可能在局部致命，但在全球范围内是一个相对有限的问题。钴弹曾被提出作为一种假设性的末日武器，会通过辐射落尘杀死所有人，但在实践中很难且昂贵制造。而且它们在物理上只是勉强可行。
真正的威胁是核冬天——也就是说，烟尘被抛入平流层，导致全球数年降温和干旱。现代气候模拟表明，这可能在未来数年内阻碍全球大部分地区的农业。如果发生这种情况，数十亿人将饿死，只留下零星的幸存者，他们可能被疾病等其他威胁消灭。主要的不确定性在于烟尘会如何行为：取决于烟尘的类型，结果可能大相径庭，而我们目前没有好的方法来估计这一点。
2. 生物工程大流行病
自然大流行病造成的死亡人数比战争还多。然而，自然大流行病不太可能是存在风险：通常总会有人对病原体有抵抗力，幸存者的后代也会更有抵抗力。进化也不利于会消灭宿主的寄生虫，这就是为什么梅毒在传播到欧洲时从一种剧烈的杀手变成了一种慢性疾病。
不幸的是，我们现在可以制造出更糟糕的疾病。一个比较著名的例子是，在小鼠痘（天花的小鼠版本）中引入一个额外的基因，使其毒性大大增强，并能感染接种过疫苗的个体。最近对禽流感的研究表明，疾病的传染性可以被故意增强。
目前，有人故意释放毁灭性物质的风险较低。但随着生物技术变得越来越好、越来越便宜，会有更多的团体能够制造出更糟糕的疾病。
大多数生物武器的研究是由寻求可控事物的政府进行的，因为消灭人类在军事上没有用处。但总会有些人可能出于能力的原因想做些事情。其他人则有更高的目的。例如，奥姆真理教（Aum Shinrikyo）试图加速末日，除了他们更成功的神经毒气袭击之外，还使用了生物武器。有些人认为地球没有人类会更好，等等。
从生物武器和流行病爆发袭击中造成的死亡人数似乎遵循幂律分布——大多数袭击受害者很少，但少数会造成大量死亡。根据当前数据，生物恐怖主义导致全球大流行的风险看起来非常小。但这仅仅是生物恐怖主义：各国政府使用生物武器造成的人员伤亡远超恐怖分子（二战时期日本生物战项目可能导致多达 40 万人死亡）。随着技术越来越强大，未来设计出更恶劣的病原体将变得更容易。
3. 超智能
智能是非常强大的。解决问题能力和群体协调能力的一丁点提高，就是我们远远超越其他猿类的原因。现在它们的生存依赖于人类的决定，而不是它们自己的行为。聪明是人类和组织的真正优势，因此人们付出了很多努力来探索提高我们个人和集体智力的方法：从认知增强药物到人工智能软件。
问题在于，智能实体擅长实现它们的目标，但如果目标设定不当，它们可能会利用它们的力量巧妙地达成灾难性的结局。没有理由认为智能本身会使其行为变得友好和道德。事实上，可以证明某些类型的超智能系统即使遵循道德规则也不会遵守。
更令人担忧的是，在试图向人工智能解释事物时，我们会遇到深刻的实际和哲学问题。人类的价值观是模糊、复杂的事物，我们不擅长表达，即使我们能做到，我们也可能不理解我们所期望的一切含义。
基于软件的智能可能会迅速从低于人类水平发展到令人恐惧的强大。原因是它可能以不同于生物智能的方式进行扩展：它可以在更快的计算机上运行得更快，部分可以分布在更多的计算机上，不同的版本可以即时测试和更新，可以集成新的算法来大幅提高性能。
有人提出，当软件在制造更优软件方面变得足够好时，可能会发生“智能爆炸”。如果发生这种飞跃，智能系统（或指示其行动的人）与世界其他地方之间就会存在巨大的潜在力量差异。如果目标设定不当，这显然可能导致灾难。
超智能的特殊之处在于，我们不知道快速而强大的智能爆炸是否可能：也许我们当前的文明作为一个整体正以最快的速度自我改进。但有充分的理由认为某些技术可能会使进程远超当前社会所能应对的速度。同样，我们也没有很好地把握不同形式的超智能会有多危险，或者哪些缓解策略会真正奏效。要推断我们尚未拥有的未来技术，或者比我们更聪明的智能，是非常困难的。在这个风险列表中，这是最有可能要么是巨大的，要么只是海市蜃楼的。
这是一个令人惊讶地研究不足的领域。即使在 20 世纪 50 年代和 60 年代，当人们对“一代人之内”就能实现超智能充满信心时，他们也没有深入研究安全问题。也许他们没有认真对待自己的预测，但更可能的是，他们只是将其视为遥远的未来问题。
4. 纳米技术
纳米技术是指以原子或分子精度控制物质。这本身并不危险——相反，它对大多数应用来说将是极好的消息。问题在于，与生物技术一样，能力增加也增加了滥用并难以防御的可能性。
最大的问题不是那臭名昭著的、会吞噬一切的“灰色粘液”——那些自我复制的纳米机器。那需要为了这个目的而精心设计。制造一个自我复制的机器是很困难的：生物在这方面天然更擅长。也许最终会有个疯子成功，但在毁灭性技术的树上还有很多更容易摘到的果实。
最明显的风险是，原子级精确制造看起来是快速、廉价制造武器等物品的理想选择。在一个任何政府都可以“打印”大量自主或半自主武器（包括制造更多武器的设施）的世界里，军备竞赛可能会变得非常迅速——因此不稳定，因为抢先攻击，在敌人获得太大优势之前，可能会很有诱惑力。
武器也可以是微小、精密的：一种像神经毒气一样但会搜寻受害者的“智能毒药”，或者用于让民众服从的无处不在的“蚊式机器人”监控系统似乎是完全可能的。此外，也可能存在将核扩散和气候工程交到任何人手中的方法。
我们无法判断未来纳米技术的存在风险的可能性，但它看起来可能具有颠覆性，仅仅因为它能给我们提供我们所希望的任何东西。
5. 未知的未知
最令人不安的可能性是，外面存在着某种非常致命的东西，而我们对此一无所知。
天空中的寂静可能是这个说法的证据。外星人的缺席是因为生命或智能极其稀少，还是因为智能生命倾向于被消灭？如果存在一个未来的“大过滤器”，那么其他文明也一定注意到它了，但这并没有帮助。
无论威胁是什么，它都必须是几乎无法避免的，即使你知道它的存在，无论你是谁，无论你是什么。我们不知道有任何这样的威胁（此列表中的其他威胁都不是这样运作的），但它们可能存在。
请注意，仅仅因为某事未知，并不意味着我们无法对其进行推理。在一篇杰出的论文中，Max Tegmark 和 Nick Bostrom 根据地球的相对年龄表明，某些风险发生的几率必须低于每年十亿分之一。
你可能会问为什么气候变化或小行星撞击没有被列入这个名单。气候变化，无论多么可怕，都不太可能使整个地球变得不适宜居住（但如果我们的防御系统崩溃，它可能会加剧其他威胁）。小行星确实可能彻底毁灭我们，但我们必须非常不走运。平均哺乳动物物种的寿命约为一百万年。因此，背景自然灭绝率大约是每年一百万分之一。这远低于核战争的风险，而核战争在 70 年后仍然是我们持续存在的最重大威胁。
可得性启发法使我们高估了媒体经常报道的风险，并低估了前所未有的风险。如果我们希望在一百万年后依然存在，我们就需要纠正这一点。
Anders Sandberg 在牛津大学人类未来研究所工作。
本文最初发表在The Conversation。阅读原文。
