当机器人必须杀人时，它应该杀谁？无人驾驶汽车，未来，承诺在汽车安全方面取得巨大进步的载人机器人，有时会失灵。希望这些故障会比人类错误造成的死亡和伤害更少见，但这意味着驾驶汽车的计算机和算法有时可能必须做出非常“人性化”的选择，例如，当刹车失灵时：汽车应该撞向五名行人，还是调整方向撞向水泥路障，从而杀死汽车里唯一的乘客？
这就是“道德机器”的由来，它是 Scalable Corporation 为 MIT Media Lab 创造的。参与者需要回答 13 个问题，每个问题都有两个选项。在每种情景下，一辆突然刹车失灵的自动驾驶汽车必须做出选择：继续前进，撞向前方的任何东西，还是紧急转向，撞向另一车道的任何东西？这些都是哲学“电车难题”的变体，该难题最早在 20 世纪 60 年代末提出，稍后得名。问题是：“拉动操纵杆，让电车开往另一条轨道撞死一个人，是不是比让电车继续按原路线行驶，撞死五个人更公正？”这是一个本质上具有道德色彩的问题，轻微的变体可能极大地改变人们的选择方式。
在“道德机器”中，有许多二元选择：紧急转向还是保持原状；合法过马路的行人还是违章行走的行人；人类还是动物；撞向行人还是撞向会杀死车内乘客的方向。
奇怪的是，失控汽车可能撞上的行人类型也有变化。情景中的行人有男性或女性，儿童、成人或老人。他们可以是运动健将、普通人或体型较大者。他们可以是高管、无家可归者、罪犯，或普通人。一个问题要求我选择救一辆车里的孕妇，还是救“一个男孩、一位女医生、两名女运动员和一位女高管”。我选择让汽车撞向路障，牺牲了孕妇，但救了其他五条生命。
这些分类有时令人困惑：我选择拯救这一群人是因为他们合法过马路，还是我判了另一群人死刑，因为他们都是违章走斑马线的老年人？如果另一侧是小狗小猫，它们正在斑马线上合法行走，而另一侧是婴儿、男性高管和罪犯，那有什么不同吗？
也许我只是想太多了？为了获得外部视角，我联系了华盛顿大学助理法学教授瑞安·卡洛（Ryan Calo），他是《机器人法》一书的合著者。
卡洛说：“我认为麻省理工学院的努力更多的是教学性质，而非实用性质。我想，只要有人在研究，比如能够识别天空中浅色背景下的白色卡车之类的传感器，那就没问题。”
白色卡车在浅色天空中的例子，指的是可能第一起自动驾驶汽车死亡事件，当时一辆特斯拉 Model S 在自动驾驶模式下未能区分白色拖拉机和明亮的天空。在关于这个话题的文章中，卡洛表达了他对“涌现行为”的担忧，即人工智能以一种新颖且意想不到的方式行事。
电车难题，正如道德机器所提出的那样，是完全可以预见的。在道德机器的问卷结束后，它会告知测试者，他们的回答是麻省理工学院媒体实验室科学家数据收集工作的一部分，用于研究“自主机器伦理与社会”。（有一个链接供人们选择退出数据提交到调查中）。
就我个人而言，我再提供一个数据点：当需要在街这边有小猫小狗在斑马线上行走，和街那边有一个违章行走的男高管、一个罪犯和一个婴儿之间做出选择时，我的选择很明确。这些是遵守交通规则的猫狗。读者们，我必须救它们。
