人工智能使我们可以将任务卸载给机器——它们开始为我们的照片打标签、驾驶我们的汽车、操控我们的无人机。正如在最近的特斯拉自动驾驶事故中推测的那样，或误听语音命令那样，这些人工智能系统在执行这些任务时偶尔会做出错误的决定，但新的研究表明，有经验的黑客可能会迫使这些算法做出错误且可能有害的决定。
研究人员在验证这些现实世界攻击方面迈出了第一步，他们迫使一个人工智能算法在智能手机拍摄的照片中错误识别图像，错误率高达97%。在实验中，图像上印刷的变化，然后用智能手机拍摄，对人眼来说是看不见的，但在实验室之外，这种差异可能意味着一辆自动驾驶汽车看到的是停止标志，或者根本什么都没看到。
“你可以想象有人签署一张看起来是100美元的支票，但自动柜员机却将其识别为1000美元，”OpenAI研究员、该论文的合著者Ian Goodfellow说。他还表示，这些攻击可以被用于提高搜索引擎优化，方法是欺骗机器学习算法，让它认为一张图片更具吸引力，或者被金融机构用于欺骗竞争对手的人工智能股票交易员做出糟糕的决定。
Goodfellow不知道这种攻击是否曾在实际中使用过，但他表示，这是人工智能研究人员绝对应该开始考虑的事情。
关于欺骗人工智能的研究已经存在多年——但之前的研究无法证明这种攻击对于普通相机拍摄的真实物品照片是可行的。该论文由埃隆·马斯克支持的OpenAI和Google撰写，证实即使在光照、视角、相机光学和数字处理发生变化的情况下，攻击仍然可以成功。
为了测试其漏洞，该团队将印刷的、略微修改过的、已知会欺骗人工智能的图像（如果直接输入算法的话）与未修改的图像一起打印在纸上。然后，他们使用Nexus 5X智能手机拍摄了这些纸张的照片。
研究人员裁剪了打印的图像，然后将其输入到标准的图像识别算法中。算法不仅未能识别出图片中的内容，而且在97%的情况下，甚至无法在它的前5个猜测结果中得到正确答案。然而，结果确实会随着图像修改的差异而下降——通常来说，对人类更明显、更剧烈的变化具有更高的成功率。
他们的目标仅仅是欺骗人工智能使其无法看到它通常会看到的东西——尽管在之前的研究中，这些修改过的图像可以被视为特定的其他物体。研究人员没有考虑所使用的相机类型，但预计调整相机光学器件会改善他们的结果。
其他研究也使用了相同的技术——但针对音频——通过恶意语音命令欺骗Android手机访问网站和更改设置。
该小组（来自乔治城大学和加州大学伯克利分校）能够修改录制的语音命令，如“OK Google”，并将其扭曲到人类几乎无法辨认的程度。
“隐藏的语音命令也可能从活动现场的扬声器中广播，或嵌入到流行的YouTube视频中，从而扩大单次攻击的范围，”研究人员在将要在8月举行的USENIX安全研讨会上发表的乔治城大学和伯克利大学的论文中写道。
这样的公开攻击可能会触发智能手机或电脑（新植入虚拟个人助理）加载恶意网站或将用户位置发布到Twitter。
对于人工智能的某些用途来说，这些攻击可能无伤大雅——导致照片被错误标记——但在机器人、航空电子、自动驾驶汽车，甚至网络安全领域，其影响是真实的。
