


拍一张好的人像照出奇地困难。从糟糕的光线到不讨喜的姿势,许多错误都会毁掉照片。然而,没有什么比眨眼的时机不对更能破坏肖像照了。不过,Facebook Research 正在研究一种方法,利用人工智能驱动的工具将闭着的眼睛替换成睁开的眼睛,该工具力求超越简单的复制粘贴新眼球。
在肖像照中睁开闭着的眼睛的想法并不新鲜,但这个过程通常涉及直接从另一张照片中提取素材,然后移植到眨眼者的脸上。例如,Adobe 的 Photoshop Elements 软件(其专业图像编辑软件的简化版)内置了专门用于此目的的模式。使用时,程序会提示您从同一组照片(假设您拍摄了不止一张)中选择一张人物的眼睛是睁开的。然后,它可以使用 Adobe 称为 Sensei 的人工智能技术,尝试将上一张照片中的眼睛融合到眨眼这张照片中。
这是一种在快速修复方面效果出奇好的功能——尤其是考虑到使用完整版 Photoshop 精心粘贴和融合新眼睛需要多少步骤。但是,它并不总能正确处理一些细节,比如特定的光照条件或阴影的方向。

“理解阴影是完全直观的,”达特茅斯学院计算机科学教授、照片取证专家 Hany Farid 说。“我可以通过看阴影来推断光源的位置。”当技术人员从另一张照片复制粘贴眼睛时,可能无法总是考虑到细微的阴影变化,而正如研究表明的那样,这些变化有时会导致最终图像看起来接近正确,但仍然会莫名其妙地显得奇怪。这被称为“恐怖谷”,研究人员希望避免这种情况。
Facebook Research 最近发表的一篇论文提出了一种不同的解决方案来替换闭着的眼睛,该方案依赖于一个深度神经网络,该网络实际上可以使用图像周围的上下文来构建缺失的数据,而不仅仅是受影响的区域。Facebook 正在使用一种称为生成对抗网络(GAN)的技术来填充这些数据。这是导致近期“深度伪造”视频浪潮的根本技术,在这些视频中,名人在没有真正做过的情况下却似乎说了或做了某些事情。
他们使用的 Exemplar GAN 模型从同一人物的其他图像中提取数据,但仅将其用作参考材料,从中学习被摄对象的外观以及脸上可能存在的任何识别特征。然后,它使用一种称为“图像修复”(in-painting)的过程来生成替换眼睑为真实眼睛所需的信息。这种深度学习需要比单张图像更多的参考,这非常适合 Facebook 的基础设施,因为它可以分析同一用户在不同光照条件下的许多不同图像。
Facebook 的初步结果令人印象深刻,尽管还不完美,但研究人员仍在努力为算法寻找最佳训练方法,并应对意想不到的变量,例如部分眼睛被头发或眼镜遮挡的照片。
尽管如此,该公司认为这种计算非常有用,甚至超越了修复眨眼主题的照片。也许未来人工智能可以让我们在个人资料照片中看起来更好看。即使在照片之外,该公司还在开发类似的人工智能工具,用于将音乐从一种风格翻译成另一种风格。