Facebook 正在开发 AI 工具来修复因眨眼而毁掉的照片

它能以惊人的准确度睁开紧闭的双眼。
Facebook opened closed eyes
Facebook

拍一张好的人像照出奇地困难。从糟糕的光线到不讨喜的姿势,许多错误都会毁掉照片。然而,没有什么比眨眼的时机不对更能破坏肖像照了。不过,Facebook Research 正在研究一种方法,利用人工智能驱动的工具将闭着的眼睛替换成睁开的眼睛,该工具力求超越简单的复制粘贴新眼球。

在肖像照中睁开闭着的眼睛的想法并不新鲜,但这个过程通常涉及直接从另一张照片中提取素材,然后移植到眨眼者的脸上。例如,Adobe 的 Photoshop Elements 软件(其专业图像编辑软件的简化版)内置了专门用于此目的的模式。使用时,程序会提示您从同一组照片(假设您拍摄了不止一张)中选择一张人物的眼睛是睁开的。然后,它可以使用 Adobe 称为 Sensei 的人工智能技术,尝试将上一张照片中的眼睛融合到眨眼这张照片中。

这是一种在快速修复方面效果出奇好的功能——尤其是考虑到使用完整版 Photoshop 精心粘贴和融合新眼睛需要多少步骤。但是,它并不总能正确处理一些细节,比如特定的光照条件或阴影的方向。

Facebook AI opens closed eyes
Facebook

“理解阴影是完全直观的,”达特茅斯学院计算机科学教授、照片取证专家 Hany Farid 说。“我可以通过看阴影来推断光源的位置。”当技术人员从另一张照片复制粘贴眼睛时,可能无法总是考虑到细微的阴影变化,而正如研究表明的那样,这些变化有时会导致最终图像看起来接近正确,但仍然会莫名其妙地显得奇怪。这被称为“恐怖谷”,研究人员希望避免这种情况。

Facebook Research 最近发表的一篇论文提出了一种不同的解决方案来替换闭着的眼睛,该方案依赖于一个深度神经网络,该网络实际上可以使用图像周围的上下文来构建缺失的数据,而不仅仅是受影响的区域。Facebook 正在使用一种称为生成对抗网络(GAN)的技术来填充这些数据。这是导致近期“深度伪造”视频浪潮的根本技术,在这些视频中,名人在没有真正做过的情况下却似乎说了或做了某些事情。

他们使用的 Exemplar GAN 模型从同一人物的其他图像中提取数据,但仅将其用作参考材料,从中学习被摄对象的外观以及脸上可能存在的任何识别特征。然后,它使用一种称为“图像修复”(in-painting)的过程来生成替换眼睑为真实眼睛所需的信息。这种深度学习需要比单张图像更多的参考,这非常适合 Facebook 的基础设施,因为它可以分析同一用户在不同光照条件下的许多不同图像。

Facebook 的初步结果令人印象深刻,尽管还不完美,但研究人员仍在努力为算法寻找最佳训练方法,并应对意想不到的变量,例如部分眼睛被头发或眼镜遮挡的照片。

尽管如此,该公司认为这种计算非常有用,甚至超越了修复眨眼主题的照片。也许未来人工智能可以让我们在个人资料照片中看起来更好看。即使在照片之外,该公司还在开发类似的人工智能工具,用于将音乐从一种风格翻译成另一种风格

 

更多优惠、评测和购买指南

 
Stan Horaczek Avatar

Stan Horaczek

执行编辑,装备与评测

Stan Horaczek是《Popular Science》的执行装备编辑。他领导着一支热爱装备的作家和编辑团队,致力于寻找和介绍市场上最新、最好、最具创新性的电子产品和更多产品。


© .