自Facebook正式将公司名称改为Meta以来,已近四年,其创始人马克·扎克伯格当时承诺一个完全实现的数字“元宇宙”即将到来。此后,用户对虚拟现实空间的接受度停滞不前,而扎克伯格本人似乎已将重点转移到AI伴侣和播放播客的Ray Ban眼镜上。对许多人来说,简单地坐在家里的沙发上,身边有狗狗陪伴,仍然比戴上VR设备更有吸引力。
但是,如果您的毛茸茸的朋友也能加入您呢?
韩国蔚山国立科学技术院的研究人员开发了一种AI系统,或许能让这一切成为可能。他们使用了一个名为DogRecon的系统,能够将一张狗狗的照片转化为逼真的3D数字模型,用于虚拟或增强现实应用。虽然尚未完全成熟,但DogRecon独特的加权机制使其能够生成比同类AI模型更清晰、更逼真的渲染效果,而同类模型通常会产生模糊、失真的图像,且身体几何形状不准确。研究人员在《国际计算机视觉期刊》上分享了他们的发现。
视频展示了这些AI生成的3D狗狗在虚拟环境中出现的一些早期例子。左侧画面中,一群小狗(包括一只穿着绿色狗狗靴子的柴犬)缓慢地穿过后院花园。右侧画面中,可以看到两只狗狗在一个客厅里走动。一旦3D狗狗虚拟形象生成,研究人员就可以通过简单的文本提示来控制它们。
“超过四分之一的家庭拥有宠物,将传统上专注于人类的3D重建技术扩展到包括伴侣动物一直是我们的目标,”第一作者Gyeongsu Cho在发送给Tech Xplore的一份声明中表示。“DogRecon提供了一个工具,让任何人都能创建和动画化其伴侣动物的数字版本。”
研究人员尚未立即回复《流行科学》的置评请求。
[ 相关:一只毛茸茸的羚羊机器人正在监视它的野生同类。 ]
将2D照片转化为3D虚拟形象
尽管近年来在提高虚拟空间中人物虚拟形象的逼真度方面取得了巨大进展,但对我们毛茸茸的伴侣的关注却少得多。据研究团队称,原因之一是宠物(尤其是狗)在解剖学上比我们更复杂。狗有数百种品种,每种都有不同的体型、大小和独特的生理特征。狗的四足站立姿势也比人类更容易出现关节遮挡,使得准确的3D建模更加困难。
所有这些额外的变量都会增加模型在数字空间中生成狗时产生错误的几率。然而,研究人员认为,虚拟现实中缺乏 properly modeled 的宠物限制了任何所谓的“元宇宙”的整体可信度。
“毫无疑问,以人类为中心的方法很重要,但人类只是实际生物多样性的一小部分,”研究人员写道。

为了应对这些挑战,该团队首先使用特定品种的统计AI模型来捕捉体型和姿势的差异。然后,他们使用第二个生成AI模型来创建与狗狗体型几何对齐的多视图图像。通过结合这两个步骤,该系统可以接收一张狗狗的图片(在本例中,是从互联网上抓取的真实图片),让AI模型基本上预测出狗狗从不同角度看会是什么样子以及如何移动。
然而,并非AI的所有预测都能准确反映一只狗应该是什么样子。为了解决这个问题,研究人员在模型中应用了加权机制,优先输出更逼真的结果,并过滤掉那些有变形或其他在糟糕的AI图像中常见的不寻常视觉效果。在这种情况下,加权有助于为AI输出设定参数,以引导其朝着期望的结果发展。当他们将DogRecon与其他能够从图像生成视频的AI模型进行比较时,他们发现他们的系统始终产生了更具解剖学准确性的结果。
这并不是说结果是完美的。DogRecon创建的3D模型普遍看起来像它们旨在代表的犬种,但在VR和AR设置中展示的少数几个例子中,它们仍然显得有些脱节,视觉上令人不适。它们的运动不像边境牧羊犬那样轻松敏捷,更像是早期《南方公园》剧集中的僵硬动画。
尽管如此,研究人员表示,即使它们可能看起来很粗糙,但像这样的工具可能会受到想要在下一次数字冒险中带上它们的小狗的VR用户的欢迎。至于真正的狗狗,它们仍然在沙发上。