几周前的一个聚会上,我承担了一项不招人待见的任务,要用图画来表现“芝麻街”。一个看起来最滑稽的斑点,本应是朗尼,从我的白板马克笔下流淌出来。但当我在这看起来像垃圾桶的东西上面加上一个卷发脸时,有人立刻喊出了答案。我们人类相当擅长猜测彼此画得糟糕的简笔画。
然而,电脑就没有那么擅长了。现在,布朗大学和柏林工业大学开发的一款新算法旨在改善这种情况。这是第一个专为抽象绘画的“语义理解”而设计的计算机应用程序,研究团队表示,它可以改进搜索应用程序和基于草图的界面。总有一天,基于这项研究和其他简笔画电脑识别技术,你或许可以在 iPhone 上画出某个东西,然后找到真正的答案。
该程序能够识别简单抽象草图的准确率为 56%,而人类的平均准确率为 73%。即使是那些严重缺乏逼真度的草图也能被检测出来,这是这里的关键突破。例如,计算机已经可以识别精确的草图,比如警方根据照片制作的嫌疑人素描。但对于我们从小接触的那种抽象草图,则是一个不同的挑战。
可以这样想——如果你被要求画一只兔子,你可能会画一个带着门牙、大耳朵和夸张胡须的东西。其他人会很容易识别出这种卡通化的描绘,就像我的朋友们猜出了我画的抽象的格鲁奇奥一样。但它并没有以任何有意义的方式真正接近真实事物,所以计算机根本不知道那是什么。这有点像训练沃森玩“危险边缘!”——人类可以区分其中的微妙技巧和含义,但这对基于黑白、零和一构建的系统来说是一个严峻的挑战。
布朗大学计算机科学副教授 James Hays,以及柏林工业大学的 Matthias Eitz 和 Marc Alexa,着手解决这个问题。他们列出了人们可能想涂鸦的日常事物,选择了 250 个类别,并使用亚马逊的 Mechanical Turk 众包平台雇佣了一些画师。他们收集了 20,000 张独特的草图,并将它们输入到现有的机器学习算法中来训练系统。该项目最终催生了一个有趣的实时电脑 Pictionary 游戏,系统会在用户绘制时尝试识别物体。你可以在页面底部观看它的实际运行效果。
有些画作真是太绝了,很多电脑的猜测也十分搞笑。你可以在这里查看全部内容。一些令人印象深刻的作品包括:出乎意料地准确的长颈鹿,富有创意的海绵宝宝画作,以及令人难以置信的不准确的龙虾,它和狗一样,似乎看起来像所有东西。
为了扩展他们的数据集,团队正在考虑将这个概念游戏化,使其成为可以在 iOS 或 Android 设备上玩的游戏。已经有一个 iPhone 应用,你可以在这里下载。
研究人员表示,目标是改进基于草图的搜索。这可以提高对语言、运动或读写能力受损人群的计算机可访问性——而且它也可以适用于任何语言。该团队上个月在 SIGGRAPH 上展示了他们的项目。
[来源:布朗大学]