Imagine Cup 2012:将手语转化为口语的手套

在澳大利亚悉尼举行的微软Imagine Cup全球总决赛中,最终赢得软件设计类奖项的项目,也因此获得了捧起闪闪发光的银色奖杯的荣誉,它最初的构思非常简单。一群来自乌克兰的学生注意到他们学校里的一些运动员有听力障碍,他们希望帮助他们更好地进行交流。这种愿望最终转化为一副手套,这副手套配备了大量的传感器,能够理解手语手势,并以90%的准确率将其翻译成文本和语音。而这仅仅是原型。

在Quadsquad团队开发的Enable Talk系统中,每只手套都有11个弯曲传感器——每个手指上两个,手掌上一个——以及两个加速度计、一个陀螺仪、一个指南针和一个蓝牙模块,该模块会将手套收集到的所有数据在用户打手语时传输到移动设备上。团队成员Maxim Osika说:“我们将我们的原型给了(我们学校的运动员)。起初,我们认为光有手指就足够了,但他们说他们想要更广泛的手势。”于是,团队增加了所有额外的功能,使得手套不仅能识别通过弯曲手指形成的字母,还能识别由更大幅度手部动作组成的单词和句子。

在Quadsquad团队向Imagine Cup评委的最终演示中,一名戴着手套的成员打出“很高兴认识你”的手势,一部使用微软语音API的手机很快便将其大声重复出来。观众席中发出了“哦——”的惊叹声。Enable Talk系统是用户可教的,这使得它可以根据不同国家的手语以及个人手势习惯进行定制。在Imagine Cup比赛中,Quadsquad团队使用该系统的神经网络将美国手语翻译成英语,但用户可以教它任何他们想要的手势,并让它们对应任何微软语音API支持的语言。所以,理论上,你甚至可以创造自己的手语。显然,教系统说出你可能想说的每一个词都太耗时了,所以团队最终希望提供一个标准手语的可下载包,以便用户开始使用。手套的电池续航时间为八小时,但可以通过背面的太阳能电池板充电来延长。

传感器捕捉到的细节水平确实令人印象深刻。一张布满图表的屏幕(如上图所示)在演示过程中向评委和观众展示了当团队成员挥动手、转动手并弯曲手指时,每个单独传感器的读数。如果他只弯曲小指,那么只有那个传感器会显示读数。其他传感器保持静止。在整个演示过程中,系统从未出现一次故障,准确地说出了“我们热爱Imagine Cup”和“我们想看看袋鼠”等话语。尽管如此,Quadsquad团队对90%的准确率并不满意。Osika说:“我们当然要争取99.9%。”而赢得Imagine Cup可能会让他们获得实现这一目标的动力。

 

更多优惠、评测和购买指南

 
© .