


今年在德克萨斯州奥斯汀举行的年度创新大会South by Southwest Interactive(SXSW)上,David Holz走上了主舞台,他看起来像一个休闲星期五的霍比特人。他穿着一件超大号的蓝色Polo衫和宽松的卡其裤,裤子前面口袋鼓鼓囊囊地装着一个大钱包,蓬乱卷曲的头发围绕着后脑勺稀疏的头顶。即使在SXSW这个聚集了目光炯炯、想法宏大但无暇打理头发的创业者的场合,这位24岁的Leap Motion公司(一家生产新型电脑动作追踪控制器的公司)的创始人,也算得上是“极客”这一物种中一个尤为光辉的典型。
特斯拉和SpaceX的创始人埃隆·马斯克(Elon Musk)紧随Holz之后发表演讲,紧接着是阿尔·戈尔(Al Gore),因此,热情的粉丝们在Leap Motion的演示过程中就纷纷涌入会场,仿佛将其当作某种开场秀——一些背景音乐,以便大家为重头戏选好观看角度。Holz和他联合创始人兼挚友Michael Buckwald一同登台,他似乎并未注意到这一点。他的演讲结合了几乎难以抑制的热情和令人难以置信的自信。演讲的标题是“消失的用户界面”,呼吁对我们与计算机的交互方式进行彻底的改革。“我应该能够登录任何一台电脑,而无需学习某种语言才能使用它,”他说。“我应该凭直觉做我認為合理的事情。应该是技术来理解我。”
“现在越来越清楚的是,阻碍设备做得更多的,并非是它们的功率、成本、普及度或尺寸,”Buckwald解释道。“而是用户与它们互动的方式非常简单。而这,不幸的是,导致了诸如下拉菜单和键盘快捷键等事物……这些元素要求人们学习和训练,而不是简单地去做和创造。”许多观众正埋头于笔记本电脑和平板电脑,他们对此频频点头。然后,Holz开始了产品演示。
Leap Motion控制器看起来像一台微型iPhone,放在舞台电脑前的一张桌子上。在其上方的八立方英尺锥形空间内,该控制器可以追踪小至0.01毫米的动作,使其比微软的Kinect灵敏得多。Holz开始在Leap上方挥动手,追踪线在电脑屏幕上舞动。他几乎难以察觉地扭动手指,直到显示器被追踪线填满,才将显示器放大,而这一次,它们跟随的是一厘米空间内的运动。他通过显示器进行平移,展示了三维追踪线。几个人发出了惊叹声。他将双手伸到设备上方,屏幕上出现了一张他们俩的精细3D图像。他调出一个虚拟黏土块,在几秒钟内,在空中雕刻了一个类似巴特·辛普森的角色,并将其旋转起来,供观众从各个角度观看。“我非常自豪,这一切现在都成为可能,”他平静地说。观众们欢呼起来。
接下来的几天里,成群的好奇的会议与会者涌入了奥斯汀会议中心后面的Leap Motion帐篷。他们中的大多数人以前从未听说过该产品,但他们理解其意义。Leap Motion并非只是手势控制。正如Holz在演示中所解释的,它旨在开创一个新时代,人们能够以与真实事物一样直接自然的方式与数字信息互动。“任何有电脑的地方都可以受益于这种交互方式,”他曾说。“这意味着平板电脑和手机,也包括机器人手术。”

一天下午,数百名开发者涌入帐篷,试图与Holz和Buckwald交流。少数几位展示了他们已经开发的应用——其中一款安全应用,它不依赖密码或视网膜扫描,而是基于手部独特的生物特征识别用户。另一位开发者则在角落的笔记本电脑后面设置了一个黑色的四旋翼无人机,他通过在身前空间中简单地挥动 outstretched hand 来控制它,就像一个模仿飞机的孩子一样。
这一切看起来都像是魔法,房间里的人们挥舞着手臂,对着屏幕上的效果欣喜若狂,仿佛他们与计算机的互动方式将永不改变。对Holz来说,这是他毕生致力于的一场革命的开端。
早在能读写之前,David Holz就迷恋上了科技。他在佛罗里达州劳德代尔堡长大,那里是一个大型住宅、老年人多、年轻家庭少的沿海社区。没有附近的朋友,Holz就忙于在车库里拆解他能接触到的任何电子设备。“我从镇上的人那里积累了这些电子零件。有人坏了电脑就会给我,”他回忆道。他会检查他拆解过的东西的零件,并尝试为它们找到新的用途。
Holz似乎继承了他父母的黑客精神。他母亲小时候曾尝试制造火箭;结果在地上留下了一个八英尺宽的弹坑。他父亲小时候建造了一个家庭化学实验室,大学毕业后,他的父母不得不请消防部门来处理他储存的所有危险品。结婚后不久,这对夫妇花了几年时间在加勒比海随意航行,而David的父亲,一位牙医,则在该领域做些零工。
大约八岁时,Holz开始将他的好奇心引导到制造事物而不是拆解它们。“那时我已经很擅长制造纸飞机了——我已经通过实验验证了哪种飞机在哪些方面做得好,”他说。但他需要确切地理解它们是如何工作的,所以他开始在车库里用有机玻璃、纸板、大风扇以及配重和平衡系统制作风洞。他对风洞的迷恋在七年级达到了顶峰,那时他开始建造一个他希望能打破音障的风洞(一侧是压缩氦气,另一侧是真空室)。在完成之前,他的父母出于安全考虑阻止了他。Holz只是换了项目。他阅读了斯蒂芬·霍金(Stephen Hawking)的《时间简史》,并开发了一种简单的方法来检验狭义相对论:通过监测他寄往世界各地不同高度的时钟。
在他的实验中,Holz很早就意识到计算机是强大的工具。“我一直觉得有技术比没有技术好,”他说。但后来,他开始注意到相反的效果。在中学时,他自学了复杂的设计软件,并开始创建他想制作的物品的3D模型。“我可以在几分钟内塑造一块黏土,但在电脑上却需要花费大约五个小时。所以我开始问:‘这里的问题是什么?为什么我用这项技术反而不如用黏土好?’”

一定有更好的方法来塑造虚拟黏土。“就好比,电脑足够强大,我也知道我想要什么,所以问题不在我,而在输入系统,”他说。“如果我要设计出塑造黏土的最佳方式,那将不是通过按一堆按钮。而是通过使用我的双手。”就这样,Leap Motion的种子被播下了。
与此同时,在学校里,他结识了一群同样聪明的孩子,他们对体育不感兴趣——其中包括一个名叫Michael Buckwald的年轻辩论迷。这群孩子开始举行圆桌会议,试图重新构想教育体系和总统政治等重大问题。
然而,学校本身对他来说是个挑战,因为Holz无法让老师们回答他没完没了的问题,尤其是在数学和科学方面。例如,其中一位老师会解释负数的平方根是一个虚数,Holz的手就会举起来。“我会说:‘好吧,我明白那个怎么运作,但我们为什么生活在一个拥有这种数学结构的宇宙中?’这实际上是一个非常深刻的数学问题,而且有一个完全合理的答案,但老师会说:‘我不会回答那个问题。’”
大学,在佛罗里达大西洋大学,情况稍微好一些。然后他前往北卡罗来纳大学教堂山分校攻读应用数学博士学位。在某些方面,教堂山分校是Holz的梦想之地。到处都是数学家,他被他们吸引,因为他觉得他们能“深入骨髓”地理解问题。更好的是,“北卡罗来纳大学是世界上唯一一个数学家拥有与大多数物理学家同等研究资源的地方,”他说。“他们有巨大的风洞。他们有一个巨大的波浪池,这样人们就可以理解波浪背后的数学。”
但这还不够。Holz开始申请加入不同的研究团队,在课业之外承担多达十几个项目。有来自NASA兰利研究中心的研究项目,研究激光雷达和火星上的甲烷;有来自马克斯·普朗克佛罗里达研究所的神经科学项目;还有北卡罗来纳大学的流体动力学项目。
然而,他总是回到他最喜欢的想法:构建一种新的基于手势的与计算机交互方式。他从中学以来就一直在周期性地回到这个想法,到了研究生院,他已经制作了一个原型。结合这些、他的其他项目以及研究生工作,Holz分身乏术,不得不做出一些决定。“我当时觉得:‘这些不是我想解决的问题,也许我现在已经具备了所需的技能和一切。我是完成我的博士学位,去NASA工作,然后利用那个职位最终创办一家公司?还是我可以跳过所有这些,直接去创办公司?’”他选择了后者,在只读了一年左右后,就离开了北卡罗来纳大学,没有拿到学位。
SXSW一个月后,Holz盘腿坐在Leap Motion位于旧金山总部的会议室里一把黑色的旋转椅上,这个地下室般的空间就在湾区大桥入口的对面,离他和Buckwald合住的公寓不到一个街区。Holz并不怎么住公寓——他在地下室吃盒饭,经常睡在他的豆袋椅上。一些同事已经开始称他的头发为“鸟窝”。
就像任何一家优秀的数字初创公司一样,Leap Motion的会议室也有巧妙的名字——在这个例子中,是各种科幻飞船。有银河飞船、死星,以及我们现在所在的进取号。这个名字很贴切。《星际迷航》中最长久的剧情线索之一被称为全息甲板,角色们可以在其中与全息影像互动——例如,一个老式新奥尔良爵士俱乐部的缩微模型或一个战斗模拟——用于放松或训练。
当Holz和Buckwald着手创建他们的公司时,他们的目标是建造类似全息甲板的东西。原型并不漂亮——大约相当于两个背包大小的电子设备,设置需要30分钟——但该系统八个联网的盒子在一个足够大的区域内非常灵敏,能够创造出Holz称之为“全息桌”。Holz在大学期间在机器背后的数学方面取得了突破,他当时开发的内核原理至今仍在驱动着这款产品。
几乎极度害羞的Buckwald回忆道,在2010年与Holz讨论一家潜在的公司时,他意识到尽管第一台设备很粗糙,但它代表了一个巨大的机会。当时Buckwald只有21岁,但自华盛顿乔治·华盛顿大学(双学位)提前毕业以来,他已经创办并出售了一家名为Zazuba的在线列表公司,并在马达加斯加度过了一年,为“每个孩子一台电脑”(One Laptop per Child)项目设置运营。在Jon Stewart和Stephen Colbert的“恢复理智/恐惧集会”周末,Holz来到华盛顿特区拜访Buckwald。两人花了很长时间讨论这项技术,就像他们在中学时讨论过许多其他颠覆性想法一样。当Colbert的集会结束时,他们已经决定成立一家公司。Holz将专注于数学,而Buckwald将帮助将他朋友的想法转化为一项业务。
手势控制的梦想并非新鲜事,但它只是在近几年才成为现实。任天堂的Wii控制器,于2006年推出,在某些方面是突破性的设备。尽管它非常有趣,但除了游戏之外,它的用途有限,因为用户需要拿着一个特殊的遥控器。还有其他手势界面尝试——其他遥控器、有线手套,以及最近,一家名为Thalmic Labs的公司开发的一款读取肌肉电活动的臂带。但直到现在,最先进的方法是微软的Kinect,它在Holz和Buckwald决定创办公司几天后,作为Xbox的游戏控制器发布。它除了让用户在设备前移动之外,别无他求。
这是一个新时代,人们以与真实事物一样自然的方式与数字信息互动。
最初,Kinect使用一种称为“结构光”的技术,它将许多光点投射到房间里,并追踪它们如何被移动物体打断。这在检测高尔夫挥杆或拳击等相对较大的运动时效果很好。但要追踪微小的手指个体运动,它必须测量如此多的光点,以至于需要过高的处理能力。今年春天,微软用“飞行时间”取代了结构光,其工作原理更像雷达。通过投射红外光并测量光线从物体反射所需的时间,该机器获得了深度感知能力,并能够构建其所见内容的3D图像。这种新方法比结构光更准确,但远不如Leap Motion的技术精确。Kinect通常在几英尺外效果最好。近距离进行精细操作时,精度会下降。
Leap Motion的工作原理完全不同。Holz将Leap收集的信息比作模拟相机在柔光下的成像,这意味着它可以检测出描述物体曲线和细微之处的微妙阴影。然后,它会追踪这些阴影在物体移动时如何变化。该公司对设备如何将图像文件转换为实时3D运动一直保持沉默,但秘密在于Holz的专有数学。也许最令人印象深刻的是,所有处理几乎零延迟地进行(而Kinect长期以来一直受到延迟问题的困扰)。“我们只使用了CPU(中央处理器)的一个核心的很小一部分,”Buckwald说。“设备上没有特殊的芯片,我们使用的是现成的传感器、现成的摄像头。如果我们今天所做的一切,十年前本就可以实现”——如果有人拥有Holz的数学就好了。
Avid Technology公司的创始人Bill Warner(该公司生产多媒体编辑产品)在Holz和Buckwald华盛顿之行后不久就知道了Leap Motion背后的秘密(他当场同意成为该公司的第一位投资者)。他形容这种方法一拍即合。“就像任何伟大的发明一样,这些见解都很难想到,但一旦你听到它们,就会说:‘当然!’你没想到是因为你没有那样看待它。”Holz设法深入理解了手势控制的问题,这使他看到了别人都错过的东西。“像David这样聪明的人,很多时候很难跟上他们,也看不清他们看到了什么、理解了什么,”Warner说。“但David不是这样。他的一些才华在于,即使是他自己,他也能把事情变得非常简单。”
有了数学基础,Holz面临的更紧迫的挑战是可访问性——将他那八个联网的盒子变成一个可行的产品,无论是供普通消费者购买,还是供其他公司嵌入到他们的产品中。前苹果高管Andy Miller在2012年遇到Holz和Buckwald时,是一名风险投资家。他听过关于这两位天才创始人的故事,一位拥有疯狂的“少年爱因斯坦”发型,将一堆看起来很简陋但令人惊叹的电子设备塞进投资人的会议桌上。他要求看演示。“那天David看起来非常古怪,”他回忆道,“而Michael则低着头和我说话。我本以为会看到我听说的那个大系统,但他们说:‘我们都准备好了,就是这个。’结果只有一个小盒子,而且很漂亮。”

Miller向该公司投资了一大笔钱,几个月后加入了公司担任总裁。“我与David相处的时间越长,你就越会感到震惊,”他说。“我很幸运能与史蒂夫·乔布斯共事,David就是那种人,就像史蒂夫一样,知识渊博而又深刻。”
在Miller加入Leap Motion后,公司进一步完善了设计,计划了一个类似Apple的应用程序商店Airspace,并制作了一个病毒式传播的演示视频;第一周就有15,000名开发者申请为该设备构建软件。“我花了一整周的时间处理每一封要求合作机会的电子邮件,”Miller回忆道。“有成千上万封。例如:‘我们认为这对汽车行业非常有帮助。’‘我们认为这对残疾人有帮助。’‘你们能帮助我们改进Jack in the Box的工作流程吗?’”
三月下旬,在SXSW几周后,来自加利福尼亚州NASA喷气推进实验室的人机界面工程师Victor Luo站在旧金山的一个Leap Motion控制器前,操作着350英里外实验室里一个重达一吨的太空机器人。这台名为Athlete(“全地形六足外星探测器”的缩写)的探测器有六条手臂,并且可以飞行。NASA构建了一个应用程序,将探测器的肢体映射到人手上,Luo可以通过挥动手指来移动它的手臂。Luo正在年度游戏开发者大会的舞台上进行这项壮举。当他举起手时,观众在大屏幕上看到了探测器的喷气发动机点火。这个巨大的机器升空了。Luo的同事,NASA主管Jeff Norris对观众说:“我希望我们能建立一个共享沉浸式远程探索的未来——每个人都能通过机器人化身探索宇宙,而不仅仅是盯着屏幕上的图片,而是走进全息甲板,站在那些遥远的星球上。”
NASA的演示是对Leap Motion最强烈的信心投票之一,而且远非唯一一个。在公司开始发送开发者套件和测试单元的几个月里,涌现了大量早期应用的演示视频。Google Earth宣布支持Leap Motion,并发布了一个相应的视频,展示了一个人的手以超人式的速度飞越旧金山湾,穿过卢浮宫庭院,然后飞向太空。一位名叫Adam Somers的电子音乐家发布了一个他称之为AirHarp的精美演示。
今年春天,惠普宣布将开始在部分PC电脑中捆绑Leap Motion控制器,并计划有一天将其技术嵌入到设备中。同时,任何人都可以在商店购买一个控制器,并将其作为外设即插即用。开箱即用,该设备将允许用户控制一些基本计算机功能,如光标移动,但改进现有系统并非其真正目的。“如果我们要成功,并构建一种与计算机交互的根本性的新方式,那么潜在的应用场景将是无限的,”Buckwald说。“最终,任何拥有计算机的东西都可以用它来控制——每台笔记本电脑、每台台式机、每部智能手机、每台平板电脑、每台电视、每个手术台、每台机器人,甚至可能每辆车里都有一个Leap。”
很难说手势界面将实现什么样的应用。
在计算机用户界面的历史中,只有两次重大的变革:20世纪80年代中期,苹果用鼠标驱动的图形用户界面取代了旧的命令行界面;以及最近,苹果向世界推出了多点触控移动设备。在这两种情况下,其目标都是使人机交互更加直观,最小化人与机器之间的障碍。“如果你想想鼠标,它扩展了你触及屏幕的范围。触摸屏进一步扩展了它,让你真正地触碰屏幕,”Warner说。“Leap Motion是将你的触及范围扩展到屏幕内部。”
很难说手势界面将实现什么样的应用。很少有人能预测到多点触控会带来诸如《愤怒的小鸟》之类的应用。然而,手势界面可能不会完全取代现有的界面。就像多点触控改进了某些功能(例如翻阅数字杂志)但并未改进其他功能(例如创建数字杂志)一样,Leap Motion控制器和类似设备将在某些用途上表现出色,而在其他用途上则不然。例如,操作电子表格可能不会因为自然界面而变得更容易;桌面体验本身已经相当成熟。
即使是最自然的三维应用也有其局限性。当你开始使用Leap Motion控制器时,你首先注意到的是缺乏任何触觉反馈;没有触觉反馈来帮助校准触摸,就像在现实世界中一样。当我问Holz这个问题时,他耸耸肩。“因为它是在数字世界,我们可以提供比现实世界更多的信息,”他说——例如,灯光变化可以提示你的手指是否触碰到某个东西。Holz说,随着时间的推移,虚拟触觉反馈是完全可能的,可能是通过聚焦超声波来实现的,这是东京大学研究人员开发的一种技术。“我认为在不久的将来,你可能会看到很多这方面的东西。”
另一个局限性:当用户在三维空间中移动双手时,结果出现在二维屏幕上。这可能会令人迷惑。当然,除非建造一个真正的全息甲板,否则这是不可避免的,克服这个障碍将需要开发更好的3D显示技术。Holz设想,Leap Motion与Google Glass等头戴式显示器的集成可能是最好的解决方案。“就好像我身处全息甲板,而无需真的拥有全息甲板。你把周围的空间变成了一个全息甲板。”我问他公司是否正在与谷歌就此进行谈判。“我想我不能透露细节,但是,呃……这很合理,”他说。
这是一个宏伟的愿景,是让Holz兴奋不已的那种事情,他开始滔滔不绝地谈论赋予人们超能力——例如,能够在融合的数字物理世界中“撤销”虚拟操作,就像在Photoshop文件中撤销操作一样。或者能够凭空雕刻出某个东西,然后迅速用3D打印机复制它,瞬间将想法变成实物。
“我们的想法是,我们应该能够以与现实世界相同的精细程度来与虚拟世界互动,”Holz说。“这给了我们更多的力量。我们可以在数字世界中按照我们想要的规则行事,所以我们可以做很多以前做不到的事情。这是这样一种情况,通过技术,我们实际上可以变得更好。
Tom Foster 在一月刊的报道中 写了关于头盔技术和橄榄球脑震荡危机。
本文最初刊载于2013年8月的《大众科学》杂志。