这些机器人通过观察人类学会了网球和拳击

如果波士顿动力公司风格的大型双足机器人最终取代人类在工作场所的位置，它们可能会在接受前代人类的训练后实现。在最新的论文中，斯坦福大学的研究人员解释了他们如何通过模仿或“跟随”人类的动作，教会一个配备了单个RGB摄像头的5英尺9英寸人形机器人弹钢琴、打网球，甚至学会拳击。这种新颖的学习方法有助于缩短培训时间，并降低未来人形机器人开发的成本。随着Figure和特斯拉等公司竞相发布能够执行工厂和家庭工作的双足机器人，这可能会派上用场。

介绍HumanPlus – 跟随部分

人形机器人天生适合使用人类数据。我们构建了一个使用单个RGB摄像头和全身策略的实时跟随系统，以克隆人类运动。示例
– 拳击🥊
– 弹钢琴🎹/打乒乓球
– 投掷
– 打字

已开源！pic.twitter.com/DQgVDPiNnS
— Zipeng Fu (@zipengfu) 2024年6月13日

这些模仿机器人有什么不同？

人形机器人以某种形式存在已有几十年，但它们通常难以复制人类自然学会的流畅动作。训练机器人执行对人类来说似乎相对简单的动作，需要大量复杂且多方面的人类运动训练数据。过去，机器人研究人员试图将这些数据分离——例如与视觉感知或手臂和腿部控制相关的数据——但研究人员表示，这种方法耗时且不适合规模化。

斯坦福大学的研究人员采用了不同的方法。他们首先使用强化AI模型，在一个自定义设计的机器人“HumanPlus”上进行了40小时的各种人类运动数据训练。然后，他们可以将机器人在这类数据上进行模拟训练所学到的基础知识应用到物理世界中。有了这些知识和一个安装在机器人头部上的网络摄像头，机器人就能“跟随”操作者身体和手部的动作，并最终模仿它们。这个过程被称为“跟随”，使得人形机器人能够更自然地复制人类动作。

“通过模仿人类，人形机器人可以潜在地利用人类丰富的技能和运动能力，为实现通用机器人智能提供了一条有希望的途径，”作者写道。

机器人被要求模仿的各种任务和动作涵盖了人类运动的方方面面。在一个例子中，机器人被赋予了穿鞋走路的任务，这既考验了它的手部灵活性，也考验了它的整体运动能力。而像打乒乓球或学习打出有力的左勾拳等其他任务，则更侧重于视觉感知和时机掌握。另一项活动，包括机器人使用键盘输入编码短语“Hello Word”，展示了更精确的手指运动。研究人员声称，一旦完全训练好，HumanPlus的运动成功率在60%到100%之间，具体取决于任务。

介绍HumanPlus – 自主技能部分

人形机器人天生适合使用人类数据。通过模仿人类，我们的人形机器人学会了
– 折叠卫衣
– 从仓库货架上卸下物品
– 多样化的运动技能（下蹲、跳跃、站立）
– 与另一台机器人打招呼

已开源！pic.twitter.com/jFzfES6mMf
— Zipeng Fu (@zipengfu) 2024年6月13日

物理上，HumanPlus 是由各种机器人零件组成的“科学怪人”。研究人员使用Unitree Robotics的H1机器人作为基础主体，然后连接了Inspire-Robots和Robotis公司的机械手腕。一个简单的雷蛇网络摄像头安装在机器人眼睛上，作为其观察周围世界的主要方式。总而言之，这款机器人的最终价格约为107,945美元。任何有能力支付这笔费用的人都可以按照研究人员在这个GitHub存储库上发布的说明，学习制造自己的HumanPlus机器人。

HumanPlus 应该在哪个硬件平台上实现？

我们使用组件制造了自己的33自由度的双灵巧手人形机器人
– Inspire-Robots RH56DFX 手
– @UnitreeRobotics H1 机器人
– @ROBOTIS Dynamixel 电机
– @Razer 网络摄像头

我们开源了硬件设计。pic.twitter.com/AkY9MPEzyd
— Zipeng Fu (@zipengfu) 2024年6月13日

模仿学习可以使商用机器人更具适应性

研究人员更流畅的训练方法出现之际，正值商业界对人形机器人的兴趣激增。该领域的主要公司Figure和Agility Robots已开始在汽车和物流制造工厂测试其产品。特斯拉公司，其Optimus机器人已从穿着套装的人演变成能够抚摸鸡蛋的现实机器，设想未来这些能走能说的机器人将洗碗并执行其他家务劳动。虽然仍（非常）处于初级阶段，但所有这些进展可能催生一个规模可观的人形机器人产业。高盛公司2022年的一份报告预测，到2035年，全球人形机器人市场可能达到1540亿美元。

不难想象，一个能够通过模仿进行学习的机器人如何在这些商业环境中发挥作用。就像新入职的人类工人一样，管理者或训练有素的机器人操作员可以教导人形机器人如何执行特定行业或业务的特定任务。与那些预先编程的机器人不同，这些更具适应性的机器也可以更新程序来模仿新任务。这种更自然的运动学习方式也可能增加专注于改善残疾人士生活的辅助机器人的功能性。