婴儿学习抓取东西时，会将视觉和运动技能这两个系统结合起来。这两个机制，加上大量的试错，是我们能够以不同的方式抓取铅笔和订书机，而现在机器人也开始以同样的方式学习。
谷歌正在教它的机器人一项简单的任务，就是将一个箱子里的物品抓取出来，放到另一个箱子里。它们不是第一个能够抓取东西的机器人，但这些机器人实际上正在根据持续的反馈，学习抓取不同形状、尺寸和特性的物品的新方法。例如，机器人已经学会以不同的方式抓取柔软的物品和坚硬的物品。
其他项目，例如康奈尔大学的DeepGrasping论文，会一次分析一个物体，找出最佳抓取点，尝试抓取，如果失败则再试一次。谷歌的方法会持续分析物体以及机器人手与物体之间的关系，使其更具适应性，就像人类一样。
这些机器人基本上就是装有大脑的机械臂，连接着一个摄像头。它们有两个抓取手指，连接在一个三关节机械臂上，由两个深度神经网络控制。深度神经网络是一种流行的人工智能，因为它们善于根据大量数据进行预测。在这种情况下，一个神经网络只需查看箱子的照片，预测机器人手是否能正确抓取物体。另一个神经网络则解释手部抓取的力度，以便通知第一个网络进行调整。
研究人员指出，机器人不需要根据不同的摄像头位置进行校准。只要摄像头能清晰地看到箱子和机械臂，神经网络就能进行调整并继续学习抓取物体。
在两个月的时间里，谷歌让它的机器人抓取了80万次物品。任何时候都有6到14个机器人正在抓取物品，人类的唯一作用就是重新装载机器人的物品箱。这些物品都是普通的家用物品：办公用品、儿童玩具和海绵。
研究人员在ArXiv.org上发表的论文中提到，最令研究人员惊讶的结果是，机器人学会了以不同的方式抓取坚硬和柔软的物体。对于被认为是刚性的物体，夹爪会抓住物体的外边缘并挤压以牢牢握住。但对于像海绵这样的柔软物体，神经网络意识到将一个夹爪放在中间，另一个放在边缘，然后挤压会更容易。
这项工作与其他抓取机器人不同的地方在于，它通过持续的、直接的反馈来帮助神经网络学习，而人类的干预非常少。这使得机器人机械臂即使在从未见过的情况下也能以很高的成功率抓取物体。研究人员记录了抓取新物体时的失败率，根据物体不同，失败率在10%到20%之间，如果机器人未能抓取物体，它会再次尝试。谷歌的抓取成功率比康奈尔大学的DeepGrasping项目略逊一筹，该项目在毛绒玩具等物品上的成功率很高，但在坚硬物体上的失败率高达16%。
教会机器人理解周围的世界以及它们的物理限制，对于自动驾驶汽车、自主机器人、送货无人机以及所有涉及机器人与自然世界互动的前沿想法来说，是一个重要的过程。
接下来，研究人员希望在实验室外的真实世界条件下测试这些机器人。这意味着要应对不同的光照和地点、移动的物体以及机器人的磨损。
