教机器人新技能的简单方法

随着电子商务订单的涌入，一个仓库机器人从货架上取下杯子，并将它们放入箱子中进行运输。一切都在嗡嗡作响，直到仓库处理了一个变化，机器人现在必须拿起更高、更窄的杯子，这些杯子被倒置存储。

重新编程机器人需要手动标记数千张图像，告诉它如何拿起这些新杯子，然后再次训练系统。

麻省理工学院研究人员开发的一项技术只需要少量的人类演示就可以重新编程机器人。这种机器学习方法使机器人能够以从未遇到过的随机姿势拾取和放置从未见过的物体。在10到15分钟内，机器人将准备好执行一项新的拾取和放置任务。

该技术使用了一种专门用于重建3D物体形状的神经网络。通过少量演示，该系统使用神经网络已经学习到的3D几何知识来抓取与演示中相似的新物体。

在模拟和使用真正的机械臂时，研究人员表明，他们的系统可以有效地操作从未见过的杯子、碗和瓶子，这些杯子以随机姿势摆放，只需要10次演示就可以教机器人。

“我们的主要贡献是能够更有效地为需要在更多非结构化环境中操作的机器人提供新技能，这些环境可能有很多可变性。通过构造泛化的概念是一种令人着迷的能力，因为这个问题通常要难得多，”电气工程和计算机科学(EECS)的研究生、该论文的联合主要作者安东尼·西蒙诺夫(Anthony Simeonov)说。

Simeonov与EECS研究生Yilun Du共同撰写了这篇论文;谷歌Brain的研究人员安德里亚·塔利亚萨基(Andrea Tagliasacchi);Joshua B. Tenenbaum，脑与认知科学系Paul E. Newton认知科学与计算职业发展教授，计算机科学与人工智能实验室(CSAIL)成员;1957届机械工程系副教授Alberto Rodriguez;以及CSAIL教授Pulkit Agrawal和EECS即将上任的助理教授Vincent Sitzmann等资深作者。这项研究将在国际机器人与自动化会议上发表。

把握几何

一个机器人可能被训练去捡起一个特定的物品，但如果这个物体是侧躺着的(也许它摔倒了)，机器人会把这视为一个全新的场景。这就是为什么机器学习系统很难推广到新的面向对象。

为了克服这一挑战，研究人员创建了一种新型的神经网络模型——神经描述子场(NDF)，它可以学习一类物品的3D几何形状。该模型使用3D点云计算特定项目的几何表示，3D点云是一组三维数据点或坐标。数据点可以从深度相机获得，它提供了物体和视点之间距离的信息。虽然该网络是在大型合成3D形状数据集上进行模拟训练的，但它可以直接应用于现实世界中的物体。

该团队设计的NDF具有一种称为等方差的特性。有了这个属性，如果向模型展示一个直立的杯子的图像，然后再向模型展示一个在其侧面的杯子的图像，它就会理解第二个杯子是同一个物体，只是旋转了。

Simeonov说:“这种等效方差使我们能够更有效地处理观察到的物体处于任意方向的情况。”

当NDF学会重建相似物体的形状时，它也学会了将这些物体的相关部分联系起来。例如，它可以了解到杯子的把手是相似的，即使有些杯子比其他杯子更高或更宽，或者把手更小或更长。

“如果你想用另一种方法来做这件事，你必须手工标记所有的部件。相反，我们的方法会自动从形状重建中发现这些部件，”杜说。

研究人员使用这种训练过的NDF模型来教机器人一项新技能，只需要几个物理例子。他们将机器人的手移动到他们想让它抓住的物体的部分，比如碗的边缘或杯子的把手，并记录下指尖的位置。

杜解释说，由于NDF已经学习了很多关于3D几何和如何重建形状的知识，它可以推断出新形状的结构，这使得系统能够以任意姿势将演示转移到新物体上。

挑选赢家

他们在模拟中测试了他们的模型，并在一个真正的机械臂上使用马克杯、碗和瓶子作为物体。他们的方法在新方向的新物体拾取和放置任务中有85%的成功率，而最好的基线只能达到45%的成功率。成功意味着抓住一个新物体并把它放在目标位置，就像把杯子挂在架子上一样。

许多基线使用二维图像信息，而不是三维几何，这使得这些方法更难以积分等方差。这就是NDF技术表现得如此出色的原因之一。

虽然研究人员对它的表现很满意，但他们的方法只适用于它训练的特定对象类别。一个学会拿起杯子的机器人将无法拿起盒子或耳机，因为这些物体的几何特征与网络训练时的几何特征差异太大。

Simeonov说:“在未来，将其扩大到许多类别或完全放弃类别的概念将是理想的。”

他们还计划使该系统适应非刚性物体，从长远来看，当目标区域发生变化时，使系统能够执行拾取和放置任务。

“我们如何有效地教授机器人新的操作技能，取决于机器人从几次演示中归纳出的能力。华盛顿大学计算机科学与工程教授迪特尔·福克斯(Dieter Fox)说:“这项工作展示了机器人如何将拾起或放置物体的演示强有力地转移到以前未见过的物体上。”他没有参与这项研究。“这项研究利用了神经对象表示的深度学习的最新进展，并引入了几个非常聪明的创新，使它们非常适合于机器人操作的模仿学习。现实世界的实验非常令人印象深刻，我预计许多研究人员将在这些结果的基础上进行研究。”

-由Chris Vavra编辑，网页内容经理，控制工程， CFE媒体与技术，cvavra@cfemedia.com．

您是否具有本内容中提到的主题的经验和专业知识?你应该考虑为我们的CFE媒体编辑团队做出贡献，并获得你和你的公司应得的认可。点击在这里开始这个过程。