赋予机器人触觉

八年前，麻省理工学院计算机科学与人工智能实验室(CSAIL)的泰德·阿德尔森(Ted Adelson)的研究小组推出了GelSight，这是一种传感器技术，旨在利用与物体的物理接触来提供物体表面非常详细的3d地图。

现在，通过将GelSight传感器安装在机器人手臂的抓手上，麻省理工学院的两个团队已经赋予了机器人更高的灵敏度和灵活性。

在一篇论文中，阿德尔森的研究小组利用GelSight传感器的数据使机器人能够判断其接触表面的硬度——如果家用机器人要处理日常物品，这是一项至关重要的能力。

另一方面，Russ Tedrake在CSAIL的机器人运动小组使用GelSight传感器使机器人能够操纵比以前更小的物体。

在某些方面，GelSight传感器是解决难题的低技术解决方案。它由一块透明的橡胶组成——它的名字是“凝胶”——它的一面涂有金属漆。当涂有油漆的表面压在物体上时，它符合物体的形状。

金属涂层使物体表面反光，因此计算机视觉算法更容易推断物体的几何形状。在橡胶块涂漆面对面的传感器上安装了三个彩色灯和一个摄像头。

阿德尔森是脑与认知科学系视觉科学的约翰和多萝西·威尔逊教授，他说:“(这个系统)有不同角度的彩色光，然后它有这种反射材料，通过观察颜色，计算机……可以找出那个东西的三维形状。”

在这两组实验中，GelSight传感器都安装在机器人抓手的一侧，这种装置有点像钳子的头部，但它的抓手表面是平的，而不是尖的。

接触点

对于自主机器人来说，测量物体的柔软度或硬度至关重要，不仅可以决定抓取物体的位置和难度，还可以决定物体在移动、堆叠或放置在不同表面时的表现。触觉感应还可以帮助机器人区分看起来相似的物体。

在之前的工作中，机器人试图通过将物体放在平面上并轻轻戳它们来评估物体的硬度。但这并不是人类衡量硬度的主要方法。相反，我们的判断似乎是基于当我们按压物体时，手指与物体接触面积的变化程度。较软的物体更容易变平，从而增加接触面积。

麻省理工学院的研究人员采用了同样的方法。机械工程研究生袁文珍(Wenzhen Yuan)是阿德尔森小组论文的第一作者，她用糖果模具制作了400组硅胶物体，每组16个物体。在每一组中，物体的形状相同，但硬度不同，袁用标准工业尺度测量硬度。

然后，她将GelSight传感器手动按在每个物体上，记录接触模式随时间的变化，基本上为每个物体制作一个短片。为了使数据格式标准化，并使数据的大小易于管理，她从每部电影中提取了五帧，在时间上均匀间隔，这描述了物体被按压时的变形。

最后，她将数据输入神经网络，该网络自动寻找接触模式变化与硬度测量之间的相关性。由此产生的系统以视频帧作为输入，并以非常高的精度产生硬度分数。袁还进行了一系列非正式的实验，在这些实验中，人类受试者触诊水果和蔬菜，并根据硬度对它们进行排名。在每一次测试中，配备了gelsight的机器人都获得了相同的排名。

Yuan和她的两位论文导师Adelson和机械工程系的高级研究科学家Mandayam Srinivasan一起撰写了这篇论文;清华大学本科生朱晨卓(Chenzhuo Zhu)去年夏天参观了阿德尔森的团队;还有安德鲁·欧文斯，他在麻省理工学院获得了电子工程和计算机科学博士学位，现在是加州大学伯克利分校的博士后。

阻塞的观点

机器人运动小组的论文诞生于该小组在国防高级研究计划局机器人挑战赛(DRC)的经验，在该挑战赛中，学术和工业团队竞相开发控制系统，引导人形机器人完成与假设紧急情况相关的一系列任务。

通常，自主机器人将使用某种计算机视觉系统来指导其对环境中物体的操作。这种系统可以提供关于物体位置的非常可靠的信息——直到机器人把物体捡起来。特别是当物体很小的时候，它的大部分会被机器人的抓手遮挡，这使得位置估计变得更加困难。因此，当机器人需要精确地知道物体的位置时，它的估计就变得不可靠了。这就是麻省理工学院团队在DRC期间面临的问题，当时他们的机器人必须拿起并打开电钻。

电子工程和计算机科学研究生、这篇新论文的第一作者格雷格·伊扎特(Greg Izatt)说:“你可以在我们的DRC视频中看到，我们花了两到三分钟打开钻头。”“如果我们能实时更新，准确估计钻头的位置，以及我们的手相对于它的位置，那就好得多了。”

伊扎特和他的合著者——丰田电气工程与计算机科学、航空航天和机械工程教授特德雷克;阿德尔森;还有杰罗尼莫·米拉诺(Geronimo Mirano)，他是特德雷克小组设计的控制算法的另一名研究生，该算法使用计算机视觉系统引导机器人的抓手靠近工具，然后一旦机器人手中有工具，就把位置估计交给GelSight传感器。

一般来说，这种方法的挑战是协调视觉系统产生的数据和触觉传感器产生的数据。但是GelSight本身是基于摄像头的，所以它的数据输出比其他触觉传感器的数据更容易与视觉数据集成。

在伊扎特的实验中，一个装有gelsight的机器人必须抓住一个小螺丝刀，把它从枪套里拿出来，然后放回去。当然，GelSight传感器的数据并不能描述整个螺丝刀，只是一小部分。但伊扎特发现，只要视觉系统对螺丝刀初始位置的估计精确到几厘米以内，他的算法就能推断出GelSight传感器接触到螺丝刀的哪一部分，从而确定螺丝刀在机器人手中的位置。

麻省理工学院

www.mit.edu

- Chris Vavra编辑，制作编辑，控制工程， CFE传媒，cvavra@cfemedia.com。查看更多控制工程机器人的故事。

您是否具有本内容中提到的主题的经验和专业知识?您应该考虑为我们的CFE媒体编辑团队做出贡献，并获得您和您的公司应得的认可。点击在这里开始这个过程。