传感器手套的开发，以学习人类的抓握签名为机器人，医疗应用

麻省理工学院的研究人员在处理各种物体时戴着装有传感器的手套，编制了一个庞大的数据集，使人工智能(AI)系统能够仅通过触摸识别物体。这些信息可以用来帮助机器人识别和操作物体，并可能有助于假肢的设计。

研究人员开发了一种低成本的针织手套，称为“可伸缩触觉手套”(STAG)，在几乎整个手掌上配备了大约550个微型传感器。每个传感器捕捉人类与物体以各种方式互动时的压力信号。神经网络处理信号以“学习”与特定对象相关的压力信号模式数据集。然后，系统使用该数据集对物体进行分类，并仅凭感觉预测它们的重量，而不需要视觉输入。

研究人员描述了他们使用STAG为26种常见物体编译的数据集，包括苏打水罐、剪刀、网球、勺子、钢笔和马克杯。使用该数据集，系统预测对象身份的准确率高达76%。该系统还可以预测60克以内大多数物体的正确重量。

目前使用的基于传感器的类似手套售价数千美元，通常只包含大约50个传感器，捕获的信息较少。尽管STAG产生了非常高分辨率的数据，但它是由总价值约10美元的市售材料制成的。

触觉传感系统可以与传统的计算机视觉和基于图像的数据集结合使用，使机器人对与物体的交互有更接近人类的理解。

“人类可以很好地识别和处理物体，因为我们有触觉反馈。当我们触摸物体时，我们会感觉到周围并意识到它们是什么。机器人没有那么丰富的反馈，”计算机科学与人工智能实验室(CSAIL)前研究生萨勃拉曼尼亚·孙达拉姆说。“我们一直希望机器人能做人类能做的事情，比如洗碗或其他家务。如果你想让机器人做这些事情，它们必须能够很好地操纵物体。”

研究人员还使用该数据集来测量物体交互过程中手部区域之间的合作。例如，当有人使用食指中间的关节时，他们很少使用拇指。但食指和中指的指尖总是与拇指的用法相对应。他说:“我们第一次量化地表明，如果我使用手的一部分，我有多大可能使用手的另一部分。”

义肢制造商有可能利用这些信息来选择放置压力传感器的最佳位置，并帮助定制义肢以适应人们经常接触的任务和物体。

麻省理工学院的研究人员开发了一种低成本、内置传感器的手套，可以在人类与物体互动时捕捉压力信号。该手套可用于创建高分辨率触觉数据集，机器人可以利用这些数据集更好地识别、称重和操纵物体。
提供:麻省理工学院

STAG与导电聚合物层合，可改变对施加压力的电阻。研究人员将导电线穿过导电聚合物薄膜上的孔，从指尖缝到手掌底部。这些线以某种方式重叠，使它们成为压力传感器。当戴着这种手套的人触摸、举起、握住和放下一个物体时，传感器会记录下每个点的压力。

这些螺纹从手套连接到一个外部电路，该电路将压力数据转换为“触觉地图”，本质上是手掌图形上点的增长和收缩的简短视频。这些圆点代表压力点的位置，它们的大小代表力——圆点越大，压力越大。

从这些地图中，研究人员收集了与26个物体互动的约13.5万个视频帧的数据集。神经网络可以使用这些框架来预测物体的身份和重量，并提供关于人类抓取能力的见解。

为了识别物体，研究人员设计了一种通常用于图像分类的卷积神经网络(CNN)，将特定的压力模式与特定的物体联系起来。但诀窍在于从不同类型的抓取中选择帧来获得物体的全貌。

这个想法是在不使用视力的情况下，用几种不同的方式模仿人类拿物体的方式来识别它。同样地，研究人员的CNN从视频中选择了最多8个半随机帧，代表最不同的握法——比如，从底部、顶部和把手握杯子。

但CNN不能从每个视频中的数千帧中随机选择，否则它可能不会选择不同的抓拍。相反，它将相似的帧分组在一起，产生不同的集群，对应于唯一的抓取。然后，它从每个集群中提取一个帧，确保它有一个具有代表性的样本。然后CNN使用它在训练中学习到的接触模式，从选择的帧中预测对象分类。

CSAIL博士后Petr Kellnhofer说:“我们希望最大化帧之间的变化，为我们的网络提供最好的输入。”“一个集群中的所有帧都应该有一个相似的签名，代表抓取对象的相似方式。从多个集群中采样，模拟人类在探索一个物体时交互式地试图找到不同的抓地力。”

为了估计重量，研究人员从手指和拇指拿起、握住和放下物体的触觉地图中建立了一个大约11,600帧的单独数据集。值得注意的是，CNN没有在它测试的任何帧上进行训练，这意味着它无法学会将重量与物体联系起来。在测试中，将单个帧输入到CNN中。从本质上讲，CNN会挑出由物体重量引起的手周围的压力，而忽略由其他因素引起的压力，比如手部定位以防止物体滑动。然后根据适当的压力计算出重量。

该系统可以与机器人关节上的传感器相结合，测量扭矩和力，以帮助它们更好地预测物体重量。桑德拉姆说:“关节对预测体重很重要，但我们捕捉到的指尖和手掌的重量也很重要。”

麻省理工学院

www.mit.edu

-由克里斯·瓦夫拉编辑，制作编辑，控制工程， CFE传媒，cvavra@cfemedia.com。查看更多控制工程离散的传感器和视觉故事。

您是否具有本内容中提到的主题的经验和专业知识?你应该考虑为我们的CFE媒体编辑团队做出贡献，并获得你和你的公司应得的认可。点击在这里开始这个过程。