肌肉信号可以帮助驾驶机器人,改善人机互动

麻省理工学院研究人员的“传导机器人”系统使用肌肉信号来提示无人机的运动,这可以实现更自然的人机交流。

通过雷切尔·戈登 2020年5月2日

麻省理工学院的计算机科学与人工智能实验室(CSAIL)提出了一种方法,使人们更接近无缝的人机协作。这个名为“传导机器人”(Conduct-A-Bot)的系统利用来自可穿戴传感器的人体肌肉信号来引导机器人的运动。

“我们设想了这样一个世界,在这个世界里,机器可以帮助人们进行认知和体力工作,为了做到这一点,机器可以适应人类,而不是相反,”CSAIL主任、麻省理工学院斯蒂芬·a·施瓦茨曼计算学院(MIT Stephen a . Schwarzman College of Computing)研究副院长丹妮拉·罗斯(Daniela Rus)教授说,她是一篇关于该系统的论文的合著者。

为了实现人与机器之间的无缝协作,肌电图和运动传感器被佩戴在肱二头肌、肱三头肌和前臂上,以测量肌肉信号和运动。然后算法处理信号以实时检测手势,不需要任何离线校准或每个用户的训练数据。该系统只使用两到三个可穿戴传感器,在环境中没有任何东西,这在很大程度上减少了普通用户与机器人互动的障碍。

虽然Conduct-A-Bot可能用于各种场景,包括在电子设备上导航菜单或监督自主机器人,但在这项研究中,该团队使用了Parrot Bebop 2无人机,尽管任何商用无人机都可以使用。

通过检测旋转手势、紧握的拳头、紧张的手臂和激活的前臂等动作,Conduct-A-Bot可以向左、向右、向上、向下和向前移动无人机,并允许它旋转和停止。

如果你向你的朋友做右边的手势,他们可能会认为他们应该朝那个方向移动。同样,如果你向左边挥手,无人机也会跟着向左转。

在测试中,当无人机被远程控制飞行时,它对1500多种人类手势中的82%做出了正确的反应。当无人机不受控制时,该系统还能正确识别出大约94%的提示手势。

这篇新论文的第一作者约瑟夫·德尔普雷托(Joseph DelPreto)说:“理解我们的手势可以帮助机器人解读更多我们在日常生活中自然使用的非语言暗示。”“这种类型的系统可以使与机器人的互动更类似于与另一个人的互动,并使没有事先经验或外部传感器的人更容易开始使用机器人。”

这种类型的系统最终可以针对一系列人机协作应用,包括远程勘探,辅助个人机器人,或制造任务,如运送物体或提升材料。

这些智能工具也与保持社交距离相一致,并可能开辟未来非接触式工作的领域。例如,你可以想象由人类控制的机器安全地打扫病房,或者放下药物,同时让我们人类保持安全距离。

肌肉信号通常可以提供难以从视觉观察到的状态信息,例如关节僵硬或疲劳。

例如,如果你看一段视频,视频中有人拿着一个大盒子,你可能很难猜测需要多大的努力或力量,而机器也很难仅凭视觉来判断。使用肌肉传感器不仅可以估计运动,还可以估计执行物理轨迹所需的力和扭矩。

对于目前用于控制机器人的手势词汇表,检测到的动作如下:

  • 使上臂僵硬以阻止机器人(类似于看到出错时的短暂畏缩):二头肌和三头肌肌肉信号;
  • 左/右、上/下挥挥手,使机器人左右或垂直移动:前臂肌肉信号(前臂加速度计指示手的方向);
  • 握拳推动机器人前进:前臂肌肉信号;和
  • 顺时针/逆时针旋转机器人:前臂陀螺仪。

机器学习分类器使用可穿戴传感器检测手势。无监督分类器处理肌肉和运动数据,并实时聚类,以学习如何将手势与其他动作区分开来。神经网络也可以根据前臂肌肉信号预测手腕的屈伸。

当每个人做出控制机器人的手势时,系统会根据他们的信号进行校准,使普通用户能够更快、更容易地开始与机器人互动。

在未来,该团队希望扩大测试范围,包括更多的对象。虽然Conduct-A-Bot的动作涵盖了机器人运动的常见手势,但研究人员希望扩展词汇表,包括更多连续的或用户自定义的手势。最终,希望是让机器人从这些互动中学习,以更好地理解任务,提供更多的预测帮助或提高它们的自主性。

德尔普雷托说:“这个系统使我们离与机器人无缝合作又近了一步,这样机器人就能成为更有效、更智能的日常任务工具。”“随着这种合作变得越来越容易和普遍,协同效益的可能性继续加深。

麻省理工学院(MIT)

www.mit.edu

-副主编Chris Vavra编辑控制工程、CFE媒体与技术、cvavra@cfemedia.com


作者简介:雷切尔·戈登,麻省理工学院CSAIL