模仿人类动作的涂鸦机器人

乔治亚理工学院的研究生们建造了第一个模仿人类运动流动性的涂鸦绘画机器人系统。观看视频。

通过凯瑟琳Barzler 2022年6月25日
提供:Rob Felt,佐治亚理工学院

乔治亚理工学院的研究生们建造了第一个模仿人类运动流动性的涂鸦绘画机器人系统。该系统被命名为GTGraffiti,它使用动作捕捉技术来记录人类的绘画动作,然后组合和处理手势,为一个由电缆驱动的机器人编程,从而喷涂涂鸦艺术品。

这个项目是由机器人博士生Gerry Chen和研究生Juan-Diego Florez合作设计的;弗兰克Dellaert他是麻省理工学院的机器人教授交互计算学院,赛斯哈钦森库卡机器人教授。团队的机器人系统的同行评审研究将在2022年国际机器人与自动化会议论文集上发表。

GTGraffiti是如何工作的

为了让机器人能够画出人类的风格,机器人和艺术品在设计时都必须考虑到对方——至少目前是这样。GTGraffiti系统由三个阶段组成:艺术品捕捉、机器人硬件、规划和控制。

首先,该团队使用动作捕捉技术来记录人类艺术家的绘画,这一策略允许洞察生成喷漆艺术品所需的运动类型。在这项研究中,陈和他的团队邀请了两位艺术家用泡泡字母涂鸦的风格来画字母。当每位艺术家作画时,他们记录下艺术家的手在画布上的运动,以及喷漆罐本身的运动。捕捉手绘和喷漆罐的轨迹对于机器人能够使用类似于人类艺术家的分层、构图和运动进行绘画至关重要。

然后,该团队对数据进行处理,分析每个动作的速度、加速度和大小,并将这些信息用于下一阶段——设计机器人。考虑到这些数据,以及艺术作品所需的便携性和准确性,他们选择了使用电缆驱动的机器人。电缆驱动的机器人,比如在体育馆里用于空中摄像的Skycams,以能够扩展到大尺寸而闻名。机器人由电缆、电机和滑轮组成的系统运行。该团队的机器人目前安装在9 × 10英尺高的钢框架上,但陈说,它应该可以直接安装在几乎任何尺寸的平面结构上,比如建筑物的侧面。

Michael Qian在GTGraffiti上装喷漆罐。提供:Rob Felt,佐治亚理工学院

Michael Qian在GTGraffiti上装喷漆罐。提供:Rob Felt,佐治亚理工学院

在第三阶段,艺术家的作品被转换成电信号。这些数字加在一起就形成了一个数字字符库,它可以被编程成任何大小、角度和组合,从而产生供机器人绘制的单词。一个人类艺术家从库中选择形状,并用它们组成一件艺术品。在这项研究中,研究小组选择了“ATL”这两个字母。

一旦团队选择了字符的顺序和位置,他们就会使用数学方程为机器人生成轨迹。这些算法生成的路径确保机器人以正确的速度、位置、方向和视角作画。最后,这些路径被转换成要执行的运动命令。

由于所有的计算和竞争运动,机器人上的电机可能会相互对抗,有可能将机器人撕裂。为了解决这个问题,机器人中央控制器被编程为每秒重新计算1000次电机命令,以便机器人能够安全可靠地运行。组装完成后,机器人就可以按照人类涂鸦艺术家的风格绘制艺术品。

提供:佐治亚理工学院

为什么使用涂鸦?

机器人应用的一些最典型的行业包括制造业、生物医药、汽车、农业和军事。但事实证明,艺术可以以一种特别有力的方式展示机器人技术。

陈说:“艺术,尤其是绘画和舞蹈,体现了人类所能做出的一些最复杂、最微妙的动作。”“所以,如果我们想要创造出能够做人类所做的高科技事情的机器人,那么就创造出能够做到的机器人跳舞或者油漆是很好的目标。这些类型的技能展示了机器人的非凡能力,也可以应用于各种其他应用。”

就个人而言,陈冠希的动机是希望人们能将机器人视为对人类有帮助的人,而不是像电影中经常描绘的那样,将机器人视为抢走工作的人,或导致恐惧、悲伤或厄运的实体。

“涂鸦是一种艺术形式,本质上就是要让大众看到,”陈说。“在这方面,我希望我们可以用涂鸦来传达这个想法——机器人与人类合作可以为社会做出积极的贡献。”

艺术家的手部动作由指尖传感器捕捉。提供:Rob Felt,佐治亚理工学院

艺术家的手部动作由指尖传感器捕捉。提供:Rob Felt,佐治亚理工学院

GTGraffiti的未来计划

目前,陈和他的团队对机器人的计划主要围绕两个方面:保存和放大艺术。为此,他们目前正在试验在不同尺度上再现预先记录的形状,并测试机器人绘制更大表面的能力。这些能力将使机器人能够在不同的地理位置绘制原作的放大版本,并为身体上无法进行现场喷漆的艺术家作画。从理论上讲,艺术家可以在世界的一个地方画一幅艺术品,而GTGraffiti机器人可以在另一个地方执行这幅艺术品。

在未来,陈希望用GTGraffiti捕捉在野外涂鸦的艺术家。有了捕捉到的运动数据,GTGraffiti将能够重现艺术作品,即使它被涂覆或被破坏。

陈说:“机器人本身并不是在创作艺术,而是与人类艺术家一起工作,使他们能够获得比没有机器人更大的成就。”

Chen设想机器人系统最终将具有允许艺术家与机器人实时互动的能力。例如,他希望开发出一种技术,可以让站在建筑物脚下的艺术家在一个小空间里喷漆涂鸦,同时由电缆驱动的机器人在建筑物的一侧用巨大的笔画复制这幅画。

陈说:“我们希望我们的研究可以帮助艺术家创作艺术品,由超人机器人执行,比他们自己画的任何作品都能更有力地传达信息。”

-由Chris Vavra编辑,网页内容经理,控制工程, CFE媒体与技术,cvavra@cfemedia.com


作者简介:凯瑟琳·巴茨勒,佐治亚理工学院高级研究作者/编辑。