用软件和先进的编程技术教授视觉机器人

很少有应用能比拣箱更好地说明视觉引导机器人(VGRs)的进化路径。与从传送带上转移物品不同(这是VGRs几十年来一直擅长的任务)，对一般的视觉导向机器人来说，准确和重复地进入一个无结构的垃圾箱，每次清空一部分，传统上更具挑战性。然而，对自动化重复任务的不断需求继续推动人们对VGR拣箱的兴趣不断增长，该技术也随着低成本智能相机、先进的3d成像系统、基于pc的帧抓取器和更友好的机器人编程环境的引入而不断发展。

例如，拣箱周期大大缩短了，但生产率往往伴随着更高的系统成本和应用程序机器视觉软件开发方面更复杂的编程。因此，大多数商业应用倾向于结构化或半结构化的拣箱，其中机器人仍然可以依靠相对简单和经济有效的视觉系统来找到排列在堆栈中形状和方向相似的部件。

LEONI视觉产品经理吉姆·里德(Jim Reed)表示:“视觉引导机器人在很大程度上仍是基于二维成像技术，因为它更倾向于熟悉到足以绘制机器人运动的应用程序。”“软件已经取得了长足的进步，但部件的几何形状阻碍或影响了项目的‘实施’或‘不实施’。”

然而，在这些传统的结构化拣箱应用程序中，vgr越来越能够在更短的周期时间内执行更多可变的任务，同时简化校准和训练任务。

Camera-robot协调

无论是机器视觉还是机器人控制，都不缺乏软件解决方案。视觉引导机器人面临的挑战是集成这两个软件平台，使机器人的动作与相机的视场(FOV)和其中的任何物体紧密校准。像任何机器视觉应用程序一样，成像软件必须经过训练才能区分零件。然后它必须把数据转换给机器人控制器，这样机器人就可以移动到正确的位置，把它捡起来并放好。

为了简化这一过程，发那科(Fanuc)和爱普生机器人(Epson Robots)等机器人原始设备制造商(oem)已经开发了自己的交钥匙软件包，以简化视觉系统的校准和培训，因此操作他们的产品不需要编程学位。

例如，当爱普生机器人(Epson Robots)在近20年前开发其视觉引导软件时，其动机是商业而非技术目标。产品开发总监里克·布鲁克希尔(Rick Brookshire)说:“我们当时的目标是为机器人制造一种视觉引导系统，可以帮助开发人员在一天内找到并放置零件。”“我们面临的挑战是，我们的客户不能只为了让它工作而写100-1000行代码。”

视觉指南的指向点击环境旨在使非程序员能够校准和训练4轴SCARA和6轴铰接机器人，用于结构化拣箱应用。

软机器人应用了材料科学，而不是专注于软件来简化VGR训练。该公司的机器人抓手套件(或驱动软弹性末端执行器)设计具有高度的适应性和一致性，使他们能够在最少的视觉系统训练的情况下拾取各种各样的物品。这种能力对于针对电子商务、食品杂货、零售和其他以频繁更换产品为特征的行业中的高混合应用程序的拣箱系统尤其重要。

“如果我必须训练我的机器视觉系统来容纳12个sku，我也没问题。如果我必须训练它1200万美元，我就不行了，”软机器人公司的首席执行官卡尔·沃斯(Carl Vause)说。“如果我买香蕉，我的产品可能都有相同的SKU，但它们不一定有相同的形状。”

零售业的经验法则是，VGRs可以用手臂末端的真空工具成功拾取30%到40%的物品。根据沃斯的说法，软机器人公司对其eoat的首次分析显示，拾取率为90%。“但是启动速度更快，这意味着你可以更快地更换sku，”Vause说。

虽然不是明确的机器视觉解决方案，但Soft Robotics的臂端加工(EOAT)技术可以显著影响VGR系统视觉组件的简单性和成本。当今最快的VGR系统可以在几百毫秒内计算出一个物体，找到正确的方法，并计算出如何应用真空拾取器，前提是该系统具有足够高的相机分辨率和计算能力。Vause说，相比之下，Soft Robotics的SuperPick基于低成本的二维数字成像仪和高度宽容但准确的夹具设计，可以实现65毫秒的扫描到拾取时间。

检索轴

虽然vgr已经变得更容易校准和训练，但还有其他复杂的问题等着我们。当开发者特别面对两件事时，挑战开始迅速增加:机器人运动的轴数，以及箱子中的随机性水平。

“六轴机器人改变了很多事情，”布鲁克希尔说。“这不仅仅是复杂性的线性增长。四轴机器人很大程度上依赖于来自平面并移动到平面上的部件。但是当你在手臂的末端增加两个轴时，你处理的是俯仰，偏航和滚转，而不仅仅是滚转。这种俯仰和偏航增加了很多复杂性。”

从理论上讲，俯仰和偏航给了六轴机器人更大的运动自由度，从而使它们在拾取物品时更好地应对一些变化。例如，如果平面上的物体与水平面呈45度角，来自臂式相机的常规2D图像地图通常足以区分单个物体，并为机械臂定位以获得最佳效果。

然而，与四轴机器人一样，挑战在于校准相机和机器人——只是六轴机器人的挑战更大。如果相机安装在机械臂上，校准目标-相机的FOV -可以更小，因此更容易校准。缺点是视觉引导系统更依赖于机器人的精度。随着机器人离校准位置越来越远，其精度下降——这意味着机器人移动的1毫米不一定能转化为现实空间中的1毫米。

静态相机位置可以帮助解决这个问题，也可以改善周期时间，因为相机可以在机器人移动到某个位置时捕捉图像。但这种方法也有其自身的困难，因为相机的视场对分辨率有影响，而分辨率通常是由机器人的精度决定的。

Reed说:“如果机器人的精度是±2毫米，那么我们需要视觉硬件来提供十分之一毫米的结果。”“这意味着视觉传感器需要提供相当于0.2毫米精度的像素密度，而大多数应用程序都无法实现这一点。”

随着视场的扩大，分辨率下降;大型fov在汽车应用中很常见，其中箱子的尺寸可以超过5 x 10英尺。解决方法通常归结于力学或数学。机器人抓手设计有时可以帮助补偿近视机器人，而图像算法通常可以得出亚像素的结果。但校准视觉系统来引导六轴机器人只是为下一个也是最后一个前沿领域做准备:随机拣箱。

里德说:“十年来，随机拣箱子一直是视觉引导机器人的圣杯。”“每个应用都有独特的挑战，零件的几何形状决定了哪种解决方案最有效。从我们的专业观点来看，没有一个单一的应用程序或软件平台可以处理所有的变化。”

摘取圣杯

除了六轴机器人，随机拣箱进一步要求利用一个以上的摄像头来指导机器人在第三个平面上运动的三维成像方案。3d成像还涉及更复杂的照明配置，如飞行时间、立体声、激光雷达和激光三角测量来计算图像深度。密集的图像数据随后需要更强大的图像处理硬件。最后，三维成像系统必须用六轴机器人进行校准。

布鲁克希尔说:“当你处理整个其他维度时，并不是1+1+1等于3。“这种第三维度在视觉算法和机器人精度方面都增加了很多复杂性。”

随机拣箱是一个热门的应用程序，它激发了大量的候选解决方案，这些解决方案建立在组件级的进步之上，从3-D摄像机系统到符合要求的夹具。与此同时，系统级的创新不仅使视觉和机器人元素之间的交互更加顺畅，而且使VGR系统与缺乏高级编程技能的人类操作员之间的交互更加顺畅。与机器视觉应用受物理限制不同，随机拣箱在很大程度上是一个工程挑战，这意味着行业解决这个问题只是时间问题。

韦恩哈丁是AIA的特约编辑。本文最初发表于视觉在线．AIA是先进自动化协会(A3)的一部分，是CFE媒体的内容合作伙伴。由CFE媒体制作编辑克里斯·瓦夫拉编辑，cvavra@cfemedia.com．

原始内容可以在www.visiononline.org．

您是否具有本内容中提到的主题的经验和专业知识?你应该考虑为我们的CFE媒体编辑团队做出贡献，并获得你和你的公司应得的认可。点击在这里开始这个过程。