视觉传感器帮助机器人前进

链接 访问www.globalelove.com/CEtv查看罗克珊的表演视频。

机器视觉传感器通常被比作人类的眼睛:它们扫描并“看到”周围的世界，然后将数据传输到其他地方，以便采取某些行动。但是视觉传感器能看电视吗?事实证明是可以的。当与机械执行器和PLC大脑组合在一起时，它还可以玩电子游戏。

在明尼苏达西部社区和技术学院，工程系学生皮特·尼克林在为他的机器人课程做项目时，突然想到要设计一个机器人来和一个刚接触电子游戏《吉他英雄》的朋友竞争。玩《吉他英雄》需要在吉他形状的输入设备上快速按下按钮，以响应视频屏幕上沿着路径移动的点(音符)。

在这个项目中，尼克林决定使用一个人体模型——穿着明尼苏达西部运动衫，涂上指甲油——左眼装有视觉传感器，涂上指甲油的指甲上装有机械驱动器。他想让视频游戏和机器人成为两个独立的实体。

当Roxanne玩《吉他英雄》时，她在困难模式下的准确率高达95%，击败了游戏的创造者Pete Nikrin。

他说，一开始，“我在网上找不到这样的东西。然后，一两个月后，一堆视频(用其他方法)出现了。据我所知，我的机器人是唯一一个只通过视觉与游戏联系在一起的机器人。”其他项目则直接利用游戏的电子信号，作为一个机器人人，皮特认为这“有点作弊”。

与工业应用中解决问题的过程没有什么不同，Nikrin在早期遇到了两个挫折:找到合适的传感器，并为应用程序构建一个速度足够快的视觉系统。

“我们必须找到一种方法，让视觉系统接收来自电视的光源。我尝试的(第一种)传感器只能看到管子的背面——这本身很酷，但不适合应用，”尼克林说。

明尼苏达西部大学的机器人教练Bill Manor建议Nikrin安装Banner Engineering公司的PresencePLUS P4 Omni视觉传感器。马诺说:“多年来，学生们在许多项目中使用了Banner视觉传感器——例如，当集装箱从传送带上下来时，他们会对其进行检查。”他补充说，明尼苏达西部大学通过班纳以折扣价购买了一套视觉系统，作为创业教育工具包。

Nikrin和Manor利用Banner高级应用工程师Jeff Curtis 20多年的经验来帮助解决应用程序的细节问题。

尼克林补充说:“比尔和我都认为，他们(班纳)为学校项目提供了帮助，这对一些公司来说可能微不足道。”

“皮特为此付出了很大的努力，”柯蒂斯说。“他做了很多工作，编写了所有的程序。我们很乐意为视觉应用程序提供帮助，但我们不会为其他人编写逻辑。尽管如此，我还是对自己的工作感到满意。我们很多人都是极客，玩过《吉他英雄》。”

皮特·尼克林(Pete Nikrin)在明尼苏达西部大学(Minnesota West)上学时设计了这个机器人，现在为他的雇主迈耶工具与工程公司(Meier Tool & Engineering)做视觉项目。

传感器的选择

尼克林将视觉传感器安装在机器人的左眼上，并将其对准视频屏幕。尼克林的团队需要确保罗克珊能在各种光照条件下玩耍——因为她将从教室搬到体育馆进行演示——同时还要确认机器人与显示视频游戏的显示器的方向是正确的。

在屏幕上，罗克珊“看到”小圆点(音符)沿着一条路径移动。机器人通过边缘软件来识别要演奏的音符，边缘软件是一种用于定位边缘的简单线性工具。边缘工具通过检测、计数和定位图像区域中明暗像素之间的过渡来帮助定位自由空间中的物体。

柯蒂斯说:“当机器人第一次安装时，它会随着时间的推移而懒散。”“使用两个边缘工具，您可以告诉成像仪您应该垂直和水平的位置。然后，如果头部稍微移动，你就可以再次找到正确的扫描区域。”

柯蒂斯说，其他类型的“定位工具”是模式工具。他说:“边缘工具的反应时间只有几毫秒或几分之一毫秒，比笨重的基于区域的工具快得多。”它们通过找到目标的第一个边缘来找到目标在图像中的绝对位置或相对位置。

柯蒂斯解释说，为了使传感器与显示器正确定位，“我们打磨了一个定位工具，并给它一个固定点——PC显示器上的一块反射带——来聚焦。”“这确保了边缘工具在适当的位置检测每个音符，并允许在应用环境中任何可能导致一些偏差的轻微振动。”

尼克林说，该团队设置了五个边缘工具，在屏幕上水平运行，每个音符一个，并将工具定位在每个底部的音符上。“当五条垂直的纹线向前移动时，边缘工具会发出恒定的信号，当一个明亮的白点出现在深色圆圈的中间时，边缘工具就会让传感器检测到它。”

柯蒂斯说，视觉传感器和边缘工具经常用于工业应用，因为它们非常简单，非常快速，非常适合验证零件的存在或不存在。“它们在包装验证中被大量使用。你不需要光学字符识别系统。我们可以用简单的面积或线性工具做到这一点，”他说。“他们也很擅长检查电脑主板。使用基本的绿色电路板，您可以检查焊接节点并验证所有节点都在那里。有了激光和光电传感器，这就很困难了。”

班纳的PresencePlus P4全方位传感器隐藏在罗克珊的左眼后面。

处理速度

说到速度，尼克林认为相机的处理器太慢了，所以他选择了PLC来执行。此外，相机只有四个I/O点，他需要五个(每个烦躁线一个)。他说，一旦一个音符被识别出来，有效地交流信号依赖于大量的编程，以及通过Modbus寄存器应用的以太网技术。

“我没有使用相机中的处理器，而是连接了一个带有以太网的(罗克韦尔自动化)MicroLogix 1100，”Nikrin解释道。“使用相机上的离散I/O，扫描时间为35毫秒。通过对PLC进行位图绘制并让PLC进行处理，扫描总共耗时9毫秒，其中相机耗时8毫秒，PLC耗时1毫秒。”

对MicroLogix PLC进行了编程，使其能够不断地查看视觉传感器的寄存器。“一旦边缘工具感知到音符，PLC就会注意到寄存器的变化，PLC中的逻辑触发螺线管，激活机器人的手指。就像人类演奏者的反应一样，机器人的手指然后按下吉他上适当的音符，”尼克林解释说。

尼克林对“项目的简单性”感到惊讶，他说。“我追求的是简洁和优雅的执行。”他唯一的失望是什么?由于时间不够，他没有太多时间研究机器人的结构。“游戏缺少机制;它减慢了系统的速度，”他说。

不管怎样，在打了两个星期之后，罗克珊在比赛中的能力已经超过了尼克林。在中等模式下，罗克珊有时达到100%的准确率，在尼克林在明尼苏达西部的剩余任期内，她的平均准确率为98%。她可以在困难模式下达到95%的准确率，在专家模式下达到80%的准确率(由于对机器人手指的机械要求增加)。

如今，罗克珊仍然吸引着明尼苏达西部大学现有和未来的工程专业学生，尼克林带着一种成就感和巨大的感激之情回忆起它。他于2008年毕业于明尼苏达西部大学，目前在Meier Tool & Engineering担任制造工程师。毫不奇怪，他在那里的第一个项目涉及视觉系统:“我们正在拉直、切割和成型一根电线，达到设定的长度，我们正在用视觉系统检查成品，”他说。他说，很快，他将从事机器人导航系统和机器人向导的工作——罗克珊已经为他做好了充分的准备。

作者信息

Renee Robbins是控制工程。打给她renee.robbins@reedbusiness.com．

您是否具有本内容中提到的主题的经验和专业知识?您应该考虑为我们的CFE媒体编辑团队做出贡献，并获得您和您的公司应得的认可。点击在这里开始这个过程。