机器视觉技术的创新正在扩大版图

机器视觉为人类检查、分析、分类和阅读提供了一个全新的视角,而红外、多光谱和飞行时间等技术正在改变这一格局。

通过韦恩哈丁 2019年6月19日

自动化最近已经成为一个热门话题,人们很容易忘记机器视觉不仅仅是人类检查的一种更有效的替代品。要想让相机和电脑从一堆光子中获得可操作的情报,需要大量的设计和工程专业知识。那么,为什么要费这么大的劲呢?

机器视觉优于人工检测的众多原因之一是,我们的眼睛只在电磁波谱的一小段范围内工作,大约从400到700纳米——即所谓的可见范围。因此,利用相机在可见光范围之外工作是非常有用的,如果只是因为它大大增加了与样品相互作用的光量。仅红外光谱就提供了超过14500个不同的波长。在考虑了其他成像技术和模式(如多光谱和飞行时间(ToF)成像)之后,机器视觉为人类可以检查、分析、分类和阅读的内容提供了全新的视角。

多光谱+ 1

在彩虹之上是可见光谱,在800到1050纳米之间,是近红外(NIR),其中一些不可见成像应用可能与可见光范围的CCD或CMOS相机。这种应用通常需要使用近红外照明,以及低通或带通滤光片来阻挡可见光。传统的硅传感器在800纳米以下表现出很高的量子效率,在800纳米以上,它们的灵敏度急剧下降。

然而,在这个窗口内,制造业的进步正在为近红外中具有更高量子效率的硅基传感器做出贡献。Allied Vision高级产品经理Jens Hashagen表示,这些进步包括在传感器芯片上实现更厚的外延层,以及像素之间更高的电阻屏障。他补充说,这种结构可以使近红外光子更深入地侵入传感器,并提高电子产生的可能性。

硅对近红外的灵敏度也允许在单个芯片上结合可见光和近红外通道的多光谱相机的设计。例如,一些相机型号包含八个或更多光谱波段的通道,跨越800nm以上的可见光和近红外范围。这种照相机将用于测量不同的植被指数或用于食物分类应用。

由于可见光和近红外通道在单个硅基传感器阵列上运行,因此对相机设计的影响最小。Teledyne Dalsa扫描高级开发负责人Matthias Sonder表示:“如果我们谈论的是将硅结合的近红外波段从可见光波段中分离出来,我们可以在图像传感器中添加不同类型的滤光片来实现这种分离。”“只要存在可靠的制造工艺和良好的质量控制,这对实际的成像硬件几乎没有影响。在管理数据方面,我们必须做一些开发工作来转换RGB社区以接受来自相机的四个独立光谱平面。但现在这是合理的。”

进入SWIR

从900 nm到约1.7 μ m (SWIR范围的浅端),基于砷化铟镓(InGaAs)的传感器成为主流成像仪技术。然而,今年3月,一个潜在的挑战者出现了,当时SWIR视觉系统公司推出了利用量子点技术的acros SWIR相机。具体来说,成像仪集成了一个2.1 MP宽带传感器,该传感器基于在硅读出晶片上单片制造的胶体量子点(CQD)薄膜光电二极管。虽然CQD传感器的量子效率比InGaAs低,但SWIR Vision Systems声称,该技术在与主动照明配合使用时可以提供相当的性能,并且可以以更低的整体系统成本提供更高的分辨率。

与硅基CCD或CMOS传感器一样,InGaAs和CQD传感器将光子转换为电子,从而充当量子探测器。两者都能检测到1到1.7 μ m之间的反射波长,在这个波长范围内,熟悉的材料看起来非常不同。例如,水分吸收1.45µm的光,当通过带通滤光片观察时,在压伤的水果、灌溉良好的作物或泄漏的酸奶容器的SWIR图像中几乎呈现黑色。在可见光范围内看起来相同的材料,如不同的塑料和金属,在这个范围内看起来也不同,这使得它们更容易分类。

在SWIR较深的一端成像,从1.7到2.5µm,通常是汞镉碲化(MCT)传感器的领域。但是,通过改变组成InGaAs探测器的三种元素的组成,这些传感器可以捕获高达2.2µm的图像。哈哈根说:“这种传感器的价格通常比MCT传感器低得多,而且传感器的冷却要求也不高,从而降低了系统成本。”

热变得敏感

MCT相机,以及基于锑化铟(InSb)传感器的设备,以及在较小程度上基于硒化铅(PbSe)的设备,将成像范围从SWIR扩展到MWIR和LWIR范围-也称为热红外,因为该区域的成像依赖于捕获物体本身发出的辐射。虽然在捕捉图像时不需要外部光源,但许多热像仪(包括基于mct的设备)需要主动冷却来控制灵敏度和噪声。这种权衡是低温冷却器增加了这些相机的成本和尺寸,这通常使基于非冷却微辐射热计的成像仪成为更好的选择。

基于非晶硅(a- si)或氧化钒(VOx),微辐射热计设备重新配置了LWIR相机——一种曾经只适用于执法部门和军队的昂贵技术——成为一种可以放进口袋的嵌入式成像模式。例如,FLIR系统公司的10.50 × 12.7 × 7.14 mm Lepton微热摄像头模块现在已集成到卡特彼勒S60智能手机以及消防员平视显示器中。

从历史上看,微辐射热计的缺点是相对缺乏灵敏度。然而,FLIR Systems微型相机产品管理副总裁Mike Walters表示,这种情况正在开始改变。“有两件事正在发生,”沃尔特斯说。“首先,我们已经将像素尺寸降至12µm,这使得这些LWIR相机的分辨率与捕获波长低于1µm的可见光传感器相当。但我们的目标是像素尺寸在10微米以下,同时保持灵敏度。其次,由于我们正在研究热辐射,我们正在修改半导体层,以确保像素吸收所有热量。”

准备起飞的飞行时间

人类的视觉仍然比计算机更容易直观地感知3d形状的集合。但是,像ToF这样的技术已经变得足够复杂,可以帮助工业应用,如机器人拾取和放置操作,分类垃圾箱中的物体,或扫描传送带上的包裹。

与传统的机器视觉系统一样,ToF系统依靠主动照明和量子探测器将反射的光子转换为电子。但ToF技术产生的不是二维图像,而是三维点云。它有两种方式。第一种,通常被称为直接ToF,在视场上发射短脉冲光,并测量它们返回相机的时间。间接ToF是第二种方法,它发射一个连续的宽带信号,并测量发射光波和返回光波之间的相移。

间接ToF在传感器设计和选择方面更为宽容,可以利用传统的CCD或CMOS器件。这并不是说这些传感器不能针对ToF进行优化。与立体视觉或结构光相比,ToF系统通常需要更少的组件,更少的校准和计算,占地面积更小,并且ToF更容易扩展到更长的工作距离。但准确性的提高是推动这项技术采用和持续发展的动力。

Basler产品管理主管Sebastian von Holdt表示:“大多数进步都是由需要更高准确性的应用引发的,因为准确性是判断ToF系统的决定性标准之一。”精度适用于机器人拾取和放置应用,其中相机需要提供与机器人系统精度相匹配的点云数据。它适用于自动化物流,其中传送带上箱子的大小和形状有助于确定运输成本,存储空间,或者自动化叉车系统应该将箱子移动到哪里。

ToF精度的提高主要有三个途径。首先是照明,vcsel比红外发光二极管更受青睐,它实现了短、高效和精确的光脉冲,这大大提高了精度,减少了时间噪声行为——即使在明亮的日光下的户外应用中也是如此。

其次,新的传感器技术——提供高达300兆赫的调制频率,通过背面照明提供更大的动态范围,以及与视频图形阵列相当或更高的分辨率——有助于更密集的点云和更多的细节。

第三个提高精度的因素是计时的改进。“对于高质量的ToF相机系统来说,时间就是一切,”冯·霍尔特说。“根据帧速率和传感器的调制频率找到最佳的时序模式组合是实现更高精度、更低运动失真、减少反射和杂散光以及远距离下更好质量的关键。”

展望不可见的世界

我们(目前)还不能改进人类生物学。但是,在不可见、多光谱和3d视觉领域,机器视觉仍有很大的改进空间。从更密集和更敏感的像素阵列,到背光探测器或堆叠传感器设计,再到更低成本和更小的系统,今天的相机制造商和视觉系统集成商正在提高我们对人眼无法感知的东西进行分类、检查和读取的能力。

韦恩哈丁是AIA的特约编辑。本文原载于视觉在线.AIA是CFE Media内容合作伙伴推进自动化协会(A3)的一部分。Chris Vavra编辑,CFE Media制作编辑,cvavra@cfemedia.com

原创内容可在www.visiononline.org


作者简介:Winn Hardin是AIA的特约编辑。