模式匹配改进了对象定位并减少了图像处理开销

模式匹配主要有两种方法:基于相关性的模式匹配和几何模式匹配,这两种方法都依赖于首先定位模板图像的一个或多个区域来提供参考数据。

通过温·哈丁,AIA 2017年12月17日

在许多机器视觉系统中,需要尽可能快地定位物体或物体的特征,以便进一步的图像处理算法可以提取额外的特征。例如,在2-D或3-D空间中找到零件的正确方向可以加快基于机器人的取放应用程序的速度。在食品和饮料应用程序中,模式匹配技术允许阅读和检查特定字符或模式,从而降低了从图像中提取进一步数据所需的处理能力。

有两种主要的模式匹配方法:基于相关性的模式匹配和几何模式匹配。虽然它们在技术上不同,但这两种方法都依赖于首先定位模板图像的一个或多个区域来提供参考数据。一旦提取出来,这些数据将与新捕获的未知图像进行比较,以找到匹配特征。在参考模板图像和新捕获的图像之间建立对应关系,允许捕获图像中对象的位置。

互相关

从历史上看,相互关联(CC)是用于模式匹配的第一个统计方法之一。在这种相当强力的方法中,计算模板图像和捕获图像中相同大小的区域的对应像素值的简单和,从而产生图像之间的相似值。然而,由于该值受所捕获图像的反射率或照度变化的影响,该方法已被归一化灰度相关(NGC)所取代,其中相关值对全局亮度变化不变。

虽然传统的CC和NGC对于大程度的旋转、平移和缩放并不是不变的,但是可以通过对模板图像进行旋转、平移和缩放,然后使用模板图像执行模式匹配来改进这种方法。

Stemmer Imaging公司普通视觉blox产品经理Jonathan Vickers博士说:“如果在教学阶段教授了旋转、大小变化、倾斜和照明变化等几何变换,模板和捕获图像之间的相关性值就会增加。”然而,这种方法的计算量更大,因为许多模板需要与捕获的图像相关联。

为了减少这种计算开销,可以使用基于金字塔的方法。在这种方法中,模板和捕获的图像都被多次下采样,实际上构建了两个金字塔,随着级别的增加,分辨率越来越低。相关性在金字塔的顶部执行,并用作下一层可能的相关性匹配的初始估计。

在金字塔分辨率不断增加的不同层次和区域重复这一过程,直到确定合适的相关系数。W. James MacLean和John K. Tsotsos在他们的论文“在金字塔图像表示中使用归一化灰度相关的快速模式识别”中更全面地解释了该方法。该方法可以与基于相关性和基于几何的模式匹配方法一起使用。

几何模式匹配

虽然标准相关方法在旋转、平动和尺度不变性方面有局限性,但如果被检查的部分有些闭塞,它们也会受到限制。为了克服这个问题,可以使用几何模式匹配技术来提取模板图像中的几何特征,例如形状、尺寸、角度和弧。然后利用它们的空间关系在捕获的图像中找到对应关系。

这是康耐视(Cognex)联合创始人比尔•西尔弗(Bill Silver)在1999年首创的方法。该公司的几何图案匹配技术在品牌名称PatMax下销售。其原则已被包括美国国家仪器公司(NI)在内的许多其他公司采用。

“PatFind有两种模式,”NI产品营销部门经理Kyle Voosen说,“一种是使用标准互相关联来查找图像匹配的区域模型,另一种是使用边缘、轮廓和形状来查找匹配的边缘模型。这与NI使用的模式匹配和几何匹配方法非常相似。

“对于大多数应用程序,模式匹配通常是首选的,因为它更容易配置。然而,几何匹配对于光照不一致、物体大小变化、遮挡或重叠部分和透视失真的应用非常有用,”他继续说道。

树和随机生成的模板

除了几何模式匹配,Stemmer Imaging还提供了许多其他创新的模式匹配软件产品。NGC和几何模式匹配通常需要一张模板图像,而基于决策树的分类器生成每个类需要多张图像。这种方法的一个例子是该公司的软件,该软件使用学习算法从灰度图像中提取单一特征或缺乏特征,并将它们存储在树状结构中。

根据Vickers的说法,在树形结构中对单个特征进行分组,可以使搜索不随学习集的大小而增加,并且可以用于区分两个相似的模式。“它很快。人们正在寻找的是少量的区分特征,而不是足够多的特征来表征一个形状(几何模式匹配)或比较图像中的所有像素(就像相关方法一样),”他说。Stemmer的模式匹配工具使用一系列训练图像来表征目标的变化,然后在内部生成数千个随机生成的视图,以综合创建一个更大的训练集。

康耐视高级营销经理Ron Pulicari表示:“虽然许多公司都采用了NGC和几何模式匹配方法,但每个公司都使用不同的算法来寻找图像中的显著特征,因此性能特征可能相差很大。因此,很难确定哪种产品最适合任何特定的应用。因此,在评估此类软件时,系统集成商应该仔细检查每种方法所需的准确性、速度和模式训练。”

韦恩哈丁是AIA的特约编辑。本文最初发表于视觉在线.AIA是先进自动化协会(A3)的一部分,是CFE媒体的内容合作伙伴。由CFE媒体制作编辑克里斯·瓦夫拉编辑,cvavra@cfemedia.com

原始内容可以在www.visiononline.org