成员自1984年以来

了解更多

AIA -先进视觉+成像已转型为先进自动化协会,全球领先的视觉+成像、机器人、运动控制和工业AI行业的自动化行业协会。

内容提交:

工业:
N/A

应用:
系统分析与验证系统分析与验证

模式匹配速度对象位置,减少图像处理开销

发布11/29/2017

作者:温·哈丁,特约编辑

想看到更多类似的文章吗?获得我们的最新功能和新闻发送到您的收件箱每月两次。订阅视觉在线电子通讯在许多机器视觉系统中,都需要尽可能快地定位物体或物体的特征,以便后续的图像处理算法能够提取额外的特征。例如,在2D或3D空间中找到零件的正确方向可以加快基于机器人的取放应用。在食品和饮料应用中,模式匹配技术允许读取和检查特定的字符或模式,减少了从图像中进一步提取数据所需的处理能力。

有两种主要的模式匹配方法:基于相关性的模式匹配和几何模式匹配。虽然它们在技术上是不同的,但这两种方法都首先依赖于定位模板图像的一个或多个区域来提供参考数据。提取后,将此数据与新捕获的未知图像进行比较,寻找匹配特征。在参考模板图像和新捕获的图像之间建立对应关系允许在新捕获的图像中定位对象。

互相关
从历史上看,互相关(CC)是用于模式匹配的第一个统计方法之一。在这种相当强力的方法中,计算模板图像的相应像素值的简单总和和捕获图像中相同大小的区域,产生图像之间的相似值。然而,因为该值受到捕获图像中的反射率或照明的变化,所以该方法已被归一化的灰度相关(NGC)所取代,其中相关值是不变的全局亮度变化。一种对此过程的详细说明可以在网站上找到自适应视觉

虽然传统的CC和NGC不变于大程度的旋转,翻译和规模,但通过旋转,平移和缩放模板图像,可以通过旋转,翻译和缩放模板图像来提高这些方法来执行模式匹配。

“如果在教学阶段进行了几何变换,如旋转、大小变化、倾斜和照明变化,模板和捕获图像之间的相关性就会增加,”Jonathan Vickers博士说,他是Common Vision Blox的产品经理除梗器成像在Puchheim,德国。然而,这样的方法需要更多的计算密集,因为许多模板需要与捕获的图像相关。

为了减少这种计算开销,可以使用基于金字塔的方法。在这种方法中,模板和捕获的图像都被多次下采样,实际上建立了两个金字塔,随着级别的增加分辨率越来越低。相关性在金字塔的顶层执行,并用作下一层可能的相关性匹配的初始估计。这一过程在不同的层次和区域依次增加金字塔的分辨率,直到确定一个合适的相关系数。W. James MacLean和John K. Tsotsos在他们的论文“在金字塔图像表示中使用归一化灰度相关的快速模式识别该方法可以与基于相关和基于几何的模式匹配方法一起使用(图A)。

图A:为了减少相关和几何模式匹配的计算开销,可以使用基于金字塔的方法。在这种方法中,模板和捕获的图像都被多次下采样,实际上建立了两个金字塔,在更高的层次上分辨率越来越低。(图片由Adaptive Vision提供)

几何图案匹配
虽然标准相关方法在旋转、平移和尺度不变性方面有局限性,但如果被检查的部分有些遮挡,它们也会受到限制。为了解决这一问题,可以使用几何模式匹配技术来提取模板图像中的几何特征,如形状、尺寸、角度和弧度。然后,它们的空间关系被用来在捕获的图像中寻找对应。

这是1999年由Bill Silver首创的方法Cognex(马萨诸塞州纳)。公司的几何图案匹配技术以PatMax品牌上市。(参见“机器视觉技术:零件定位与PatMax它的原则已被许多其他公司采用,包括国家文书(镍;得克萨斯州奥斯汀市)。

“There are two modes within Cognex’s PatFind,” says Kyle Voosen, Section Manager of Product Marketing at NI, “an area model that uses standard cross-correlation to find matches in an image and an edge model that uses edges, outlines, and shapes to find matches. This is very similar to the pattern matching and geometric matching methods used by NI.”

Voosen继续说,“对于大多数应用程序,模式匹配通常是首选,因为它更容易配置。然而,几何匹配是有用的应用,有不一致的照明,对象改变大小,遮挡,或重叠部分和透视失真。“(见”几何匹配技术”)

软件包
像ni,matrox.(Dorval,Quebec),MVTec(德国慕尼黑),斯坦默成像和Teledyne DALSA(Waterloo,Ontario)全部提供NGC和几何图案匹配工具。Matrox的成像库包括基于NGC的模式匹配工具和使用几何功能来在图像中查找对象的工具。

Teledyne DALSA在其Sapera视觉软件中提供NGC工具,并在其Sherlock软件包中支持像素强度或几何形状定义的模式。来自Stemmer Imaging的Common Vision Blox的基础包包含一系列相关工具。

MVTec通过其HALCON和MERLIC软件提供了基于相关性和基于形状的匹配。它的HALCON包使用一种基于描述符的匹配技术来定位图像中具有纹理的平面物体。在基于形状的匹配技术中,MVTec采用了图像金字塔的方法来加快匹配过程。模板和捕获的图像都在不同的金字塔级别上搜索。

图B:使用CVB Polimago,首先培训预定义模式。然后自动生成数千个以不同方向的训练图像。该算法可靠地从多个不同角度可靠地检测训练的图像,从而减少生成众多训练图像所需的努力。(图片由Sewmer成像提供)树和随机生成模板
除了与其CVB ShapeFinder软件的几何模式匹配,Sewer Imaging提供了许多其他创新模式匹配的软件产品。虽然NGC和几何模式匹配通常需要一个模板图像,但是基于决策树的分类器的生成每类需要几张图像。该方法的一个例子是公司的CVB MINOS软件,它使用学习算法来提取单个特征或从灰度图像的功能的缺失,并将它们存储在树结构中。

根据Jonathan Vickers的说法,将树结构中的单个功能进行分组,可以使用学习集的大小增加,并且可用于区分两种类似模式。“它很快。正在搜索少量的区分特征,而不是足够的特征来表征形状[几何图案匹配]或比较图像中的所有像素[与相关方法相媲美],“维克斯说。

也许更令人印象深刻的是Stemmer的CVB Polimago模式匹配工具。Polimago使用一系列训练图像来描述目标的变化,然后在内部生成数千个随机生成的视图,综合创建一个更大的训练集(图B)。模式匹配”)

“虽然许多公司同时采用了NGC和几何模式匹配方法,但每家公司都使用不同的算法来寻找图像中的显著特征,所以性能特征可能有很大差异。因此,很难确定哪种产品最适合任何特定的应用。因此,在评估此类软件时,系统集成商应该仔细检查每种方法所需的准确性、速度和模式训练。