用机器视觉整合运动控制

今天的工厂利用不断提高的智能水平来提高生产的灵活性、吞吐量和质量。举个例子，只要看看制造业中机器视觉和运动控制之间不断增长的整合水平就知道了。结合这两种技术可以创建一个更灵活、更动态的环境。机器视觉系统变得更加有效，运动系统变得更加适应性强，生产环境作为一个整体显示出更大的功能。

用Nate Holmes，R＆D集团经理进行运动和视觉产品线国家文书(Austin, Texas)，视觉系统提供信息，而运动系统采取行动。这两种技术的集成可分为三大类:运动辅助机器视觉(协同集成)、视觉辅助运动控制(同步集成)和视觉引导运动。它们是按照集成级别的增加顺序列出的，这也意味着复杂性的增加。不过，这种复杂性是有回报的。更高层次的集成提高了产品质量和生产效率，同时降低了生产成本。

“视觉与运动的结合可以让你拥有更灵活的动态环境，”达雷尔·保罗说，他是公司产品营销的营销主管欧姆龙工业自动化（霍夫曼庄园，伊利诺伊州）。“动作系统能够在运动内提供更多的功能。所以，同时你可能正在做运动引导的愿景，你也可以做检查和代码阅读。

例如，在托盘化操作中，视觉系统可以检测已经在托盘上的包装层。这将使它能够以正确的方向和序列堆叠其他项目。这只是一开始。“然后它可以回到线路，能够看到在传送带上运行的包，”保罗说。“它可以主动锁定该封装的位置，并指导运动控制系统以拾取包装，而无需在系统上使用任何其他编码器来执行此操作。”

在我们开始讨论集成的机器视觉和运动控制系统之前，需要注意的是，在硬件、软件和体系结构中存在大量的变化。一些系统使用PLC和专用运动控制器，而另一些则使用基于pc的软运动平台。光的颜色、相机的分辨率和相机本身的类型因系统而不同。本讨论包括一些基本的例子，但请注意，它们无论如何都不是全面的。

运动辅助视力
几十年来，机器愿景一直是工业环境的夹具。该技术用于各种检查任务，从确定对象的存在或不存在以检查尺寸以评估质量。部分有缺陷吗？瓶子标签直接吗？塑料是正确的颜色吗？机器视觉系统可以非常迅速地回答这些问题，延长持续时间，通常非常准确。具准确取决于许多因素，包括系统设计，照明以及成像器如何看到零件。这是运动系统可以提供帮助的地方。

运动控制技术可以通过优化定位来提高视觉系统的性能。运动轴可用于将零件放置在图像传感器前面，或将图像传感器转移到零件上。该技术可以重新定位零件，以更好地照亮感兴趣的区域或改变照明条件。它可以改变零件或摄像机的方向，以从不同角度捕捉一系列图像。

运动辅助视觉的经典例子是一个基于网络或传输线的系统，它可以让产品或网络以恒定的速度在摄像机前移动。摄像头可以自由运行并连续捕捉图像，也可以由硬件传感器或软件触发。图像处理算法可能需要知道输送机的速度，两个系统可能需要在公共时间基础上运行。然而，集成的级别是最小的。

Vision-assisted运动
在视觉辅助运动中，视觉系统提供输入以使运动系统能够执行诸如弹出不良部件的任务。这些类型的任务需要在视觉系统和运动系统之间同步操作。视觉系统的传感器触发相机以捕获存储在缓冲器中以进行处理的图像。触发器也被发送到运动系统，使得运动控制器可以注册部分的位置。视觉系统分析图像。当它检测到故障部分时，它将信号发送到运动系统，其使用其对零件位置的知识来使致动器能够弹出失败的产品。

例如，考虑一个系统在番茄酱处理线中从成熟的西红柿分离绿色西红柿。西红柿乘坐输送机，并在单线中落下端部（见图1）。线扫描相机捕获图像并触发运动系统以捕获给定番茄的位置。如果分析确定番茄是绿色的，则视觉系统向运动系统发送信号。运动系统上的控制器跟踪绿色番茄的运动，当绿色番茄在执行器的前面时，命令移动将番茄引导到不同的输送机。

图1:在这个基于视觉的分类应用程序中，视觉系统向摄像机发送一个触发器来捕捉图像，并向运动系统发送一个触发器来监控番茄的位置。当图像传感器检测到一个未成熟的番茄时，它会向运动系统发送一个信号。运动控制器跟踪所述项目的位置，以使执行器能够被命令拒绝该部件。(图片由Kingstar提供)

这些类型的排序应用需要视觉和运动系统之间的紧密同步。特别地，拒绝零件的分析和决定需要快速地进行，以便在零件到达执行器之前命令动作系统起作用。算法的图像分辨率和复杂性需要足够低，可以在时间上完成分析。

需要分析通信系统的性能，以确定延迟和抖动不会干扰图像处理。

视野导向运动
在下一个集成级别，视觉系统为运动系统提供反馈，帮助它关闭控制回路（参见图2）。如在同步运动的情况下，视觉系统中的传感器触发相机以捕获部件的图像。视觉系统（通常是相机），计算像素空间部分的位置，然后将其转换为现实坐标中的物理位置。运动控制器使用此信息来为执行器生成轨迹。该方法显着提高了运动系统的功能。

“视觉导向运动补偿非刚性工具，”保罗说。“你可以在输送机上的任何地方出现一部分，并且具有愿景的系统将能够找到该部分并将其拾取或检查它或执行它应该执行的任何操作。您不一定需要在过去的情况下呈现在刚性夹具中的那部分。而且您也不需要为该工具支付。因此，这是一个工程成本降低以及灵活性的增加。“

图2：视觉引导运动系统的框图显示了视觉系统在循环时间在0.5至1秒的循环时间将数据传送到轨迹发生器。轨迹生成器在每毫秒内提供设定点，而执行器的控制回路在50μs循环时间上运行。（图片由国家仪器提供）

视觉导向运动与同步运动不同。在同步集成中，视觉系统有助于运动系统决定是否移动。在视觉导向运动中，视觉系统有助于运动系统决定移动的位置。使用视觉导向运动，系统可以定位和组装在随机取向上的零件。这消除了对固定装置或特殊定位设备的需求，降低成本和复杂性以及超速转换。切换到新产品涉及软件更改而不是重新处理。

考虑一种应用，其中通过挤出机头部施加硅树脂珠粒到织物的边缘。该系统由以固定速度，开销的视觉系统移动的输送机组成，并且由旋转伺服电动机控制的线性滑块上安装在下游的挤出头（参见图3）。织物片以随机取向放置在输送机上。当它们通过视觉系统时，它捕获图像并处理数据以计算该部件的位置和角度。坐标变换软件内置于智能摄像机中，将图像位置从像素空间转换为真实坐标系中的物理位置。运动控制器使用该信息来计算在织物边缘施加均匀的硅胶所需的刀具轨迹。

图3:这个自由形状的边缘跟踪系统使用视觉引导运动应用硅树脂珠的边缘上的一系列布零件放置在一个随机方向。在将数据传递给运动控制器之前，头顶摄像机捕获图像并执行坐标转换。控制器命令一个安装在伺服电机驱动的直线滑块上的挤出头涂抹硅胶。该摄像机系统还执行一个检查步骤，同时与部分采集，使系统拒绝任何有缺陷的毛坯。(图片由ORMEC提供)

另一个例子涉及CNC表切割器，用于切割4'x 8'金属坯料中的零件。在传统系统中，坯料使用起重机放置在工作表面上。结果，它们无法精确对齐。相反，机器必须在机械上机械获取边缘，然后在相对坐标系中从空白开始切割部分。为了最大限度地提高产量，该机器被编程为切割嵌套部件的图案。因为坯料的方向变化，所以沿周边的零件可以在边缘上投射并不完整。视觉导向运动为此问题提供了解决方案。

随着引入基于图像的反馈，工具集不再需要机械地获取空白的边缘。相反，视觉系统捕获空白的图像，并将其位置从像素空间转换为现实世界的坐标。动作系统修改了工具的轨迹，使其从空白中切断了最大数量的完整部分。这种方法使系统能够补偿被旋转，偏移或以其他方式未对准的空白。它增加了产量和吞吐量。

视觉引导运动是一种有效的方法，但也存在一些挑战。与同步集成一样，计时是必不可少的。处理帧速率需要与运动环路速率同步。应仔细检查通信延迟，以确保在设备位置环路的限制范围内是可接受的。

最大的问题是，系统只在移动开始时确定轨迹，而不会接收进一步的输入来修改性能。如果坐标变换存在误差，系统就不能进行修正。因此，系统的性能既依赖于转换，也依赖于运动系统的精度、精度和可重复性。

视觉伺服
视觉伺服，或视觉伺服控制，提供了一种方法，以避免可能引入的错误视觉引导运动系统。在视觉伺服控制中，系统采用视觉输入作为引导和闭环反馈(见图4)。视觉系统不再只提供初始轨迹规划的输入，而是提供连续的图像，使运动系统能够对准目标部件。该方法可以用较便宜的设备获得高精度的性能。

图4:在被称为动态视动的视觉伺服控制方案中，视觉系统直接生成位置设定点，无需单独的轨迹生成器。这大大缩短了循环时间。（图片由国家仪器提供）

更复杂的可视伺服控制方法称为Direct Servo。在这种类型的系统中，机器视觉替换了诸如编码器的传统运动反馈装置。标准配置具有两个相机：一个顶部相机到图像执行器和用于生成位置设定值的目标，以及安装在执行器本身上的摄像机，可提供位置反馈（参见图5）。

图5：Direct Servo Control使用两个摄像机提供指导和反馈。第一相机（底部）兼容致动器和目标，使用数据生成位置设定值，替换轨迹发生器。安装在执行器上的第二个相机（顶部）关闭位置反馈回路。该相机替换了编码器或类似的传统运动反馈系统。（图片由国家仪器提供）

整合运动和视觉的挑战
视觉和运动的结合带来了很大的好处，但并不总是那么容易。这两个系统都很复杂。它们通常由不同的供应商提供。这可能会使互操作性成为一个挑战，因为两个系统需要同步。集成级别越高，所需的同步就越紧密。

如前所述，添加视觉意味着需要在同一循环中完成视觉系统和运动控制任务。实现这一目标需要全面评估该任务。首先确定时间 - 部分移动的速度有多快？处理图像并确定一个动作的时间有多少时间？Vision系统是否可以在零件到达执行器之前提供此响应率？

许多因素可以提出时间问题。添加数字滤波器会影响数据分析。“如果您不小心，视觉工具可以减慢您的速度，”高级系统工程师Sam Rubin说ORMEC系统集团(罗切斯特,纽约)。“相机可能需要使用数字滤波来提高图像对比度。因为这些过滤器是一个像素一个像素地处理图像，它们需要时间。突然间，原本以1毫秒运行的检查开始以50毫秒运行，然后它可能会以太慢的机器速度结束。”将被成像和分析的区域减少到最小可能的兴趣区域可以帮助加快过程。

特别是在视觉导向运动和视觉伺服的情况下，不间断的高速通信是必不可少的。有一段时间，两种系统将保持分开并通过高速数据链路进行通信。这有可能由于固定的偏移和抖动而引入延迟。“如果我要计算瓶子，我只能如此迅速地算作，因为我必须允许非确定性延迟，”解决方案建筑师/导演咨询IntervalZero(马萨诸塞州沃尔瑟姆)。“我得为最坏的情况做准备。”由于延迟问题，机器制造商和集成商越来越多地使用实时操作系统(RTOS)和共享内存在同一个计算平台上运行机器视觉和运动控制。爱德华兹说:“现在，我可以缩短这些延迟，使事情更确定，系统运行更快，因为所有这些都在一个盒子里，没有我必须考虑的零星延迟。”“现在，整个过程可以更快了。”

在运动和视力的整合中存在许多陷阱。第一个是使命蠕变。视觉系统可以在引导运动时执行多个任务，包括检查和条形码读数。重要的是要确保这些添加不会导致视觉系统处理时间超过设备的循环时间。

重要的是要记住，视觉系统将被调整和集成，以解决一组特定的任务和条件。提高速度可能会缩短循环时间，超出视觉系统的能力来跟上。

成功的路径
越来越多的OEM机器建造者正在将机器视觉集成到其运动系统中。部分原因是由于行业协调一致的推动。智能摄像机包含自动坐标变换和校准程序。许多功能自动对焦和集成照明。对于OEM和最终用户试图将系统放在一起具有协同集成的系统，因此在机器视觉中添加了从未如此容易。即使集成水平较高，在一个设备中集成了运动和视觉的新一代产品简化了设备调试。

“您在申请中找到了更高的成功，”销售总监Nick Tebeau表示列奥尼工程产品和服务（猎户座，密歇根州）。“那种意味着什么，这些公司可能不想参与过去，并在害怕不成功地融入这些技术平台现在发现自己更舒服。支持更容易获得，因为可信集成商的数量已在整个北美种植。还有更好的培训，例如AIA CVP培训，真正使这些不同公司受到教育的正确入学方式。“

尽管现代工具的阵列，追求更高层次集成的组织仍然应该考虑与集成者合作，或者至少向他们的供应商寻求帮助。ORMEC系统集团(Rochester, New York)市场营销副总裁比尔·卡塔拉诺(Bill Catalano)说:“系统变得越来越容易，但理解运动和视觉系统的基本原理并将两者结合起来仍然很有挑战性。”“在我们所处的这个资源有限的时代，与集成商或供应商合作可以给组织带来优势。”

致谢
谢谢去安迪的长期节约系统和Nate Holmes的国家乐器，用于有用的对话和背景材料。