行业的见解
3D视觉技术的进步解决了艰难的自动化挑战
发布03/18/2022
作者:约翰·刘易斯,特约编辑
Z-Trak2系列3D轮廓传感器基于Teledyne DALSA的3D图像传感器技术,开创了5GigE 3D轮廓传感器的新时代,用于高速、在线3D应用。 |
曾经,3D成像系统非常昂贵,主要用于小众应用。现在肯定不是这样了。如今,片上系统(SoC)可以将ARM处理器、神经处理器和FPGA结构集成在一起,允许整个系列的3D处理管道在芯片上运行。这种新的机载处理设备的多样性允许在3D扫描设备中运行更密集的3D图像处理操作。
紧凑型和性价比高的工业3D相机的出现正在影响所有3D视觉产品类别——从被动3D成像到集成激光线扫描、散斑投影、条纹图案投影和飞行时间(ToF)技术的主动3D相机系统。这种曾经被认为是未来的技术正越来越多地应用于工厂,提高效率,增加产量,降低成本,优化占地面积,提高质量,并使设施更有利可图。
Time-of-Flight起飞
飞行时间传感器和相机最近取得了重大进展。大约十年前,在最初的商业部署中,ToF传感器速度较慢,2D、角度和深度分辨率较低。今天,一些机器视觉公司,包括技术公司该公司不仅具有驱动ToF传感器开发的能力,而且具有系统级开发的能力。这带来了更多的商业选择,提高了整体性能,包括3D满足物流、自主机器人和其他具有挑战性的应用需求的能力。
Teledyne的主要3D成像解决方案包括其Z-Trak系列激光轮廓仪和Hydra3D ToF传感器。Z-Trak 3D激光轮廓仪的主要市场和应用包括机器人引导、芯片引线检测、零件识别和通用机器视觉检测。Hydra3D传感器的应用领域包括工厂自动化、机器人、物流、监控、智能交通系统(ITS)、测绘/建筑和自动制导车辆(包括无人机)。
Teledyne e2v的3D营销经理Yoann Lochardet解释说:“hydr3d飞行时间CMOS图像传感器的灵活性即使在具有挑战性的应用中也能提供可靠的3D检测,并且对环境条件具有实时适应性。”“高分辨率增加了视野,具有良好的角度分辨率,结合远程范围能力和芯片上嵌入的多系统功能,与该领域的其他工作系统兼容,所有这些都没有运动伪影,为新的机器视觉应用打开了大门。”
LUCID的Helios2+ ToF相机提供了两种深度处理模式:高动态范围(HDR)模式和高速模式。 |
高动态范围成像
3D机器视觉的最新发展依赖于主动扫描技术,其中空间或时间调制的光投射到场景,被物体反射,并由视觉系统(通常是基于cmos的摄像机)捕获。主动扫描有助于增加工作距离,提高三维测量系统的精度,同时减少处理时间。然而,图像仍然容易退化,复杂的场景包含具有各种反射属性的异质物体,并导致整体广泛的动态范围,根据Alexis Teissie, at的产品营销经理清醒.
Teissie说:“我们最近看到的一个进步是,最初为标准视觉系统开发的高动态范围(HDR)成像技术适应了3D应用。”“完全相同的技术不能直接移植到3D成像系统中,需要进行调整,以充分利用给定3D扫描技术的固有特性,但总体原理仍然非常相似。”
这就是LUCID通过引入Helios2+飞行时间相机实现的。将多次曝光在相位域进行组合,在相机图像信号处理器(ISP)上自动选择像素级的最佳曝光时间,输出具有高动态范围的单点云。HDR点云完全在相机内处理,不增加后端系统的负担,使其成为应用程序设计者灵活而有用的工具。
随着3D传感采用率的提高,多个行业正在探索更多的潜在用例。在一些更复杂的配置中,目标场景可能包含具有高或低反射率表面的不同部分,从而导致较大的动态范围。这通常是汽车组装的情况,有广泛的材料、纹理和表面处理质量,以及在物流和码垛应用中,物体的类型可能变化很大,很难用固定的曝光时间正确成像。HDR成像功能的增加为3D成像系统的开发提供了新的机会,并使其能够在具有挑战性的环境中部署。
高性价比的IDS Ensenso S系列使用基于人工智能的激光点模式三角测量代替立体视觉。 |
工厂校准,完全集成的3D分析器
在选择3D轮廓仪时,用户不仅要考虑设备的成本,还要考虑软件工具、部署时间和同样重要的现场服务。这种设备可以承担用1D或2D成像技术很难处理的检查挑战。这些挑战包括高度的变化,由压痕或层压板起泡引起的缺陷,测量对象厚度,相邻表面的共面性,均匀性和挤压部件的不对称性。
Teledyne DALSA视觉解决方案高级产品经理Inder Kohli解释说:“需要3D视觉功能的客户可以从工厂校准的、完全集成的3D轮廓传感器(如Z-Trak2)中受益匪浅。“例如,Z-Trak2有多种配置和激光选项,可以处理从小型电子部件到大型汽车发动机部件,从门框到整个底盘等各种应用。”
随着新的soc和传感器支持开发更具成本效益的3D系统,许多供应商在每个价格水平上都扩大了3D视觉产品的组合。高质量的3D数据,以几何正确和低噪声点云的形式,现在可以以较低的成本提供给制造商。比如新推出的Ensenso S 3D相机系列IDS成像开发系统IDS 3D相机和机器视觉软件产品经理Martin Hennemann表示,不仅应用激光点三角测量,还包括具有飞行时间传感的产品,尽管数据质量有所不同。
Hennemann解释道:“得益于Ensenso S等经济实惠的产品,3D数据可以用于许多不同的,甚至是大众市场上的低价格应用。”“对于生产和(内部)物流流程,在给定预算下可以自动化的详细应用程序的范围正在扩大。例如,自动检查托盘内容的工作站可以更容易地成倍增加。”
这些产品填补了使用低成本消费级3D相机的概念验证应用程序与功能强大但更昂贵的成熟工业3D传感器技术之间的空白。其中一个特别感兴趣的领域是工厂和其他环境中的自动驾驶汽车。3D图像处理对工业自动化非常重要,但对手势控制、面部识别和虚拟现实等消费领域的研究和开发也会推动3D图像处理的发展,这将带来令人兴奋的新应用可能性。
Photoneo的MotionCam-3D能够扫描移动144公里/小时的物体,消除了分辨率和速度之间的权衡。 |
移动物体的3D视觉
运动物体的3D传感提出了各种挑战,包括有限的曝光时间和缺乏光线。ToF相机系统提供高速,但代价是低分辨率和高噪声。主动模式投影系统提供可靠的3D数据和高精度,但仅在扫描静态场景时。的Photoneo3D相机MotionCam-3D提供了高扫描速度和高质量的3D数据,结束了扫描速度和扫描质量之间看似固有的权衡。
Photoneo公关专家Andrea Pufflerova表示:“这是市场上唯一一种既能获得快速扫描速度,又能获得高分辨率3D图像而不存在运动伪影的3D区域传感技术。”“在数量上,并行结构光技术能够捕获移动速度高达144公里/小时(89英里/小时)的物体,同时提供90万个3D点的点云,亚毫米精度为150至900 μm,低噪声,详细的轮廓,以及对各种材料的扫描的完整性。”
部署机器视觉和视觉引导机器人的应用程序直接受到机器视觉约束的限制。因为并行结构光扩展了机器人的视觉能力和可能性,它为全新的应用打开了大门。例如,带有手眼设置的应用程序,将3D摄像机直接连接到机械臂上,现在可以达到更快的周期时间,因为机器人不需要在每次扫描采集时停止移动。
新的机器视觉技术也极大地影响了协作机器人,因为它有效地消除了振动的影响。因此,人手的移动和抖动不会影响图像数据的最终质量。并行结构光技术实现的其他新应用包括搬运、挑选和分类在传送带或架空传送带等载体上移动的物体,100%质量控制,以及对各种不同大小的物体进行检查和尺寸测量——所有这些都没有中断,而且物体都在运动中。
尺寸应用的一个例子是在传送带上移动的行李。行李被扫描以计算其确切尺寸,该信息进一步用于计算服务成本或优化行李在运输集装箱中的放置位置。