IDS简化了3D相机数据的工作

如今，与3D相机数据的环境感知使得许多创新应用程序以前只能由人类完成。因此，机器人能够以人类的方式识别对象，并独立地反应不同的情况。除了空间尺寸和车间位置之外，还可以在与参考对象的比较中展示关于偏差或缺陷的精确结论。

使用3D摄像机及其数据非常复杂，需要在开发应用程序时进行大量准备和设置时间。特别是在多摄像机应用中或与机器人组合，在有效使用数据之前需要多个坐标系的复杂校准。

由于强大的系统依赖性，为了生成可用的数据，应用程序通常必须直接在系统级进行开发。此外，许多3D摄像机的视场和分辨率不足以满足具有较大工作空间的应用程序。

在开发新的Ensenso SDK 2.2和3D VisionSearenso X系列的新5 MP变体时，已考虑这些要求。已经实现了许多细节的改进，这使得整合更容易。

广泛的模型优化的速度和质量
Ensenso 3D相机非常适合静态和移动应用。他们的FlexView技术结合了复杂的SC算法(“序列相关”)，优化了相机型号N35、X36 1.3 MP、X36 5 MP的结果的准确性，用于选盒或高精度对象比较。可调安装的高性能投影仪产生随机图案，产生具有测试对象不同表面结构的图像。SC算法使用此输出来计算3D对象数据，这将受益于每一个额外的图像对(最多16个)，以提高精度。

Ensenso也为移动物体的应用做了完美的准备，如在连续的传送带上或在相机自身移动的情况下，相机型号为N30, X30 1.3 MP, X30 5 MP。优化后的SGM算法(半全局匹配)已经可以从单个图像对获得相当精确的深度信息。IDS网站上的Ensenso相机选择器可以帮助您为每个应用程序找到合适的相机。

更广泛的视野更大的眼睛
通过集成两个索尼IMX264 5百万像素图像传感器，Ensenso 3D相机系列的3D图像分辨率比之前的1.3百万像素版本提高了约35%，同时增加了约20%的视野。为了完全捕捉一个容量为120 x 80 x 100厘米的包装欧洲托盘，摄像机和测试对象之间的距离可以从1.5米减少到仅1.25米。因此，本机传感器分辨率的使用也更加有效。结合索尼传感器较低的像素噪声，计算深度信息(Z精度)从0.43 mm提高到优秀的0.2 mm。

通过加速计算准备嵌入式应用程序
更强大的传感器自然地引起更大的数据，从而可能更长的处理时间，直到结果可用。使用5MP模型的参考测量确认了将图像对或时间的图像匹配到完整的3D图像的大约四倍的处理时间。然而，与16个高分辨率5MP图像对的序列相关的完整3D图像计算的时间仅为约2.5秒。这些完全足以满足大多数应用程序。对于具有更高速度要求的应用，与5MP图像对的半全局匹配提供了足够的精度，只有1.1秒的计算时间。

已经针对CUDA进行了优化的重要计算，以抵消较大的数据量和相关的时间损失。根据所使用的GPU和相应算法的参数化，NVIDIA GPU的额外计算能力加速了大约五次的处理。

通过CUDA支持，3D应用对嵌入式环境变得有趣。合适的平台是例如NVIDIA Jetson TX2板。虽然立体声计算可以访问256 CUDA核心，但随后使用Halcon用于嵌入式设备的图像处理，在可用的ARM CPU上运行。

多摄像机功能
Ensenso软件库提供了许多有用的功能，允许多个摄像机在一个应用程序中一起工作。使用不同的视图和位置，必须将多个摄像机的坐标系相互调整，或者在现实世界中的固定点进行调整，并校准到统一的对象坐标系。如果相机用于使用机器人，并且必须使用相机数据协调其移动，也可以进行手眼校准。集成校准向导在执行期间伴随着用户。

除了额外的Ensenso立体相机，SDK还允许非常简单的集成和校准单目2D-uEye相机在同一应用程序。2D摄像机的功能可以显著提高3D应用中检测和测量结果的质量。

在立体相机难以识别边界区域的物体的地方，2D相机可以通过边缘检测或颜色识别完美地辅助。此外，2D摄像机还允许获取额外的信息，如条形码内容。因此，Ensenso软件优化了这两种技术的集成。特别开发的校准模式也有助于多相机系统的设置和调整。NxLib库使用几个校准板(其中一些被摄像机覆盖)识别任意大小的对象坐标系统和摄像机相对位置，然后可以彼此同步它们。

虚拟化以更轻松地开发和调试
应用程序开发人员应该特别受益于“文件相机”和“虚拟相机”扩展。为了改进算法和处理，需要对相同的数据进行多次调试。文件摄像机在系统上的行为与真正的摄像机类似，不同之处在于它的图像来自保存已存储数据集的本地文件夹。通过这种方式，可以一次又一次地模拟应用程序序列，而不需要访问实际系统或重新创建情况。也是一个理想的调试工具:用户可以保存有问题的数据集，并将它们部署到图像处理专家。这使得错误很容易被复制。

使用“虚拟摄像机”，可以在离线环境中进行模拟，例如评估不同摄像机模型的场景的数据质量、完整性、分辨率和噪声。STL或PLY格式(用于存储三维数据的通用文件格式)的对象可以根据需要导入、呈现和定位。这样就可以对检查过程的不同变体进行性能评估，而不必建立一个真正的系统。一个场景编辑器作为手工模型创建的替代已经集成。Bin pick应用与不同的部分和他们的方向在盒子可以很容易地模拟。有了随机函数，就有无限数量的变体可供测试，就像在现实中使用未分类的部件馈送一样。每一个Ensenso模型都可以作为一个“虚拟相机”应用。因此，在系统建立之前，每个可能的模型都可以通过在线摄像机选择器进行选择和仿真。使用这两种工具，即使对于3D应用程序，也可以很容易地实现初步的调查和优化。

总结
随着3D应用程序的“优化”，使用相机硬件及其数据的复杂性不可避免地增加。通过使用Ensenso SDK 2.2和新的500万摄像头模型，IDS为系统集成商和开发人员提供了几种简化3D数据工作的解决方案。随着硬件和软件的进一步改进，IDS支持更强大的3D应用程序的开发。即使是在像“捡垃圾”这样困难的任务中，机器人视觉应用对质量、周期、经济和快速可用性的要求现在也能得到满足。