飞行时间(ToF)传感器将自主应用推向市场

十年前，索尼、微软和松下首次将飞行时间(ToF)摄像机广泛应用于手势游戏控制(微软Kinect)、手机和其他消费电子产品。早期的传感器提供较低的2D、角度和深度分辨率，而且速度较慢——非常适合消费电子产品，但不适用于安全关键的工业应用。

如今，一些机器视觉公司不仅有能力推动ToF传感器的开发，而且随着索尼在2015年收购Kinect, Teledyne收购e2v, IFM Effector拥有PMD Technologies，他们还拥有制造ToF传感器芯片的晶圆厂。这导致了更多的商业选择和整体性能，完美匹配物流、自主机器人和相关应用的需求。

Hydra3D, Teledyne公司的3D飞行时间传感器

ToF是什么?

ToF系统包括一个照明光源(通常是激光二极管或基于led的结构光源)和一个ToF传感器。光源发出脉冲。每个像素测量光返回所需的时间，并根据往返的长度确定到物体的距离。ToF的一种变体称为间接飞行时间(iToF)，为传感器提供了一种更简单、更经济的电子设计，它测量的是相位变化而不是时间。距离目标越远，iToF距离精度越低。虽然传统的ToF相机可以轻松地工作到30或40米，但iToF相机通常最适合5至7米范围内的中端应用，非常适合自主移动机器人(amr)和自动叉车等自主地面车辆(agv)。

Teledyne的营销经理Yoann Lochardet解释说:“一些应用，如先进物流、工业安全或测绘，正在寻找更高分辨率的传感器——目前市场上的分辨率通常是VGA或更低。”其他应用，如工业AGV，[智能交通系统]和汽车，正在寻找能够捕捉快速移动物体的传感器，因此不需要运动工件，通常需要高帧率。此外，大多数之前的应用(以及其他应用，如无人机)也在寻找高动态范围传感器，以增加物体的距离和/或反射率范围。”

Lochardet表示，Teledyne e2v最先进的ToF传感器是Hydra3D，其分辨率为832 x 600像素，远高于标准VGA分辨率，12位的最大帧率为416.7 fps，最小集成时间为20 ns，三点像素可最大限度地减少移动物体的运动干扰。由于3D ToF应用的帧率会根据应用需求而有很大差异，Hydra3D为用户提供了优化关键应用参数的灵活性:分辨率、距离范围、精度、3D帧率，取决于距离范围物体的反射率等等。hydr3d还为室外应用提供了高动态范围，阳光寄生可以降低范围和分辨率，无论距离如何，都可以看到低反射和高反射的物体。最后，Hydra3D集成了片上功能，允许多个相互不连接的ToF系统在同一区域工作而不相互干扰——这是自主系统的主要区别，通常使用多个摄像头来感知大的操作空间。

即使在强烈的阳光下，Basler blaze 3D摄像机也能可靠地探测到货物。

ToF传感器与应用需求匹配

虽然ToF传感器最初是由消费电子产品驱动的，但Basler公司3D图像采集产品经理Martin Gramatke解释说，这项技术已经发展到机器视觉也可以利用它的程度。虽然ToF 3D测量精度通常以毫米或范围的百分比为单位进行校准，但可能不足以满足所有工业应用，但对于许多机器人拾取任务来说，对于手大小的物体，精度已经足够好了，特别是如果放置精度不需要很高的精度。这使得ToF技术更适用于机器人的取放应用，而不太适合于取放。Gramatke表示，由于ToF传感器采集时间在毫秒范围内，使用ToF 3D传感器技术可以轻松实现500毫秒的循环时间。

Gramatke说:“物流应用通常对精度要求较低。“一个常见的应用是包裹、盒子、袋子、行李箱和托盘等货运对象的尺寸，以优化存储和运输空间。计算边界框的精度约为2厘米，对于许多物流应用来说已经足够好了。”

他继续说:“在测量时，这些物体通常是移动的。因此，完整的获取时间很重要，这不仅仅是一个曝光时间。以Basler blaze (ToF相机)为例，它至少需要4帧，因此采集周期相对较短，仅为15毫秒。”Gramatke补充说，考虑到ToF的周期时间，硬线编码器触发器往往比软件触发器工作得更好，如果目标在移动，后者可能只捕获部分需要尺寸的盒子。

对于较大的物品，如托盘，最终用户需要一个以上的ToF摄像机来测量大型工作包的各个方面的尺寸。ToF相机可能会相互干扰——一个传感器会把另一个传感器的照明脉冲误认为是自己的。Teledyne的Hydra3D在传感器层面解决了这个问题，Basler的blaze提供了调节每个摄像机频率的能力，以减少干扰。两个不同频率的相机的干扰明显减少。

范围:自主和融合解决方案

测量用于运输和存储的大型托盘可能需要多个ToF传感器，类似于多摄像头3D可见成像解决方案。但由于ToF独特的传感模式，它更像一个雷达收发器，而不是一个可见的摄像机接收器，不仅测量强度，还测量时间和相位，ToF的范围成为一个更大的问题。虽然可视摄像机可以简单地在传感器前放置放大光学器件以“看得更远”，但ToF系统无法利用每个环境光源来确保良好的对比度，从而实现精确的3D测量。

自动驾驶汽车的ToF摄像头有各种各样的任务，尤其是障碍物检测、定位、拾取或放置物体(如托盘)。定位可能需要很远的距离，而障碍物检测需要低延迟来快速反应，在许多情况下需要更广阔的视野。只要车辆以步行速度移动，ToF摄像机的测量范围就足够了。为了获得更高的速度，你可以使用扫描ToF原理的激光雷达。ToF摄像机不是经过认证的安全设备，因此必须与其他传感器组合使用。Gramatke说:“Basler火焰具有抗阳光，坚固的设计，包括IP67防护，M12连接器，防震和振动，以及耐恶劣环境条件的镍涂层，是户外使用的理想工具。”

简化多头ToF相机与激光雷达和其他传感器模式的融合是IFM efector O3R生态系统的核心。目前，O3R包括Windows/Linux/ ros兼容的软件开发工具包，用于优化IFM的3D机器人解决方案，很快将扩展到包括摄像头和处理硬件，这将减少“自主机器人应用设计师开发多模式AMR感知解决方案所需的摩擦，成本仅为目前成本的一小部分，”IFM机器人感知业务开发主管Garrett Place解释道。

与Teledyne一样，IFM拥有自己的ToF传感器公司PMD Technologies。该公司最初为消费类应用开发ToF 3D传感器，但最近增加了一系列iToF解决方案，其成本远低于大多数工业ToF相机。普雷斯说:“传统ToF相机在更远的范围内比iToF更准确，但传统ToF每像素的成本也要高得多。“如果你不需要超高的精度，那么你可以用iToF省下一大笔钱。我们可以通过间接ToF将范围扩展到20米，30米外，因为我们拥有硅，有超大像素和强大的照明源，但这不是一个微不足道的成就。然而，最适合我们技术的范围可能是5- 7米，这对于大多数工业应用来说都是完美的。”

根据Place的说法，当谈到进一步推广AMR和AGV时，这不仅仅是一个摄像头或传感器;它是为了更容易地将多个相机头和传感模式组合到一个数据流中进行处理。IFM的O3R解决方案将允许自动系统设计师包括多达6个iToF摄像头和一个基于nvidia的处理单元，旨在接受成像和激光雷达系统，价格低于3000美元。

“你需要激光雷达和iToF摄像头，因为amr需要在大范围内收集3D数据，不仅是在设备前面，还包括地板和上方。如今，ToF摄像机本身并不擅长识别地板上的凸起或洞，也不擅长识别可能被自动叉车卡住的架空电缆。我们的解决方案消除了设计师在集成自动感知系统的关键组件时所面临的摩擦，”Place说。

IFM“翻转脚本”以降低其相机的成本，将几乎所有的处理都从相机中移除，并将原始数据传递给专用IPC。普雷斯说:“过去，IFM专注于相机、组件、硬件或软件。但我们意识到，我们的客户想要一个整体的解决方案，使开发这些系统更容易、更便宜。不应该只有财富100强企业才能从AMR解决方案中受益。”

真正的意义和真正的机会

随着英特尔最近宣布打算关闭其RealSense 3D传感器生产线——这对视觉行业的许多人来说是一个震惊——其他具有成本效益的3D解决方案的机会从未如此光明。

Teledyne的Lochardet总结道:“基于目前的市场状况，ToF传感器的市场份额将继续增加，ToF技术将被越来越多的市场采用。”“不仅用于纯距离测量，还用于改进随机照明场景(监控、汽车、消费者等)中的图像分割。因此，这项技术的创新还将继续提高分辨率、精度和速度，同时保持甚至降低生产成本。”

毕竟，当你可以用低于标准工业3D相机的价格购买360度传感解决方案时，仓库地板可能真的是下一个杀手级应用。