重新定义可见：红外线，多光谱和飞行时间是如何扩展机器视觉景观

电磁谱的可见范围主要由人类能够看到的波长定义。但是，当使用成像仪（例如Teledyne Dalsa的Piranha4多光谱相机）时，“可见”成为一个透视问题，该摄像头通过其颜色，单色和NIR输出捕获这三个图像。钞票的建筑窗户与IR安全性墨水有一半印刷 - 一个细节对肉眼看不见，在颜色和单色图像中缺席。在850nm的NIR范围内照亮和捕获的第三种图像清楚地揭示了这些油墨的使用。 照片由Teledyne Dalsa提供。

自动化最近变得如此热门话题，很容易忘记机器愿景并不简单地对人类检查更加有效和更不懈的替代方案。它需要一个非凡的设计和工程专业知识，以获得相机和计算机从一束光子中获得可操作的智能。那么，为什么要经历所有的麻烦？

机器视觉的众多原因之一优于手动检查，是我们的眼睛仅在电磁谱的相对薄的条子内操作，从大约400到700nm - 所谓的可见范围。因此，利用超出可见范围的相机非常有用，如果只是因为它基本上增加了可用的光量与样品相互作用。单独的红外光谱提供超过14,500个离散波长来与之合作。当您在其他成像技术和模式中的因素，例如多光谱和飞行时间（TOF）成像时，机器视觉使全新的透视能够对人类可以检查，分析，排序和阅读。

多光谱加1
在彩虹之上，彩虹是可见光谱，在800到1050nm之间，是近红外（NIR），其中一些不可见的成像应用可以通过可见范围的CCD或CMOS相机。这些应用通常需要使用NIR照明，以及低通或带通滤波器来阻挡可见光。传统的硅传感器具有高达800nm的高量子效率，高于其敏感性显着下降。

然而，在该窗口中，制造业的进步是有助于在NIR中具有更高量子效率的基于硅的传感器。这些进步包括在盟军愿景中的高级产品经理Jens Hashagen表示，在传感器芯片上的实施以及像素之间的更高阻的障碍。他补充说，这种架构能够更深入地侵入Nir光子进入传感器和较高的电子发电概率。

硅对NIR的敏感性还允许设计多光谱相机，其在单个芯片上结合可见光和NIR通道。在Teledyne Dalsa的Piranha中选择型号，即将结束其Linea ML相机系列，例如，包含跨越八个或更多光谱带的通道，跨越800nm以上的可见和NIR范围。这种相机可用于测量不同的植被指数或用于食品分类应用。

由于可见和NIR通道在单个基于硅的传感器阵列上操作，因此对摄像机设计的影响最小。“如果我们在谈论从可见频段分离出硅结合的NIR频段，我们可以将不同类型的过滤器添加到启用这种分离的图像传感器上，”Matthias Sonder，高级开发领导者，扫描，在Teledyne Dalsa。“只要存在具有良好质量控制的可靠制造过程，这对实际的成像硬件影响很小。

“就管理数据而言，我们必须执行一些开发工作来转换RGB社区，接受来自相机的四个独立的光谱平面。但这是合理可用的，“Sonder补充道。

进入SWIR.
从900 nm到约1.7微米 - 基于铟镓砷（Ingaas）的SWIR范围的浅端成为现状的成像技术。然而，3月份出现了潜在的挑战者，当时苏尔视觉系统推出其新的Acuros抢劫摄像头，它利用量子点技术。具体地，该成像器基于硅读出晶片整体制造的胶体量子点（CQD）薄膜光电二极管的2.1MP宽带传感器。虽然CQD传感器的量子效率比InGaAs相对较低，但SWIR视觉系统声称，当与主动照明配对时，该技术可以提供相当的性能，并且可以以较低的整体系统成本提供更高的分辨率。

与基于硅的CCD或CMOS传感器类似，INGAAS和CQD传感器将光子转换为电子，从而用作量子探测器。两者都能在1到1.7μm之间的反射波长检测，其中熟悉的材料出现非常不同。例如，水分，例如，在1.45μm处吸收光，并且当通过带通滤波器观察时，在擦伤水果，灌溉良好的作物或泄漏酸奶容器的抢劫剧中几乎是黑色的。在可见范围内看起来相同的材料，例如不同的塑料和金属，在此范围内也看起来不同，允许它们更容易地分类。

在苏尔州的深层末端的成像，从1.7〜2.5μm，通常是碲化镉（MCT）传感器的境界。但是，通过改变包含IngaAs探测器的三个元素的组成，这些传感器可以捕获高达2.2μm的图像。“这种传感器的价格通常低于MCT传感器的价格，传感器冷却不如要求，导致系统成本较低，”Hashagen说。

热敏感染敏感
MCT相机，以及基于铟锑苷（INSB）传感器的装置，以及较小程度，在较小程度上，脱脂硒（PBSE）将过去的成像延伸到MWIR和LWIR范围 - 也称为热红外，因为该区域中的成像依赖于显像依赖性在捕获物体本身发出的辐射。虽然在捕获图像时消除了对外部光源的需要，但是许多热摄像机 - 基于MCT的设备 - 需要主动冷却以管理灵敏度和噪声。权衡是低温冷却器提高了这些相机的成本和大小，这通常会使基于微生率计的成像器是优选的替代方案。

基于Amorphous硅（A-Si）或氧化钒（Vox），微致血流仪器件具有重新配置的LWIR摄像机 - 一个只有执法和军队可用的昂贵技术 - 进入嵌入式成像模型，能够适合口袋。例如，FLIR Systems'10×12.7×7.14 mm Lepton微热相机模块现在集成到Caterpillar S60智能手机以及消防员头上显示器。

从历史上看，微过高计的缺点是它们的比较缺乏敏感性。根据FLIR系统，Mike Walters副总裁Mike Walters称，这张照片正在开始改变。“发生了两件事，”沃尔特斯说。“首先，我们将像素尺寸降至12μm，这使得这些LWIR摄像机以分辨率相当可与可见的传感器相比，该可见传感器捕获低于1μm的波长。但我们的目标是在10μm以下的像素尺寸，同时保持灵敏度。其次，由于我们正在寻找热发射，我们正在修改半导体层以确保像素吸收所有热量。“

飞行时间准备好起飞
人类的视觉仍然比计算机更容易地进入3D形状的收集。但是，如TOF的技术已经变得足够复杂，可以帮助诸如机器人拾取操作之类的工业应用，在箱中排序物体或在传送带上扫描封装。

与传统机器视觉系统一样，TOF系统依赖于有源照明和量子检测器将反射光子转换为电子。但是TOF技术而不是产生2D图像，而不是产生3D点云。它以两种方式之一这样做。首先，通常称为直接TOF，在视野上发射短脉冲，并测量其返回时间到相机。间接TOF，第二种方法发出连续宽带信号并测量发射和返回光波之间的相移。

在传感器设计和选择方面，间接TOF更加原谅，并且可以利用传统的CCD或CMOS器件。这并不是说这些传感器不能针对TOF进行优化。收购软滑电子后，索尼组合该公司的专有像素结构，能够高效采样，其内部背面照明传感器技术。结果是索尼的新深度TOF传感器，它为60 FPS提供了更有效的光线集中。

“Lucid将索尼的深度传感器纳入其Helios Tof相机，它在2毫米内提供高精度，标准偏差小于2毫米，距离为1米，Lucid Vision Labs的产品营销经理Jenson Chang说。“索尼的新传感器提供了640 x 480的大3D分辨率，而与市场上现有产品相比，提供更高的速度性能。”

通常，TOF系统需要更少的组件，更少的校准和计算，并且比立体视觉或结构光更小的占地面积，而TOF更容易缩放到更长的工作距离。但改善其准确性是推动技术的采用和持续发展。

“大多数前进是由需要更准确的应用程序触发，因为准确性是判断TOF系统时的决定性标准之一，”巴斯勒产品管理负责人Sebastian von Holdt说。精度适用于机器人拾取应用程序，其中相机需要提供与机器人系统准确性匹配的点云数据。它适用于自动化物流，其中传送带上的盒子的尺寸和形状有助于确定运输成本，存储空间，或自动叉车系统应该移动盒子的地方。

提高TOF的准确性沿三条路径发生。首先是照明，其中VCSELS在IR发光二极管上的越来越多的青睐，使光脉冲具有短，高效和精确的光脉冲，这在明亮的日光下的户外应用中，即使在恒星的户外应用中也具有显着的改进。

其次，新的传感器技术 - 通过背面照明提供高达300 MHz的调制频率，更大的动态范围，以及与视频图形阵列或更高的分辨率 - 是有助于更密集的点云和更多细节。

推动更高的准确度的第三个因素是对时序的改进。“谈到高质量的TOF相机系统时，时间是一切，”Von Holdt说。“基于帧速率和传感器的调制频率找到最佳定时模式组合是实现更高的精度，从运动，减少的反射和杂散光的较高，以及更好的距离更好的质量。”

展望不可分辨率
我们不能改善人类生物学（尚未）。但我们仍然有很多机器视觉在不可见，多光谱和3D视觉领域所达到的改进空间。From denser and more sensitive pixel arrays, to back-side-illuminated detectors or stacked sensor designs, to lower cost and smaller systems, today’s camera makers and vision system integrators are improving our ability to sort, inspect, and read what the human eye cannot perceive.