热成像和机器视觉

最有趣的技术进步之一是在过去几年里红外成像仪和相机的价格/性能上的巨大改进。虽然在此之前，这些相机使用起来很尴尬，只是简单笨重的车间使用，很大程度上是因为制冷要求(更不用说昂贵)，但今天，人们发现红外相机的设计是与车间地板兼容的。虽然仍然昂贵，但价格正在迅速下降。随着基础红外相机技术的突破，现在可以合理地考虑将其用于机器视觉应用。

这在2003年6月的国际机器人和视野展上显而易见，该展会在展会上发现了四种热成像摄像机供应商。这反过来激发了我的好奇心，以确定这些摄像机在工业或典型机器视觉应用中使用的位置。对市场的审查确定至少有15家提供热成像相机的公司。本文的投入由这15家公司征集。有几个答复说，虽然他们确实提供了IR摄像机，其主要市场是军队，但他们没有找到他们从事机器视觉应用的摄像机。最后，四确实花了时间响应并提供他们对本文的见解：

• 奥斯汀理查兹博士 - 靛蓝系统
• Jon Chynoweth - Mikron仪器公司
• 阿恩·亚当斯博士-圣巴巴拉Focalplane
• Erick Argueta -传感器无限

1.如何定义热成像或IR成像？
奥斯汀理查德博士：“热成像是一种技术，它可以在人类、动物、汽车等物体在地球温度下发出的光形成摄影图像或视频序列。光的波长通常是可见光波长的6-20倍。”

乔恩·Chynoweth:''能够从热概况中创建图片。“

亚当斯博士在攻击:''热成像在电磁光谱的区域中成像约3至超过14微米（室温对象发出大量IR辐射）。IR成像以比约800nm长的波长进行。''

erick argueta：''热成像和IR成像相交，但不是相同的领域。热成像是温度分布的成像，并且通常使用IR波长来这样做，但IR成像是更广泛的，包括在大约一个和十微米之间采用波长的任何成像系统，无论是感兴趣的参数。例如，通常用IR系统完成水分含量或化学组成的成像，但这不会是热成像。''

2.什么是基于热成像的机器视觉系统?
Chynoweth:''由带有或没有镜头的IR相机，通常自定义内置机箱硬连线或连接到以太网或服务器计算机，具有特定于应用的自定义软件和自动决策。对于过程相关的申请，可以找到两种类型的摄像机;1）热成像和2）辐射测定，提供逐个像素16位温度图。''

亚当斯：“由计算机系统控制的热红外摄像机，该系统根据摄像机输出做出决定。”

理查兹：“基于热成像的机器视觉系统是在某些过程中具有用于远程测量给定过程的温度或发射的摄像机的相机。有时红外发射强度或光线（不温）是测量的。''

3.您可以区分主动和被动的热成像系统吗？其中一个主要在机器视觉应用中找到什么？
argueta：“有源热成像系统使用激光器或其他方法来提高目标的温度，通常在给定时间的小面积上，而被动热成像系统感知目标的固有温度。被动系统是最简单的，最常见的，但活跃的系统具有被动系统没有的功能。''

理查兹：“绝对地，被动热成像是机器视觉中通常使用的。在被动热成像中，可用的光用于看一个场景，其通过一些过程加热或冷却，例如，被烘烤的巧克力曲奇饼。您可以在烘焙过程中映像产品上引起的温度变化。在用连续或脉冲光源的研究中照亮物体的表面并用热成像相机进行图像时，有源热成像。脉冲系统可以在正确的条件下看到物体表面下方的缺陷或结构。连续源照明可以揭示油漆下的标记。''

Chynoweth:在活跃的系统中，在加热或冷却的同时连续监测目标以获得δ温度。在一个汽车应用中，复合体面板粘在框架上，应用需要通过吹风空气来产生Δ温度。结果是保证，胶水线是连续的，没有空隙。''

亚当斯：主动热成像系统通常根据摄像机的输出做出实时决策，而被动系统通常用作监视器。”

4.如何与400-700nm区域中典型操作的热成像的机器视觉系统不同？
亚当斯：''基于热成像的机器视觉系统通常基于热参数进行决定。''

Chynoweth:“它们非常相似，通常在30Hz或60Hz上运行，具有模拟或数字输出。用红外相机一个调整对比度和亮度，而不是调整对比度和亮度。“

理查兹：“基于热成像的机器视觉系统可以看到物体在室温下发出的辐射能。热成像系统的分辨率通常要低很多。高分辨率可见光成像是一项更加成熟的技术，而且成本更低，制作也更简单，特别是CMOS成像系统。但这些可见光成像仪只能看到极热物体的热辐射。这两种相机的用途通常是截然不同的。”

argueta：“除了波长、相机技术和光学方面的明显差异外，(被动)热成像系统中的目标也是光源。热成像系统的最佳类型近红外(NIR) 1-3 um，中波红外(MWIR) 3-5 um或长波红外(LWIR) 8-12 um取决于所感知的温度范围。对于目标温度接近或略高于室温，3-5或8-12微米的系统通常是最佳的，而对于目标温度高于大约200摄氏度，近红外系统通常是最佳的。在更普通的层面上，红外成像系统(无论热与否)通常比同等规模的可见光系统更昂贵。”

5.热成像在机器视觉中的应用是怎样发展起来的?
理查兹：'在20世纪60年代，为军队开发了热成像系统。直到大约10年前，他们是大量的系统，非常昂贵（> $ $ $ $ 10k）并消耗相对大量的力量。现在，最小的热成像相机低于10k美元，适合手掌，正在成为商品项目而不是特殊的定制系统。“

Chynoweth:“就工业应用而言，最大的市场是在线过程控制。然而，挑战是相机的成本，特别是因为典型的工艺应用需要多个相机。因此，到目前为止，大多数应用程序都是基于检查场景的手持摄像机来预测何时需要维护。然而，价格壁垒正在迅速下降。”

6.今天有可能考虑今天制造中的热成像的应用吗？
argueta：''近红外摄像头现在非常坚固，不需要像常规热摄像头一样外部冷却。在需要快速采集时间的制造中，近红外相机的采集速度也与其400nm-800nm堂兄弟相当。此外，现在可以从2维焦平面阵列中的640x480像素到1,维线性阵列中的640x480像素。像相机LinkTM等标准的支持使其成为一个多功能的工具，它已经从实验室工作台转移到工业环境数年，现在具有合理的价格。可靠性在工业环境中也很重要，相机现在可以承受高达40oC标准的工作温度，具有最小的定制。非常易于使用（复合视频兼容），无需预热时间，Nir相机使其成为过程控制需求的非常有吸引力的解决方案。“

Chynoweth:“与3-4年前相比，热分辨率提高了，相机的包装尺寸减小了，软件平台的可用性提高了使用的易用性。”

亚当斯：''较低的成本和更高的性能正在启用越来越多的应用程序。例如，我们（Santa Barbara Focalplane）最近推出了我们的Imagir LC计算机的相机系统，可为10,000美元;它配有Windows PC，所有电缆和软件，拥有256x256元素传感器，以超过70 Hz帧速率运行，具有优于20 Millikelvin NetD性能的帧速率。较高的帧速率（> 10 kHz）和更大的格式传感器（> 1kx1k）也可以实现新的应用程序。''

理查兹：''热摄像机继续成本下降，特别是当您将它们与离散热传感器的成本进行比较时，在某些应用中。例如，如果您想测量用于制造钢的真空炉的外部温度，则可以在各种点处覆盖炉外部，并测量温度，检查任何热点。但是，在炉子外部远程热图像远程热图像是更具成本效益的，比在这个例子中，它是要附着的，然后测量炉外部的数千个热传感器。随着热基成像的价格，过去没有意义的应用现在非常实惠，有意义。“

7.是否有与热成像相关的校准问题?有一些标准化的方法来校准它们吗?
理查兹：“是的，校准是大量案例中的一个非常大的问题。有用于校准摄像机的方法，我们发现最可靠，最精确的方法是利用两个黑体源，比对象更热，另一个更热，更冷。然后，它们括起来的温度范围。Indigo Systems和WinSoft Corporation共同开发了一种皮肤温度监测站，热阳台，它利用两个黑色身体盒作为校准来源和微小欧米茄热成像相机。欧米茄在相机内具有实时校准源。它是一种人类主体的面部面积，远程和非侵入性地实时。然后系统自动自我校准，计算机从所有三个源转换所有实时校准信息，如果人类的温度超出预设值的范围，则为警报声。“

argueta：“是的。为了获得绝对温度读数，必须始终校准系统。“系统”'包括相机和目标，因为目标的光谱发射率是获得精确温度测量的主要因素。“
Chynoweth:“当然。由于微辐射热计的输出有移动的趋势，相机需要一个机制来补偿这种移动。在今天的相机中，这种补偿是在某个固定的频率上自动进行的，例如每20分钟一次。绝对校准也需要在某个时间间隔，然而，这将是应用程序的功能。对于许多应用来说，每年校准一次就足够了。”

亚当斯：“所有FPA（焦平面阵列）热成像仪所需的”不均匀性校正（NUC）是必需的。温度读数VS产生的相机强度是一个额外的校准问题。通常，对于最敏感的应用，至少每天进行2分NUC（例如，当需要优于50毫米米利尔文）。“

8.像Firewire (IEEE 1394)、CameraLink和usb2这样的标准在热成像方面有影响吗?
亚当斯：“是的。火线正迅速成为相对较慢的热红外相机的标准(数据速率小于40兆字节/秒)。CameraLink将成为高帧率热红外相机的标准(例如，SBF的1024x1024相机以高达320mbytes /sec的数据速率运行，我们的新数字输出FPAs将以更高的速率运行)。”

理查兹：“是的,所有。Indigo系统公司现在有一个可选的火线配件与欧米茄热成像相机。”

Chynoweth:''Mikron现在提供FireWire的相机，9月份将以USB 2版本出来。''

9.人们希望在今天的热成像系统中发现哪些机器视觉特征?特定类型的软件?相机的具体硬件功能?
argueta：“由于红外成像，特别是近红外成像接口标准的扩散，像National instruments stm (NI-DAQTM)等传统软件和其他软件包可以用于满足每一个制造成像需求。与货架上的框架抓取图像板一起，他们使它成为一个非常经济有效的解决方案，具有所有铃铛和哨声，可以期待从“可见”成像系统。一些典型的硬件功能包括:

• 模拟复合视频
• 数字接口（USB，相机链接，串行）
• 暴露时间控制
• 在船上修正''

Chynoweth:“这些功能实际上就在软件包中:能够创建感兴趣区域(ROI)，提取最小/最大c/标准偏差，根据目标温度触发警报，等等。”

亚当斯：'在查看实时显示器的同时以相机的全帧速率将数据流传输到磁盘的能力，并进行实时处理决策。在大多数机器视觉环境中，必要将客户绑定到特定计算机硬件集的软件开发套件。“

理查兹：“机器视觉涉及图像处理，例如图像处理。模式识别，边缘检测或圆检测。一个例子可能是如果您想在装配线上找到喷涂罐的液体水平，则热成像可以检测涂料和罐中的空气之间的温差。或者可以设置热相机以远程图像在制造工厂中的多个罐或桶中的液位。热成像可以寻找玻璃瓶中的温度变体，如果成像点超出规定的温度范围，则可以提供质量控制过程。Back end software might include image processing modules that do edge detection and filtering, background subtraction, etc. Cameras might come with CDs of software developer’s kits that allow a programmer to easily integrate the camera into a PC-based system: ActiveX controls or DLLs that enable image acquisition and camera control. Alternatively, LabVIEW drivers might be provided to make it easy to integrate the camera with National Instruments HW and SW.

硬件可能包括用于恶劣工厂的环境密封摄像头，模拟视频输出易于与现有机器视觉基础设施集成，12 VDC电源需求很容易满足。”

10.今天的热成像相机是否具有传统相机针对机器视觉市场的典型特征?曝光控制?异步帧复位吗?顺序扫描吗?电子快门?
理查兹：''一些，是的。热成像行业正在借用可见的摄像机竞技场的更多功能。我们的热成像摄像头确实具有曝光控制，此外，Indigo系统具有快速变化功能的镜头。大多数热成像公司在其摄像机上有“外部触发”，称为可见相机市场中的“异步重置”。快门速度，称为“集成时间”可提供，具体取决于规格，在我们的红外摄像机上的性能时间短或更长。Indigo的热摄像机系统具有NTSC和S-Video（用于模拟格式）和RS-422（数字），提供相同的模拟和数字视频接口可见的相机功能。靛蓝系统还具有标准三脚架安装和标准24V或6V（用于欧米茄）电源。我们的目标是制作红外成像系统，可以轻松地与标准可见成像系统的特点接口，使交叉更具成本效益和方便。All of Indigo’s FPAs are ‘’snapshot’‘ mode, meaning all pixels are integrated at the same moment in time, permitting simultaneous capture of every pixel and then read out of the camera (some other cameras have rolling-mode readouts, which cannot image dynamic scenes well). We are committed to making IR cameras as standard as CCDs, high performance and full featured.’‘

亚当斯：‘’Yes, thermal IR cameras generally come with exposure control and electronic shutters (frame rate and integration time adjustment from about a microsecond to 10's of milliseconds), and asynchronous frame reset (the cameras can output sync pulses or accept input sync pulses).’‘

argueta：“今天的某些IR摄像机具有与具有各种曝光时间控制和异步触发具有各种曝光时间控制和异步触发的电子百叶窗的曝光控制。其他一些功能包括窗口，用于更快的帧速率和低功耗待机模式，当时相机在不受使用中的不大力。''

11.什么是用于基于热成像的系统的一些特定机器视觉应用 - 两者都在线和离线？
argueta：“在近红外热成像领域，应用包括高温工艺(如钎焊、金属冶炼和塑料容器检测)的温度图。近红外成像的非热学应用包括纸张和木材的水分成像，水果和其他食品的分类，药片检查，通过半透明或彩色瓶子的瓶子填充检查，以及塑料分类回收。”

Chynoweth:''应用包括持续监控电动母线，寻找好/坏人印刷电路板，监控咖啡罐上的塑料密封，鱼雷钢包在钢上寻找烧伤，检查离合器板是否存在石墨等''

亚当斯：''非破坏性测试（NDT）和成像光谱似乎是我们高帧率和大型格式相机的最大机器视觉应用。''

理查兹：‘’Online – inspecting cookies coming out of an oven – inspecting glass bottles just coming out of the mold, inspecting boxes or canisters for defective seals, inspecting silicon wafers for quality assurance, etc. Offline- Any research in the lab or in the field – measuring the temperature of a burning cigarette, for example or looking at a solid rocket motor plume when the motor is in a test stand.’‘

12.基于热成像的机器视觉系统有哪些限制?速度吗?
理查兹：‘’Frame rates can be comparable (down to a microsecond e.g. speeding bullet - frame captured at about one microsecond; the number of pixels is limited so it’s hard to see a lot of details. Resolution is generally lower and there are limits on the minimum resolvable feature size – because of diffraction, you cannot see something that is smaller than a wavelength of light (wavelength is about 10 microns and you cannot see anything smaller than that – microscopic imaging begins with feature sizes larger than 8 microns for a long-wave camera.’‘

亚当斯：‘’Almost everyone is asking for larger format arrays running at ever-higher frame rates, but many applications are unable to support the increased costs of such systems ($250K for our 1Kx1K thermal IR imaging system that runs at over 140 Hz frame rate, full window; even higher for some systems using custom-designed FPGAs).’‘

argueta：''通常，IR相机的像素比可见光相机更少;具有超过640 x 480像素的红外摄像机很少见。''

13.是否有商家系统集成商可以提供集成基于热成像的机器视觉系统的信息？您能详细说明他们提供的服务吗？
亚当斯：''SBF合作并与几个系统集成商合作。他们通常是专门从事特定市场利基的集成商，如NDT分析航空航天结构或电子元件的NDT，或汽车部件的NDT。''

理查兹：“是的，几家公司提供了这一点。Winsoft可以采取热成像相机并将其合并到生产线中。''

Chynoweth:“越来越多了。使用系统集成商的最大障碍之一是，通常客户希望有一个人负责整个系统。但系统集成商并不承担全部责任。虽然他们可能会购买相机并编写应用软件，但图像数据通常是专有格式的。因此，他们为系统集成商提供内置的数据格式或ActiveX控件集。而系统集成商会购买摄像头、机箱、I/O等，编写软件，当系统无法运行时，则怪罪于组件供应商。这就是从相机公司购买相机的优势所在，他们可以提供全套解决方案，因为他们有能力设计和实施外壳，稳定成像仪的环境，这是成功应用的关键。”

14.您在去年的目标是在基于热成像的机器视觉市场的目标是什么？
argueta：''传感器无限引入了高分辨率1,024像素Ingaas光电二极管阵列。''

Chynoweth:''Mikron推出了几种包装系统：可以结束监测，关键船舶监测和变电站监测。'

亚当斯：“Santa Barbara Focalplane推出了我们的FireWire ImagIR LC相机产品，以及我们的1K x 1K格式热成像相机。这两种产品都将在机器视觉市场找到应用。”

理查兹：'''Indigo Systems推出了FireWire和Omega Targets Machine Vision，因为那么您不需要帧抓取物。您可以拥有许多不同的相机连接到单个主机，而无需具有多个帧抓取器。来自Indigo系统的凤凰相机线捕获高速事件，如操作中的涡轮机叶片，以监测保护叶片免受燃烧气体的热障涂层的状态。''

15.您是否可以给基于热成像的机器视觉系统的潜在终端用户一些建议，以确保他们能够成功地实现?
理查兹：“是的，在做出最适合你的热成像系统的最终决定之前，请详细说明你的要求——非常仔细地获取你所购买的相机的所有规格的详细信息。客户需要了解他们当前的需求，然后他们需要预测他们可能需要热成像机器视觉系统来做其他事情。有些相机有更多的功能，不仅可以满足你现在的需要，还可以满足你未来可能需要的应用。”

argueta：“对于热成像，你要查看测量的温度范围，然后决定哪个波长范围是最佳的。黑体辐射曲线可以帮助测定波长。在一个波段内可以实现最大的灵敏度，即使几个波段可以进行测量，其中一些比其他更好，这取决于用户感兴趣的温度范围。”

Chynoweth:“从那些愿意对长期运营负全责的人那里购买整套产品。不要分割，自己动手，因为在大多数应用程序中有许多不同的约束需要处理。”

亚当斯：“在确定所需的热量红外线时，请务必让相机制造商知道您的应用程序是什么，您认为需要哪些帧速率和像素格式，以及哪些波长区域很重要。此外，您将如何接口到相机，两个硬件和软件 - 明智？我对许多热量红外线照相机制造商的经验一直以来，他们会让你知道他们的相机是否不适合您的应用程序，如果没有，他们有时可以将您引导到别人那些提供合适的别人the application.’‘

16.您是否有特定的活动，您作为基于热成像的机器视觉系统的供应商必须提供确保您的客户成功的？
理查兹：“好的客户支持，好的文档，好的软件(dll，驱动程序)，这样他们就不需要重复工作。”

Chynoweth:“系统的成功在于软件。因此，供应商应该为整个应用程序提供软件——提供一站式服务。”

亚当斯：“我们的客户可以与设计和建造热红外摄像系统的工程师进行交流。这有助于我们的客户更快地开发他们的应用程序。”