行业的见解
嵌入式愿景的进步为盈利铺平了道路
发布06/26/2018
| By: Winn Hardin, Contributing Editor
众所周知,今天的iPhone的处理能力是美国宇航局阿波罗指令模块计算机的几千倍——尽管这只是说明问题一半的故事当谈到20世纪60年代计算机的优势时。然而,不管你怎么看,与几十年前相比,现代计算的能力是惊人的。比口袋里的万亿次浮点运算的海洋更令人惊讶的是我们用它做了什么。在20世纪60年代,计算机是一种新奇事物。如今,发达国家的许多人至少拥有一种计算设备。
功率、尺寸和大规模消耗之间的关系同样适用于机器视觉,更具体地说,适用于嵌入式机器视觉。嵌入式视觉将图像传感器、强大的处理器和I/O集成到一个重量、能耗和单位成本低的特定应用系统中。嵌入式视觉硬件和软件的进步扩大了工业机器视觉以及医疗成像、自动驾驶汽车和消费电子产品的机会,为机器视觉的世界打开了一个新的应用领域。
智能摄像头引导方式
智能摄像机将传统机器视觉系统与嵌入式功能连接起来,继续满足人们对紧凑的一体机视觉功能的需求。2017年,北美智能相机市场同比增长25%,达到4.08亿美元,是视觉行业增长最快的类别。从2017年到2025年,基于智能摄像头的系统的采用预计将加速8.9%,但组件摄像头和成像板在嵌入式视觉市场的份额也分别增长至1.89亿美元和3900万美元。
今天的智能摄像头可以处理一系列的应用——从识别交通标志到执行机器内检查——这些都需要高性能和小尺寸的灵活性。FLIR的Blackfly S相机尺寸为29mm × 29mm × 10mm,重量为10g,板级版本适用于嵌入式系统,如手持设备和无人机。计划于2018年第三季度发布的5.0 MP USB3视觉相机,提供了一套功能,包括自动和手动控制的图像捕捉和相机上的预处理。
与此同时,Basler还提供了dart,一款尺寸为27 x 27毫米,重15克的板级相机,并提供了两个接口:USB 3.0和相机制造商专有的BCON MIPI接口,该接口与GenICam机器视觉标准兼容。Basler的高级咨询工程师和市场分析师Matthew Breit说,通过使用后一种界面,“结果是,设计师无需使用传感器模块,就可以轻松集成一个成品相机模块。”
开发完整包
实现小型,快速,高效的智能摄像机和其他嵌入式视觉系统依赖于硬件,软件和支持它们的技术的进步。当涉及到图像处理时,许多应用程序呼叫与现场可编程门阵列(FPGA),图形处理单元(GPU)或低功率臂芯结合中央处理单元(CPU)的电力的异构平台。
将CPU与GPU组合可以显着降低图像集的处理时间。例如,QTechnology A / S在其智能摄像机平台中使用加速处理单元(APU),该平台将GPU和CPU与同一芯片上的CPU组合在一起。GPU是一种大型并行发动机,可以同时在大数据集(在这种情况下的像素)上应用相同的指令。通过将APU配对具有外部离散GPU的APU可以进一步提高性能,这使得能够增加GPU处理资源来支持更加密集的视觉任务。
与GPU相比,FPGA在紧凑型应用中产生更少的热量,因为它们以较慢的速度运行,但它们也需要重大的编程知识。Silicon软件的VisiaPplets产品系列旨在通过简化FPGA的开发环境来简化芯片配置过程。最近,Silicon软件报告了FPGA架构的深度学习实现,能够在金属表面的图像上对具有99.4%的精度和超过220mbps的图像吞吐率进行分类六种不同的缺陷。
AIA副总裁Alex Shikany表示,FPGA在嵌入式摄像机中广泛用于医疗成像,因为它们降低了组件成本和功耗,同时允许相机界面的相机界面快速开发,例如Coaxpress和相机链接。嵌入式视觉在内窥镜检查,手术显微镜,皮肤病学,眼科和牙科方面遭受普遍存在。事实上,研究公司Marketsand Markets预计2021年的全球医疗相机市场将达到36.9亿美元,2016年的24.3亿美元,复合年增长率为8.7%。
OmniVision Technologies发布的两款新产品说明了医疗成像领域对嵌入式视觉技术的需求,特别是在护理点诊断和治疗方面。专为一次性和可重复使用的内窥镜和导管设计的OH01A医学图像传感器在2.5 mm x 1.5 mm的封装中,以60帧每秒的速度提供1280 x 800分辨率。
同时,用于医疗,兽医和工业和内窥镜应用的OVMed图像信号处理器(ISP)与Omnivision的Compact CMOS图像传感器集成,并具有小于100毫秒的短系统延迟。ISP的视频处理单元有两个版本:可以安装在内窥镜句柄内部的一个版本和驻留在相机控制单元中的高级选项。
汽车行业的先进驾驶辅助系统(ADAS)也遵循着类似的发展轨迹。ADAS组件包括摄像头、图像处理器、系统处理器、超声波传感器、激光雷达、雷达和红外传感器,它们负责许多复杂的任务,其中包括驾驶员嗜睡检测、车道变换辅助、行人识别和交通标志识别。
这些应用不仅需要高性能的图像处理,而且必须在极端条件和严格的汽车安全标准下进行。为了应对这些挑战,ARM开发了malic71,这是一种定制的ISP,能够处理多达4个摄像头的数据,并处理24个动态范围,以捕捉在明亮阳光或阴影下拍摄的图像的细节。参考软件控制ISP、传感器、自动白平衡和自动曝光。为了进一步利用该设备进入汽车市场,该公司计划开发符合汽车安全完整性等级(automotive Safety Integrity level)的汽车软件。到2025年,预计ADAS的年收入将达到893亿美元,而malic71只是其中的一个组件。
简化复杂
随着全球科技巨头对嵌入式愿景的未来的断言,开发者可以期待更简化的技术部署和管理。2018年5月,微软发布了基于高通视觉智能平台的视觉人工智能开发工具包。该工具包提供了使用Azure IoT Edge和Azure机器学习开发基于摄像头的物联网解决方案所需的硬件和软件。其目标是“在设备上提供实时人工智能,而不需要持续连接到云或昂贵的机器。博客来自微软。
另一个最近宣布的设计环境是英特尔的OpenVino,它代表了开放的视觉推断和神经网络优化。OpenVino提供了常见的软件工具和优化库,以启用一次性,部署到嵌入式系统开发人员具有吸引力的软件。工具包从流行框架(如Tensorflow,MXNet和Caffe)等流行框架以及OpenCV,以及OpenCV,Opendius Vision处理单元的愿景和深度学习干扰能力。
对于许多传统机器视觉公司来说,基于PC或帧抓取器的工业检测系统仍然是他们的主要业务。但有远见的利益相关者已经在利用工厂以外的新机会,这得益于嵌入式愿景的进步。