无人机视觉:机器视觉新兴市场的鸟瞰图

上次我们调查了无人飞机系统(UASs)上的机器视觉的机会，展望强调了国防应用的优势。尽管国防仍然推动着这一领域的尖端创新，但民用应用的数量也在不断增加，同时，视觉组件的应用和机会也在不断增加——从改善无人机导航和安全性到从迄今具有挑战性的角度捕捉图像数据。

从2015年底开始，美国联邦航空管理局（FAA）开始注册所有拥有至少一个体重0.55和55磅的工艺的平民驱动器所有者。到去年12月，登记处上市超过900,000多名估计12.25万无人机。爱好者早期占据了排名。但商业应用程序的数量现在开始飙升。2017年的FAA预测，2019年底将在2019年底注册229,400名商业无人机。但在2018年之前，注册已经超过了48,000的预期。FAA现在项目的商业无人机将比2023年的数量超过835,000。

在此期间，媒体头条新闻已经描述了越来越多的应用程序，其中无人机安装的摄像机评估作物的领域，映射建造场所或检查风力涡轮机。所有这些用途都值得仔细看看。但这些故事经常错过的是基本机器的视觉是基本的无人机操作。

考虑收。作为世界上最大的民用无人机制造商，该公司自成立以来在其所有产品中都嵌入了面向地面的CMOS传感器。这些芯片并不是安装在机上用来从200英尺高空捕捉房产清单或当地足球比赛的摄像头。相反，它们提供了一个恒定的视觉参考点(即紧下方的地面)，再加上机载内存和人工智能，使大疆无人机能够在飞行员系鞋带时出现阵风时精确盘旋。如果低电量信号自动让大流量无人机返回其起飞坐标，GPS传感器将把它返回到几米内，但嵌入式CMOS芯片将导航到最后几厘米，以实现精确着陆。

“在我们最新的工业无人机上，前面，背部和底部和红外线（IR）的飞行时间传感器有视觉传感器，”北美高级通信经理Michael Oldenburg说，DJI。“所以，您对障碍物检测有全向传感器，其提供先进的试点辅助系统。他们在字面上飞行机器人。“

与任何视觉引导的机器人一样，技术精致可以通过机器人控制系统从视觉数据跳过多少额外的精度或功能来衡量。DJI提供有关其无人机飞行控制潜在的组件的有限细节。但是，高端模型，例如其Mavic 2或Matrice 200 Quadcopters，包括一个引导传感器套件，该指导传感器套件收集来自五个CMOS成像仪和超声传感器的数据，使用基于FPGA的硬件加速模块和两个ARM Cortex-A9核心来处理它，以及馈送它通过CAN总线电缆或通过USB或UART电缆进入飞行控制系统。

结果，即使在高速飞行时，无人机也可以自动调整不利的环境条件或导频误差。“如果你将它飞向电话杆，无人机会提醒你，”奥德别堡说。“以前，如果你继续在棍子上直线向前压，无人机只会停止并在杆前盘旋。但是现在它使用视觉在没有输入的情况下绘制障碍物周围的路径并继续课程。“

无人机在工作
无论是用于业余爱好还是商业企业，几乎所有在市场上的无人机都将额外的摄像机安装在导航和碰撞中使用。大多数休闲用户和许多商业用户可以通过手机可比分辨率12 MP和4K质量视频以60 FPS获得。这适用于捕获独特的度假图片，或者在瑞士的可飞行性的情况下，为检查基础设施。

该公司在使用“碰撞”静止的“碰撞”静止的情况下建立了业务，用于视觉检查通常无法访问的空间，如矿山，桥式桁架，甚至核电站的内部。While Flyability’s Elios 2 quadcopter carries a thermal camera, its workhorse is a low-light CMOS imager with an effective 12.3 MP pixel count that delivers a resolution of 0.18 mm/pixel at 30 cm — about what an inspector would see at arm’s length — which is enough to spot submillimeter cracks in infrastructure.

Elios 2虽然具有创新性，但它是一个非典型的视觉应用程序，用于提供鸟瞰视角的平台。Oldenburg说，虽然1200万像素的分辨率是经常使用的，但商业应用的主要产品——特别是建筑和农业——是DJI的Phantom 4 Pro和Pro RTK，它们在1英寸CMOS传感器中提供了相当于20万像素的分辨率。

“该传感器大小对于2D映射或3D映射应用很重要，因为它允许无人机飞行更高并捕获很多细节，”奥伦堡说。“通过获取更多信息，可以更快地捕获该任务。”

值得注意的是，ELIOS 2的紧密检查也允许使用相对轻量级但低分辨率的FLIR Lepton 3.5热量相机，其依赖于160×120焦平面阵列。根据FLIR系统的全球SUAS段领导者，Randall Warnas的QVGA（336×256像素）或VGA（640 x 512）的更典型的基准分辨率是QVGA（336×256像素）或VGA（640 x 512）。

“热标志仪在给定的目标物体上推荐10个像素，以可靠地检测和测量温度，”他说。“考虑到所需的典型支座距离和640乘512分辨率热相机，19毫米镜头非常受欢迎。当映射时，商业无人机运营商在飞行方向和80％SIDElap中使用大约80％重叠。“

根据Warnas的说法，在消防，执法和搜查和拯救的公共安全应用中，热动无人机用途大致分为公共安全应用，并在一侧和商业检验上进行商业检验。但是安装可见和热摄像头陀螺玻璃器皿也在农业中获益，农民可以检查广阔的土地，并提供有关作物和牲畜的丰富数据。例如，将热摄像机添加到无人机上，它可以帮助在重盖或粗糙的地形下找到牛群。或者，由于德克萨斯州A＆M研究人员已经完成，将Zenmuse XT 19 mm加工的微致电压计相机安装到矩阵100无人机 - 两者都是由DJI制造的 - 以产生群体的热签名可能速度检测应激或疾病的洞察。

不供租用的飞行员
虽然无人驾驶您的披萨或电子商务订单仍在投机阶段，但行业分析师同意零售申请可能有一天超过所有其他人。一体化的市场洞察力预测，由于在电子商务运输和物流业的通过无人机的采用增加，全球递送无人机将在2026年至2026年期间，复合年增长率为22.3％。与此同时，亚马逊，谷歌，沃尔玛，UPS等企业正在积极探索这项技术。

但在无人机开始送货之前，该行业还需要就几个新出现的监管障碍进行谈判。例如，美国联邦航空局正在制定一项要求，要求采用一些方法来远程识别飞行中的无人机，以及开发通用交通管理系统(UTMS)。目前，美国和欧洲的监管机构还要求所有机载平台能够“看到”其他飞机。在实践中，这意味着无人机必须在飞行员或直接与飞行员沟通的观察者的视线(VLOS)范围内操作。

板载机器视觉无法为所有这些监管需求提供解决方案。即使是VLOS任务也可以通过UTMS更容易地解决。然而，飞行和否则 - 可以中断送货无人机的道路。因此，机器视觉可能会有助于避免碰撞和改善飞行精度。

FLIR公司的瓦纳斯说:“视野之外将是无人机行业的下一个门户，我们可以预计，在那里需求和实用性将出现峰值。”“我们已经可以实现完全自主的任务，但它可能还需要几年的时间才能普及。”他补充说，关键是首先关注合适的地点(例如，偏远和城市)，没有VLOS可行替代方案的任务(例如，第一反应者)，以及在改善安全和经济效益方面投资回报非常明显的地区。

换句话说，无人驾驶飞机的道路或飞行路径将逐步推进。但随着人类飞行员和VLOS逐渐被无人机应用淘汰，机器视觉的机会将成倍增加。