Event-Based Vision Delivers Faster Decisions with Less Data

Machine vision has become pervasive in the industrial landscape. Its ability to rapidly and nondestructively extract actionable information from a scene have made it indispensable for applications ranging from inspection to process control, condition monitoring to safety. Conventional CMOS cameras are a staple of vision technology but they can be bandwidth hogs, with particular limitations when it comes to supporting fast decisions on high-speed processes. The issue is that conventional frame-based detectors capture data from the entire scene – whether a feature has changed or not. Depending on frame rate and resolution, that can add up to massive amounts of data but limited information. Event-based sensors present an effective alternative. Inspired by the human vision system, event-based sensors only capture changes to the scene. The result is faster information delivery with minimal data, reducing latency, bandwidth demand, storage requirements, and cost.

什么是基于事件的感应？

传统工业中使用的CMOS成像系统achine-vision systems consist of arrays of photosensitive pixels that convert light intensity to voltage. Each pixel is equipped with circuitry to convert that voltage to (typically digital) output. The entire array transfers its output simultaneously at a preset interval known as the frame rate. Then all of that data is processed and stored whether anything in the chief scene changes from frame to frame or not.

该模型适用于需要捕获整个图像的应用程序 - 图片，视频甚至某些工业用例。缺点是，每次将整个图像记录到均未更改的所有部分的缩小。根据应用程序的不同，它可能非常低效，在某些应用程序中最多可产生90％或更多的无用数据。同时，它有可能在样品下进行工业用例中真正重要的东西 - 现场的变化。基于事件的传感解决了这个问题。

基于事件的传感是一个动态的视觉信息采集范式，它仅记录场景中的变化，而不是定期记录整个场景。一系列独立的像素异步检测和获取视觉场景中的变化。因此，与基于框架的摄像机不同，基于事件的传感器或event camera不以通用帧速率运行。实际上，根本没有框架。取而代之的是，当入射光强度变化超过用户集阈值的数量时，每个像素都会发送信号。如果入射光变化不超过阈值（例如，包装线的相机视图的背景），则像素保持沉默。如果入射光强度确实发生了变化（例如，对象通过像素的视场），则受影响像素的逻辑电路将信号发送到读取外围。

图1：基于事件的视觉的最新传感器由堆叠的架构组成，带有照片像素阵列翻转芯片粘结到包含像素电路阵列和专用读数电路的CMOS芯片。

所得数据不代表静态图像，而是提供机器算法可以用于快速决策的动态场景信息（请参见图2）。

Figure 2: Data generated by an event-based sensor (right) dynamic scene contents in the form of pixel-individually recorded changes. The subject’s right hand, which is in motion and blurred in the conventional image (left) is clearly delineated in the event-based data (right). Meanwhile, the static background that is captured and transmitted by the conventional image sensor (left) does not even show up in the event-based data. To see the video version of this comparison, click这里。

在基于事件的视觉中，硬件并不是唯一不同的东西。该技术需要专门的软件将输入转换为可行的智能。幸运的是，一个蓬勃发展的生态系统来支持这些工作，从OpenEB开始，这是一种基于事件的软件的开放式体系结构。OpenEB是预言者Metavision Intelligence软件套件的核心。它由开源许可下可用的五个基本软件模块组成，供开发人员用于构建插件应用程序。

基于事件的传感器或event camerasare capable of much higher dynamic range than conventional CMOS imagers because each pixel automatically adapts to the incident light. For this reason, the detectors aren’t saturated by high-intensity lighting conditions, such as afternoon sun shining through the factory windows, the way a traditional sensor might be.

对事件的重点还可以使传感器以非常高的时间分辨率运行，以进行接近连续的图像捕获与CMOS摄像机捕获的一系列离散帧（见图3）。结果是，基于事件的系统可以成本效益地捕获高速运动，该高速运动通常需要以每秒数万帧的速度运行昂贵的常规相机。通过这种方法，移动被捕获为连续的信息流，并且框架之间没有丢失。

图3：基于常规帧的传感（左）捕获离散帧与基于事件的传感器（右），该传感器（右）以准连续的基础捕获运动。

Which brings us to what is perhaps the most important benefit – the decrease in data transfer compared to conventional systems. That, in turn, reduces demand for computing resources and bandwidth, both typically in short supply on the factory floor. Event-based sensors also require less power to operate, making the technology ideal for remote or mobile systems. This is a particularly important attribute with the increasing interest in mobile robots, UAVs and drones, autonomous vehicles, and the host of other mobile use cases that will be enabled by the rollout of 5G.

Applications of event-based sensing

基于事件的机器视觉可以通过为制造业带来超高速度，实时和负担得起的视野来改善整体工厂吞吐量。该技术是许多需要机器视觉的工业应用程序的有效解决方案，尤其是那些涉及高度动态场景的工业应用，包括监视，跟踪，计数，设备监控，机器人技术等。它可以实现更有效的质量控制和维护，以确保有效的操作。

High Speed counting

准确的高速计数是一系列工业运营的必不可少的任务。

基于事件的传感的简化数据捕获模型使系统能够达到每秒超​​过千计的计数速度。基于事件的算法可以平稳跟踪对象并以非常高速的方式提取几何形状。此外，可以在适度的计算系统（包括在边缘）上实现诸如计数和跟踪之类的视觉过程。

振动监控/预测维护

根据行业的不同，停机时间的成本可能从每小时数万到数百万美元不等。预测性维护使用传感器和分析的组合来检测设备问题，然后再进行批判性问题。这使得可以在不会中断生产的时候进行维修。

振动监控是跟踪资产健康变化的关键技术。每个设备都有自己的自然共振。振动光谱的变化，无论是幅度还是频率，都可以用于诊断具有非凡特异性的设备缺陷，隔离问题，例如破裂的泵叶片，轴承笼缺损，不当拧紧的皮带等。设备需要对正在测试的对象进行昂贵的安装和物理接触。基于事件的视觉提供了易于部署和具有成本效益的替代方案。

基于事件的视觉系统的操作方式是检测入射光的变化。当电动机或变速箱的正常振动模式增殖并放大时，表面反射不同。设置基于事件的系统以进行振动监视就像将相机瞄准资产并设置适当的阈值一样简单。适当配置，系统可用于监测从1 Hz以下到数十KHz的频率的振动。该频率范围可用于提供有关轴承缺陷和润滑分解等常见设备问题的提前警告。

通过动力学或振动监测，通过分析设备工艺偏差，也可以将这种监视应用于制造过程控制。

改变机器的看法和我们从中获得的价值

Event-based vision can be integrated as part of a modern machine vision system and customized for specific uses and applications. It provides a new level of efficiency in how machines can discover important information from almost any process. Indeed, in many instances it can reveal to machines what was previously invisible to them. It has truly breakthrough potential to bring more value to critical tasks in manufacturing, packaging, logistics, surveillance and more.

预言者在董事会级别和包装形式下提供基于事件的传感器。我们还提供了一个全面的开发环境，其中包括95个算法，67个代码样本和11个现成的应用程序，从振动监控到机器学习功能，这些功能可下载并用于针对特定要求量身定制系统。

关于预言

预言是世界上最先进的神经形态视觉系统的发明者。

该公司开发了一种基于突破性事件的视觉方法来实现机器视觉。这种新型视觉类别允许大量降低功率，延迟和数据处理要求，以揭示传统基于框架的传感器的看法。预言者的专利METAVISION®传感器和算法模仿了人眼和大脑如何显着提高自动驾驶汽车，工业自动化，物联网，移动和AR/AR/AR/VR等领域的效率。预言家总部位于巴黎，在格勒布尔，上海，东京和硅谷设有地方办事处。

这company is driven by a team of more than 100 visionary engineers, holds more than 50 international patents and is backed by leading international equity and corporate investors including 360 Capital Partners, European Investment Bank, iBionext, Inno-Chip, Intel Capital, Renault Group, Robert Bosch Venture Capital, Sinovation, Supernova Invest, Xiaomi.

学到更多：www.prophesee.ai

接触

预言

US-EU Agency:Mike Sottak,mike@wiredislandpr.com+1 650248-9597

预言全球：营销传播总监Guillaume Butin：press@prophesee.ai