神经形态嵌入视觉与iCub的奇迹

iCub是一款人形机器人意大利理工学院利用神经形态嵌入视觉来帮助它看东西。它已经被全球20多个实验室采用。iCub的外形像一个小孩，有53个马达，可以移动它的头、胳膊、手、腰和腿。除了能看，它还能听。它在加速计和陀螺仪的帮助下移动。甚至添加了一个电容皮肤系统，将测量接触和执行安全抓取策略。

为iCub设计的嵌入式视觉系统的灵感来自于哺乳动物视觉系统的生物学。刺激驱动的传感器、专用嵌入式处理器和处理视觉刺激的基于事件的软件基础设施组成了该系统。这些组件正在与机器视觉模块集成。高分辨率、颜色、基于框架的视觉和神经形态的低冗余相结合，相互补充。

嵌入式视觉vs.生物学

主流的嵌入式视觉使用数字化帧，通过固定频率的采样和快照的处理序列获得。数据传输、存储和处理需要大量的时间和CPU性能。对动物来说很简单的任务，如物体表征、运动估计和注意方向，在这个模型中需要大量的计算资源。这个模型的另一个问题是，感知到的是有噪声和模糊的。

生物神经系统的计算是由刺激驱动的。神经计算是为了增强变化和不连续，摒弃冗余。典型的机器视觉系统不具备这些功能。因此，研究人员从生物系统中寻找如何利用类大脑感知和计算的想法。像iCub这样的机器人将需要这些功能与世界实时互动，并自主行动。

研究人员开发解决方案

异步视觉的使用在鲁棒和自适应信号编码方面具有优势。它还允许在不同的环境和条件下高效运行(例如光照条件，快速移动的物体)。使用更稀疏的时间和空间信息导致更快和更轻的计算，也导致更低的功耗。

复杂的人形机器人通过复杂的任务和动作挑战视觉系统，比如转动头部或躯干。在硬件层面，研究人员集成了摄像机、定制处理器和FPGA(现场可编程门阵列)。在软件方面，他们开发了异步人工视觉算法开发、评估和调试所需的基本处理模块。

iCub在其开源平台上的异步视觉系统是验证神经形态方法的关键，并将其优势提供给广泛的社区。

阅读更多关于fpga是如何在嵌入式视觉系统应用中使用的在VisionOnline.org上。