视觉引导机器人采摘水果

虽然开发一个基于视觉的机器人系统用于受限的工厂环境可能被认为是一个相对简单的任务，但构建一个类似的系统用于无约束的农业环境，如作物采摘是相当复杂的。

为农业目的设计的基于视觉的机器人系统必须能够捕捉图像，并识别各种颜色、形状、大小和纹理的作物，即使光照条件发生变化，也能区分水果和场景的其他部分。完成之后，他们必须计算出水果在三维空间中的位置，并指示一个或多个机械手从该位置的树上采摘水果。

为了使自动采摘机器人在实际应用中发挥作用，必须对果实进行准确、快速的识别。为此，系统的作物识别率必须尽可能高，这对此类系统的开发人员来说是一个重大挑战。

尽管有各种各样的成像传感器，但过去开发的许多系统的不准确性是由于几个原因，如低效率的照明，遮挡，或不准确的距离估计。研究人员目前正在努力克服这些问题，以便使他们的作物采摘机器人系统成为现实。

这种系统的开发者可以选择从各种各样的图像传感器(3 d相机、飞行时间、近红外光谱成像系统和高光谱相机)等建立机器人系统为了收集足够的数据从一个场景到使系统软件准确地识别水果从背景的位置。在某些应用中，可能只需要有限数量的传感器输入，而在其他应用中，可能需要多传感器输入来确定将要收获的农产品的位置。

在eu - fp7作物项目中，对一种甜椒收获机器人的研究展示了如何使用一种盟军视觉技术(德国Stadtroda) Stingray F201C摄像机在多个摄像头位置和视角增加了系统更有效地检测水果的能力。现在，一个名为“清扫者”(SWEEPER)的项目将使用农作物项目中开发的技术，创建一个机器人解决方案，在真实环境下收割甜椒(图1)。

捕捉特定作物的多个图像可以增加农业视觉引导机器人系统的有效性，因此也可以从场景中捕捉额外的范围数据。“在近红外范围内高效的2D相机已经可以为挑选合适的水果提供大量信息。此外，3D技术(无论是立体或激光或飞行时间)可以为机器人提供深度信息。”René von Fintel说，产品管理负责人巴斯勒阿伦斯堡(德国)。”

事实上，为了自动化从树上采摘樱桃时通常使用的树枝抖动操作，华盛顿州立大学生物系统工程系的研究人员开发了一种基于视觉的系统，使用RGB和3D图像捕捉技术来定位樱桃自动采摘的抖动位置。

树木的彩色图像是使用大黄蜂XB3 (FLIR, Point Grey Research, Richmond, BC, Canada)立体视觉相机获得的。中央摄像机捕获的RGB图像用于检测分支和樱桃，而PMD技术(圣何塞，CA)基于飞行时间(ToF)的3D CamCube摄像机用于捕获深度信息。首先，在2D RGB图像中定位分支区域和樱桃区域，然后将3D相机提供的深度信息映射到它们上。结果是，基于视觉的系统能够决定振动位置的数量和位置，并估计它们在冠层中的3D位置(图2)。

当RGB相机提供的对比度不足以实现有效的目标分类时，可以使用多光谱或高光谱成像从场景中额外捕获更多的光谱波段。事实上，这正是西班牙马德里自动化与机器人中心的研究人员所采用的方法。他们开发了一种基于视觉的系统，用于检测和定位来自不同作物的水果。

该多传感系统由Allied Vision Technology Prosilica GC2450高分辨率CCD彩色摄像机、多光谱成像系统和Mesa SwissRanger SR-400011 TOF 3D摄像机组成。RGB相机和多光谱成像系统提供所需的输入数据的检测和表征的感兴趣的领域属于水果,而3 d TOF相机同时提供快速获取准确的距离和强度的图像目标,使果实的本地化。

虽然获取各种不同的数据类型有助于分类过程，但基于视觉的机器人系统开发人员可以选择许多不同的选项来处理获取的数据。可用于将水果与背景区分的合适的图像处理方法包括通过深度学习技术进行分类、通过高光谱成像进行分割和基于形状的匹配。

在所有这些分析方法中，深度学习技术是目前备受关注的方法，因为它可以精确地识别水果和蔬菜，并在场景中快速有力地将它们与其他物体区分开来。

与MVTec软件例如，用户可以使用卷积神经网络(CNN)训练自己的分类器来识别特定类型的农产品。训练是通过向CNN提供足够数量的标记训练图像来进行的。然后，软件分析这些图像，并自动学习哪些特征可以用来识别给定的农产品。一旦网络被训练，新创建的CNN分类器就可以用来对新的图像数据进行分类。

MVTec HALCON Library产品负责人Thomas Huenerfauth表示:“与之前所有需要编程和视觉知识的熟练工程师的分类方法相比，这是一个很大的优势。”

事实上，昆士兰科技大学(Brisbane, Australia)的研究人员在一个名为DeepFruits的项目中，已经演示了如何利用cnn从RGB和近红外相机获得的图像中区分水果。他们开发的系统的优势之一是，可以重新训练它，以非常迅速地执行对新型水果的检测，整个过程只需四个小时一个水果。

建立机器人发展的收获机、图像的捕获和处理来确定产生的位置只是一个多方面的问题,还涉及到的一部分开发一种控制系统,可以在军团的视觉系统驱动机器人抓手来挑选。

这种系统中使用的夹持器或执行器的类型高度依赖于要收获的农产品的性质。这导致了许多不同类型的夹具和切割设备的发展。虽然软水果需求使用软触摸爪,不做任何破坏水果比人类选择,更可以采摘水果的致动器,掌握水果真空然后旋转水果从树上切断它。

作为自动化专家，费斯托(Islandia, NY)与慕尼黑技术大学的合作伙伴一起帮助欧盟- fp7项目农作物开发了两种这样的抓取和切割设备。他们的辣椒抓握器上的抓握元件是被动适应的FinRay手指，之前在Festo的仿生处理助手上使用过。这是一种模仿大象鼻子的灵活抓握手臂，配备了一把刀，可以把辣椒从植物上切下来。在苹果钳上，抓住苹果的部分是由膜颚组成的，它可以通过扭转和拉，或者用第三根手指按压苹果茎把苹果从植物中分离出来。

由于目前有许多不同类型的作物是手工收割的，而且它们生长的环境也有许多不同类型，因此开发一种能够满足收割多种不同类型作物需求的通用机器人可能仍需时日。但在未来几年，许多这样的视觉引导机器人收获系统无疑将被部署，能够合理有效地收获特定类型的农产品。