可视、存储、学习——自学机器人在Ensenso 3D摄像机的帮助下解决任务

尝试不同的行为是经典的学习方法之一。成功或失败决定采取哪种行为。这一原则也适用于机器人世界。在卡尔斯鲁厄理工学院(KIT)的智能过程自动化和机器人研究所(Institute for Intelligent Process Automation and Robotics)，机器人学习小组(ROLE)专注于机器学习的各个方面。科学家们正在研究机器人如何通过独立试验来学习解决任务。这些方法特别用于学习对象操作，例如在典型的拣箱场景中抓取对象。直接安装在机器人“头部”的Ensenso N10 3D摄像机提供了所需的图像数据。

随机撒谎物体的抓住是一个中央任务，尤其是工业自动化。然而，当前的垃圾桶拣选解决方案通常是不灵活的并且强烈适应待抓握的工件。机器人学习群体的研究项目承诺提供补救措施，例如，与机器人独立学习从容器中拾取先前未知的对象。为了学习这样的任务，机器人首先从随机抓握尝试开始，因为人类会这样做。神经网络连接了成功或不成功的抓握尝试拍摄的3D图像。对于每个图像，存储由夹具中的力传感器确定的抓握结果。AI（人工智能）使用存储的数据来识别对象的有意义的抓握点，从而“列车”本身。与现代化的强化学习方法一样，大量数据和许多抓握尝试对此至关重要。然而，套件的研究人员能够显着减少后者的数量，因此还缩短了学习所需的时间。

*）加强机器区域的学习，其中策略学习独立支持奖励

正确的抓地力减少了培训时间
与分析（或基于模型的）抓握方法相反，角色机器人不需要提前描述所描述的特征。但是，它在系统能够成功捕获具有“类似”图像的对象的频率中起着重要作用。机器人试图抓住的抓地力对于更快的学习成功至关重要。在神经网络的帮助下，可以使用现有知识来预测抓握结果。

“对于一个功能良好的系统，我们目前需要大约2万次抓握实验，相当于对机器人进行大约80小时的训练，”KIT研究员、机器人学习小组成员Lars Berscheid解释说。这些数字是近似值，取决于许多因素，如随机握持的握持率，而这又受到部件几何形状的影响。由于这在学习系统中很常见，可用数据的数量是系统能力的限制因素。

“因此，我们的研究的基本任务是减少必要的抓握尝试的数量。因此，这里的中央科学问题是：必须尝试哪种掌握，以便尽可能快地获得尽可能多的信息，从而缩短培训时间，“添加了Berscheid。

在这一点上，迁移学习也被使用。已经训练过的神经网络的知识可以用来识别之前未知的目标。系统的训练对象数量和范围越大，对未知对象的泛化能力越好。这可以永久地消除对应用程序对象进行特定培训的需要。长期目标是使控制系统能够独立灵活地掌握任意和未知的事物，具有工业可靠性。

没有给定模型的学习
这正是与今天垃圾桶采摘解决方案的关键差异。角色组的研究系统在没有“教导”的工件模型的情况下，也可以抓住，因此也用于未知物体。原则上，关于他们的形式和性质没有限制。材料和表面属性的知识也不是必需的，隐含地学习。这是无模型方法的优点，其既不是对象的3D形状也不是夹持过程的数学建模。它可以灵活地在工业中和较少的编程工作中使用。许多新应用的自动化将是可能的 - 从内流到服务机器人。同时，除了抓握本身之外，还可以实现其他类型的物体操纵，例如移动。

机器人学会了独立移动物体，这样就能在下一步更好地掌握物体。这样就可以在不使用其他设备(如摇板)的情况下将容器完全清空。

机器人的培训完全没有人为干预。在实践中，这种学习过程的自动化是最大的挑战之一。只有当系统符合所有要求时，例如，给定的循环时间，可以生产在生产中，当然，进一步学习。

在这里，在垃圾拣货应用程序的平常过程中也有时间优势。一方面，角色系统在计算下一个抓握时，只有20毫秒的速度很快。另一方面，当系统委托时，减少了手动编程。因此，垃圾拣出可以在灵活性方面得到很大提高。

以三维图像数据为基础
机器人的视觉数据由Ensenso 3D相机提供。它从上面看，在容器上，随机填充一个或多种类型的对象。图像处理系统将高对比度纹理投影到盒子的内容上，并从上面从上方可见的表面3D点云作为计算灰度仪中的深度图像的基础。此步骤直接在Ensenso SDK中实现。然后将深度图像缩放为仅12,000像素的分辨率，并用作AI算法的输入。然后，神经网络处理图像分析和下一个抓地力进入盒子的逻辑步骤。

摄像机直接安装在机器人的“头部”上，可以灵活实现不同的实验。“我们决定使用Ensenso N10相机，因为该模型与物体的最小距离只有30厘米，总体距离范围很大。作为红外范围内的主动立体相机，也适用于移动场景，它满足了我们所有的要求。”Berscheid解释了相机型号的选择。Ensenso N10相机坚固、紧凑的铝制外壳，带有可旋转的GPIO连接器，用于触发和闪光灯和USB 2.0连接，配备了两个单色CMOS传感器(全球快门，752 x 480像素)和一个850纳米红外波长模式投影仪。

预先校准并提供了MVTec HALCON接口和面向对象的API (c++， c# / . net)， 3D相机的焦距从3.6到16毫米，适用于工作距离高达2000毫米，甚至可以用于移动物体的3D检测。ROLE小组的研究人员使用Ensenso SDK的NxLib来捕获深度图像，并使用OpenCV和TensorFlow处理它们。

角色组研究人员使用Ensenso SDK捕获深度图像并使用OpenCV和TensorFlow处理它们。

前景
在套件开发的方法是趋势环境，但研究人员尚未达到目标。“虽然Bin采摘已经可靠地使用螺钉等简单物体可靠地工作，但仍有一些研究需要达到产品成熟，特别是用于抓住更复杂的未知物体。但是，我们开发的方法是基本且灵活的，可以使用不同的方法任务，“Lars Berscheid说。自学系统仍然是机器人研究中的核心主题。从面向应用程序的项目，科学家们还实现了对生产中更具灵活性的需求，在机器人中经常导致使用更多传感器，因此也更多的图像处理。

在KIT，研究将继续聚焦于两个中心主题:一方面，如何改进和加速基本的学习方法。在数字双胞胎的帮助下进行训练，在计算机上进行模拟，然后将其转移到真实机器人上，以及不同任务之间的知识转移等技术都是很有前途的。另一方面，科学家们正在研究哪些新的应用可以更好地自动化，甚至是首次使用学习型机器人系统。这里有令人兴奋的可能性，例如，在处理纺织品(抓取和折叠毛巾和衣服)，拆卸工业部件，如电机回收，根据相机数据绘制未知物体，或处理液体或颗粒介质。该工作是在仿真中学习，然后转移到真实的机器人。

例如，如何进一步提高夹持率和系统的鲁棒性是一个挑战。Berscheid解释说:“原则上，我们使用ROLE系统可以达到95%以上的抓取率。这意味着100次抓握尝试中最多有5次失败。现在的问题是:剩余的失败尝试是否可以通过更长的学习来进一步减少?

另一个重要问题是系统如何处理深度图像中缺失的3D数据。目前，ROLE团队限制自己从上方垂直抓取物体。但是这个系统如何使用所有的六个自由度呢?此外，本文还探索了无模型拣选的其他典型挑战，特别是后续处理步骤，如对抓取物体的存储或进一步处理。

KIT的科学家们仍有很多研究要做，但这些方法和之前的结果表明，机器学习在工业应用方面具有巨大的潜力。3D图像处理不可避免地与此相关，为控制“机器人手”走向完美握力提供了重要的基础数据。看到的，拯救的，学到的，这就是未来。

客户端
Karlsruhe理工学院智能流程自动化和机器人研究所的研究组“角色 - 机器人学习组”（KIT）涉及机器人机器学习领域的不同焦点。这包括强化学习

• 运动轨迹的策略(T. Kröger)
• 用于机器人和机床操作物体(T. Kröger)
• 由运动轨迹顺序或同时组成的复杂任务（P.Meißner）

该小组对上述所有应用程序的Sim-To-Real传输特别感兴趣。

相机
Ensenso N10 - 3D视觉，快速精确

• 具有USB 2.0接口，功能多样，灵活多变
• 紧凑，坚固的铝制外壳
• 集成全球快门CMOS传感器和模式投影仪
• 高达30帧每秒的全分辨率和64视差水平
• 专为高达2.000毫米（N10）和可变图像字段而设计的工作距离
• 单个3D点云输出来自多摄像机模式的所有相机的数据
• 来自多个观看方向的3D点云的现场构成
• “预计纹理立体声视觉”，用于捕获曲面的过程，没有纹理
• 捕捉静止和移动的物体
• 带驱动程序和API的免费软件包，适用于Windows和Linux
• 一个软件包支持USB和GigE模型
• HALCON, C, c++和c#的示例程序的源代码
• 预校准，因此易于设置
• 具有校准板的机器人手眼校准的集成功能
• 在软件方面集成uEye工业摄像头，例如，捕捉额外的颜色信息或条形码
• 子采样和分箱灵活的数据和帧率

IDS公司。
IDS公司成立于2007年，是IDS成像开发系统GmbH的子公司。工业相机制造商ID映像开发系统GmbH开发出高性能，易于使用的USB，GigE和3D摄像机，具有广泛的传感器和变体。几乎无限的应用范围涵盖了设备，植物和机械工程领域的多个非工业和工业领域。除了成功的CMOS相机外，公司还扩展了其与基于视觉应用的智能相机的投资组合。新颖的图像处理平台IDS NXT是可自由编程的，非常多功能。

自1997年作为一家双方公司的基础以来，IDS已发展成为一个独立的ISO认证的家庭企业，拥有300多名员工。德国Obersulm的总部是开发和生产网站。在美国，日本，韩国和英国以及其他办事处，IDS在国际上占有国际植物。