3D视觉技术的进步，以跟上垃圾箱采摘的挑战

创新的机器视觉技术帮助提高了许多不同行业的生产率和效率，同时让人类工人在公司的其他地方进行更有意义的工作。例如，在制造业和电子商务领域，许多公司部署机器人拣箱解决方案，以实现物料处理任务的自动化。这样做会带来挑战，但如果成功实施，也会增加巨大的价值。这篇文章介绍了垃圾桶挑选方面的一些最新进展，特别是在3D成像方面。

新型Zivid Two摄像机是专门为机器人末端执行器设计的，它可以帮助传统的垃圾箱挑选和包装单元，也可以帮助移动操作手、流架、放置墙壁，以及同时服务多个垃圾箱的机器人。

选择多种部件类型

一个垃圾箱拾取系统通常由一个3D机器视觉系统，一个机器人机械手和软件组成。该系统帮助从容器(如垃圾桶)中提取物体，并将它们放置到另一个区域(如传送带或托盘)或进入一个流程。虽然这些系统有助于提高生产效率，并保护工人免受重复性和潜在危险的任务，但由于零件松散且随机堆放在垃圾箱中，使得系统很难区分和拾取零件，因此拣箱面临挑战。

3D成像公司Zivid的产品副总裁Øyvind Theie表示，垃圾桶选择的挑战不仅仅是随机导向的、松散的部件。

他说:“人们对拣箱质量和速度的要求非常高，因为这项任务不仅要在广泛的应用中与人类的能力相匹配，而且要超越人类的能力。”“对于我们的大多数客户来说，随着时间的推移，提供高质量的垃圾箱拾取能力，需要3D摄像机能够以低噪音、高分辨率和高精确度看到所有东西——无论形状、大小、反射率和颜色——以最小的努力和失败。”

为此，Zivid致力于使其相机更精确、更坚固、更多功能，以满足这些需求。在过去一年的时间里，Zivid的客户之一CapSen机器人公司已经使用Zivid Two摄像机在3D视觉引导的医疗装备应用程序中进行了数千万次涉及不同物体的拾取和放置操作。CapSen寻求高分辨率的图像捕捉和处理以及超快的循环时间，发现Zivid的相机提供了应用程序所需的3D传感精度。

CapSen机器人公司的业务发展总监Mark Stevens说:“可以从一个箱子里挑选并放在一个纸箱里的不同医疗产品的数量实在是太多了，从吸管、注射器、棉签到包、管或瓶的药品。”

通过Zivid Two相机，CapSen实现了不到0.5秒的图像捕获和目标检测速度，每次拾取的平均周期时间为4秒。此外，由于相机的伪影减少技术、本机色彩操作和高动态范围，CapSen的解决方案操作无错误，24/7，同时选择各种哑光、光泽、半透明和塑料包装产品。

采用IDS公司的两个Ensenso 3D摄像机，“自动感应”机器人从散装材料中挑选未知产品，并以高达每小时500个零件的速度将它们放入目标容器中。图片:德国psb intralogistics GmbH

适应客户需求

IDS成像开发系统Ensenso 3D摄像机产品经理Martin Hennemann表示，目前还没有一种适用于所有系统的方法，因为应用程序在很大程度上取决于对象和环境。

“表面材料、反射和透明度仍然是3D传感必须解决的主要问题。同时，必须满足具有挑战性的覆盖范围、分辨率和性能要求。”

除了提供灵活的3D相机模型和快速准确的3D点云(覆盖小到大的体积)，IDS还收集来自世界各地客户的反馈，并开发改进和功能，以跟上终端用户和系统集成商日益增长的需求。例如，该公司为具有挑战性的对象和场景开发了新的Ensenso PartFinder定位算法。PartFinder允许用户创建模型并搜索零件，当搜索完成时，软件对话框会在底部显示检测到的零件数量，3D可视化工具会将匹配良好的零件显示为绿色，不太确定的零件显示为橙色。

IDS摄像机可用于各种类型的垃圾箱选择应用。在德国的psb内部物流公司，“自动驾驶”全自动化系统由一个带抓手的机器人和两个Ensenso 3D摄像机组成。在这种应用中，机器人自动从散装材料中挑选小零件，并将它们放入目标容器中，速度为每小时300至500个零件，具体取决于对象。在另一项应用中，荷兰公司Fizyr开发了一种自动化视觉解决方案，该方案配备了多达四个Ensenso摄像头，可在各种条件和应用中实现物流自动化，如货物提取、包裹处理、卸托盘、卡车卸货或行李处理。

Photoneo将其3D成像能力与深度学习技术相结合，允许机器人找到和匹配不同形状、大小和颜色的物体。

创新深度学习，新型传感器技术

当一个容器中有一种形状固定的对象时，容器的选取就很简单，因为CAD模型可以很容易地识别和定位单个物品。但随机定位的物体可能会重叠或纠缠在一起，这是拣垃圾的最大挑战之一。根据Andrea Pufflerova的说法，识别不同形状、大小、颜色和材料的物体是一个更大的挑战，但通过部署深度学习算法，有可能找到和匹配不符合单一几何描述，而是属于由示例定义的一般类别的物体。Photoneo的公共关系专家。

“一个训练有素的卷积神经网络(CNN)可以识别和分类它从未遇到过的混合和新类型的物体，”她说。

Photoneo训练它的CNN在大数据集的对象，允许软件识别混合对象类型，包括纸箱，包裹，挂盒，管道，绳子，袋子，甚至食物或有机物品。

Pufflerova表示，通过将PhoXi系列3D扫描仪和MotionCam-3D相机与机器人智能相结合，该公司旨在为需要机器人识别和拾取放置任务的应用提供灵活的自动化解决方案。

虽然PhoXi 3D扫描仪为扫描静态场景提供了高分辨率和准确性，但该公司的MotionCam-3D使用了该公司称为“平行结构光”的独特技术，能够捕捉和高质量的移动场景的3D重建。根据Pufflerova的说法，这使得自动化在一个全新的应用领域得以实现。Photoneo最近的客户项目包括汽车行业的分片应用，实现了汽车车身的自动化生产，重金属球的拣选，随机定位的管道部件的拣选和放置，以及沉重的家具部件的拣选和放置。

Universal Robot公司的ActiNav柔性机器装载解决方案从垃圾桶中取出一个挤压的玻璃纤维电气接线盒外壳，并将其以适当的方向放置在一个狭窄的带导轨的传送带上。

独立自主的解决方案

就其自身而言，通用机器人(UR)帮助提高了其合作机器人在几个应用中的能力，包括机器护理，当它引入了actiav柔性机器装载解决方案。据公司介绍，actiav将智能视觉与自主运动控制软件和UR的合作机器人相结合，提供精确、一致、灵活的垃圾箱拾取能力。例如，在提供全方位服务的模具公司Allied Moulded Products，该公司最近面临劳动力短缺，需要在COVID-19大流行期间保持流程运行，同时保护员工。为了做到这一点，公司选择了ActiNav，制造工程师技术人员Nate Gilbert说，这是第一个适合于可用空间的系统，而不会产生额外的障碍。

吉尔伯特表示:“我们一直在寻找的就是将零件从料仓中取出并放到传送带上的简单性，而ActiNav似乎满足了这一需求。”他指出，ActiNav对通常用于零件定位的振动送料器进行了重大改进。

对于Allied Moulded来说，提供ActiNav零件数据和教机器人从箱子中挑选是一个简单的过程。维修组负责人内森·威尔斯说:“我们只需让机器人接触垃圾桶的每个部分。”“你做了一些这样的事情，ActiNav就学会了垃圾箱本身。我想说的是，在第一天的设置之后，我们可能需要转变一下，学习如何真正地编程，然后我们就可以靠自己的力量了。”

部署UR的系统使Allied Moulded的操作人员能够承担更有意义的工作，成为系统的培训师和导师，并为未来的自动化项目提供设计思路。

系统成功的四个基准

时主要考虑四个因素进行评估的效率本选择细胞包括细胞周期时间,清空垃圾箱,拾起并定位的准确性,和能力的细胞在其他应用程序中重用,Sebastien Paille根据销售和营销主管,Visio削弱。

“这四个标准在本质上是相关联的，”他说。例如，如果排空率不理想，可能需要增加机械系统来摇动垃圾桶，或者更换更合适的工具来完成任务。”

他继续说道:“这些元素的整合延长了循环时间，削弱了细胞的灵活性。适当的垃圾箱选择单元大小是至关重要的，涉及在这些标准之间找到正确的平衡。”

除了这些因素，还有一些重要的选择，如3D传感器的类型，Paille说，这在设计垃圾箱拾取单元时至关重要。

他说:“无论处理软件有多好，一个3D传感器如果出现坏点云，将会对系统的性能产生负面影响，特别是在有光泽、哑光、光泽、黑色等材料上。”“为了获取点云，存在几种不同的3D传感器类型，每一种传感器类型都基于不同的物理原理，这取决于正在考虑的用例。”

稳健性是3D拣箱的另一个关键考虑因素。该系统中使用的3D传感器必须能够在机器人单元附近的高温或恶劣条件下工作。Paille表示，灰尘、含油空气、沙子或金属颗粒不会损坏垃圾箱拾取系统，因此保护所有部件是另一个重要步骤。

Visio Nerf提供基于专有摄像机和LED投影仪的3D摄像机，也包含fpga和高质量镜头，所有封装在坚固的IP65外壳内，可安全部署在恶劣环境。

“通过将两个400万像素的摄像头与我们自己的高功率(80 W) LED投影仪结合在一个保护外壳内，我们的3D摄像头可以定位/识别深度超过1米的物体，精确到0.5毫米，在一系列苛刻的应用类型中。”

本选择,除了

在机器视觉和自动化方面的某些应用将有助于推动未来垃圾桶挑选的趋势。据Theie说，例如，手持3D摄像机将开创垃圾箱挑选的新模式。

“与传统固定3D摄像机相比，臂上3D摄像机能够在相同的周期时间内完成拣箱任务，但更少的拣箱失误、更高的灵活性、更小的占地面积、更低的成本和更少的维护，将进一步推进拣箱应用。”

额外的3D Bin拣选解决方案

除了这里提到的公司，还有其他几家公司在开发垃圾箱选择应用的机器视觉解决方案，包括发那科、皮克特、所罗门、佳能、Apera、Keyence、Sick等。了解更多关于3D视觉公司在这里:www.nailmags.com/vision．