机器人拾荒-圣杯在视线中

单调的任务，如一次将一个箱子的一部分卸到机器上，散装零件分类，和订单执行是劳动密集型的。如果零件或操作是重的，尖锐的或其他危险的，甚至可能是危险的。多年来，拾荒机器人一直在处理这些乏味的工作。然而，仍有许多应用程序有待实现。制造业和仓库自动化领域都在焦急地注视着。

虽然比以往任何时候都更有能力，但机器人拣垃圾仍有其局限性。我们还没有完全抓住“圣杯”——用机器人随机捡垃圾。但我们已经取得了巨大的进步。在先进的视觉技术、软件和抓取解决方案的支持下，机器人正在探索未知的领域。

那么，为什么机器人随机拣箱如此困难呢?它是关于准确性。机器人因其可重复性而受到称赞，而随机拣仓则需要在混乱面前保持准确性。机器人必须在自由空间中定位一个部件，在一个非结构化的环境中，每当一个部件从垃圾桶中被移除时，部件的位置和方向都会不断变化。这需要在机器人的灵活性、机器视觉、软件、实时处理所有数据的计算能力和从垃圾桶中提取零件的抓取解决方案之间取得微妙的平衡。这是一个很高的要求，但并非不可能。

密歇根州罗彻斯特希勒的FANUC美国公司的智能机器人/机器视觉员工工程师David Dechow说:“市场上有很多关于捡垃圾的宣传，以及它能做什么和不能做什么。”“现实情况是，机器视觉对于整个世界中我们希望它做的一部分事情来说是合适的、强大的、可靠的，无论是检查、2D指导还是3D指导。从我多年的实践经验来看，捡垃圾桶也属于这一类。这是真实世界的能力，但它仍然是我们想要它做的整个世界的一个子集。”

德豪曾与已故的阿迪尔·沙菲(Adil Shafi)密切合作，后者是视觉引导机器人领域的一位远见卓识者，并因此而受到赞誉仓拣的早期进展．他的许多创新仍然影响着这些领域的持续发展。

Shafi预测，到2020年，机器人随机拣仓将成为主流。他的许多同时代的人认为他走在正确的道路上．垃圾分类的子集已经很常见了。

Dechow说:“我想说，随机捡垃圾已经接近主流了。”“我认为阿迪尔在哲学上和实际操作上都推动了这一点。他无疑是技术的传教士。剩下的那些带来具体挑战的应用将在不久的将来得到解决。”

有三种主要的拣仓方式:结构化、半结构化和随机拣仓。每一种方法都表现出应用程序复杂性、成本和周期时间的不断增加。(我们在这里区分了装在箱子或托特里的零件和一堆没有容器的零件。后面会详细介绍为什么它是一个关键变量。)

结构化-零件以一种有组织的、可预测的模式放置或堆放在垃圾箱中，因此它们可以很容易地成像和拾取。

半结构化-零件的定位与一些组织和可预测性，以帮助成像和挑选。

随机-在一个bin中，部件处于完全随机的位置，包括不同的方向，重叠，甚至纠缠，进一步复杂化的成像和拾取功能。

在这三个子集中，根据被挑选的部件或物品的特征以及它们在箱子中不同的静息状态下呈现自己的方式，应用了特殊的考虑。

Dechow说:“结构化和半结构化的垃圾桶拾取通常非常容易，可以通过市场上的大多数技术快速、轻松地实现。”“当我们谈论圣杯时，我更多地想到的是随机的环境，一个箱子中重叠、纠缠和多种类型的部件。”

他说，结构化的垃圾桶捡拾通常可以用2D视觉完成。“当你想到垃圾桶拾取时，每个人都会想到3D成像和3D分析。在现实中，只需要二维成像和二维分析，就可以完成拾荒世界的某个子集。”

成功-几何对称
零件的特性常常决定一个零件是否适合进行仓拣。德how说，这些申请可以分为从“有把握的申请”到具有挑战性的申请。

Dechow说:“有些零件在几何结构上和放在随机的箱子里都很合适。”“在这么大的范围内，绝对能保证成功的零件都是尺寸更大、几何上不复杂的零件，相对于随机静止状态，这些零件的差异很小。(任何一个零件掉落或躺在箱子里的地方都是它的随机静止状态。)

他引用这高速订单执行的拣仓演示视频，由FANUC提供。

“这是一个混合零件箱，但零件的几何结构非常相似。它们更大，而且几何结构在对称方面也不容易混淆。即使一个盒子可以在它的末端，它仍然是一个相对一致的平面，可以被分析。很多应用都属于这一类。这种混合产品订单填充已经做了很多，而且非常成功，因为你在仓库和配送中发现的产品类型往往是那种产品(几何对称)。

“它们没有很多奇怪的特征，”他继续说。“它们通常不太重，在所有随机的静置状态下，它们都有一些足够的平面，可以被识别为一个成功的选择点。这种3D垃圾桶拾取技术是当今现实世界的成功案例。”

德how说，如果物品上印着你在现实世界中看到的图形或文字，差别不大。大多数三维图像云的生成是独立于物体上的图形标记的。(关于订单履行的更多内容将在本讨论的后面讨论。)

Dechow说:“它不需要漂亮、干净的仓库部件。”“想想那些通常在工厂环境中加工、锻造或热处理的大型圆柱形钢坯，它们可能有20或30磅重。但同样的，当它们处于不同的静息状态时它们是一致的几何形状它们只呈现几个几何表面。用机器人捡起来很容易，抓起来也很容易。”

这视频演示了仓拣重钢坯．

适度的成功-一些复杂性
在这个范围内，从容易捡到的到更有挑战性的垃圾桶捡到的都是一些更复杂但更容易区分的部件，比如(如图)甜甜圈形状的部件。

这款机器人随机拣仓应用程序使用FANUC iRVision 3D区域传感器和两个机器人从仓中拣出冲压的汽车零部件，并照料热处理机器。运动控制机器人，一个RIA认证机器人集成商，为一级供应商设计和安装电池。

检查视频看机器人随机拣仓操作在行动。

FANUC拣仓机器人配备了双头多功能末端执行器，利用磁开关磁夹头将物料重新分配到拣仓中，使拣仓更容易，并配备了SCHUNK双指夹头将物料拣起并放入滑槽中。溜槽上的传感器将每个部件的方向传达给第二个机器人的控制器，指示法兰是朝上还是朝下，这样机器人就知道如何抓取该部件。然后机器人以正确的方向从溜槽中取出零件，并将其插入热处理机中。同样是这个机器人拿起完成的零件，把它放在一个外卖输送机上，以便运送到下一个操作。

集成商报告说，在得出当前解决方案之前，他尝试了多种臂尾工具设计和视觉流程。这对于随机拣仓应用程序来说并不罕见。3D技术仍然需要熟练的集成，零部件越复杂，集成任务越困难。

FANUC的Dechow解释说，在这个光谱的中间区域还有更复杂的结构。

“把一个物体想象成曲轴，它通常是圆形的，但很长，有很多几何结构。从一端看，它可能是一个圆柱体。从另一端看，它可能是一个小直径的棒。它是一个很长的物体，所以它可能会被其他部分重叠。一个30磅重的部件突然变成了50或60磅重的部件，当另一个部件躺在它上面时。

他继续说:“在重工业和工厂自动化的制造业中，你会发现有一整套这种类型的零部件。”“这类零件通常装在箱子里。你可以在垃圾桶的顶部表面看到组件的一部分，这是拍摄图像的地方，但其余部分就像冰山一样。它的大部分都在表面以下，所以很难理解最好的抓握技术。”

仍然具有挑战性-瓦片，包装，变形
还有一些部分是特别难以用机器视觉成像的，即使是用3D成像技术。

Dechow解释说:“例如，瓦状的部分，这些部分很薄，但可能又宽又宽，它们是瓦状的，相互叠加。”“这些部位让人很难分辨出单独的部位，因为高度变化非常微弱，而且部位的几何形状让场景非常混乱。

“包装好的部件，塑料袋装的部件，或软的(可变形的)部件。这些部分在拣货应用中很难区分。”

“永远不要说‘不’的态度，”他补充道。“我们希望尽最大努力将技术推向极限，我们经常这么做。”

随机Bin pick with 2D Vision
密歇根州霍兰德的JR自动化技术有限责任公司(JR Automation Technologies, LLC)是一家继续挑战极限的公司。这个RIA认证的机器人集成商是FANUC视觉引导机器人技术的一小群测试站点之一。

JR Automation控制工程经理Tyler McCoy表示:“我们会在新技术的测试阶段对其进行测试，然后对其进行评估并提供反馈。“我们这么做已经很多年了。我们是最初的FANUC iRVision的试验台。”

McCoy说他们集成了很多结构化和半结构化的拣货应用，并认为它们是主流。然而，随机拣仓装置仍然很少。

McCoy说:“我们最近为汽车座椅靠背组装单元实施了一种随机拣箱解决方案。“这包括一个u型的主框架，看起来像一个座椅靠背，两根管子焊接在框架上，你可以把头枕放在那里，然后另一个部分称为装饰框架支架，它穿过框架的中间，在安装到汽车中时加强缓冲。

“这是一个组装和焊接单元，”他解释说。“我们的任务是把所有这些零件从散装，组装成焊接夹具，并把它们放在四个位置的分度台上。然后我们让两个机器人把组件焊接在一起。”

他说，主要的u型框架被装载到一个重力机架上，以便于焊接过程中的一个容易的进料解决方案。头枕上的两根管子小到可以装一个碗状喂食器。

“但是这个装饰框支架大约16英寸长，9英寸宽，0.75英寸深。就是这种长金属片冲压。当时没有真正好的喂养技术，”麦考伊说。“因此，我们对其进行了三维区域扫描，但我们发现，该部件的低轮廓几何形状使其难以在桩内获得良好的对比度或良好的3D区分。对于这个应用程序来说，3D垃圾桶拾取还不成熟。(这将属于薄、瓦状部件的类别，是光谱中更具挑战性的一种。)

McCoy说:“最重要的是，垃圾箱拣选的最佳实践从评估零件开始。”“在这种应用中，我们发现低轮廓的部件往往会锁在一起。我们还发现，零件可以自然地在许多方向上坐在垃圾箱里，限制了我们基于零件数据的挑选策略的能力。

“所以我们实施了一个解决方案，让机器人从垃圾桶里捡起支架。使用非接触式位移传感器探测料仓的高度，创建虚拟地形图。我们使用带有磁铁的臂尾工具一次拾取三到四个零件，从高区域拾取到低区域，并监测零件下落的过程。这些部件被放置在一个循环柔性给料系统中，该系统使用一系列的传送带来对部件进行控制，然后一个2D摄像头和第二个机器人来挑选这些部件。通过使用我们自己的软件、一个兼容的臂尾工具，以及一些通用的拾取策略，我们能够将零件从垃圾桶中取出，然后重新获取，并将它们singulate into一个更传统的柔性进给应用程序。”

该单元总共包含6个机器人。一个机器人负责拣仓，另一个机器人负责从柔性输送机上拉出奇异支架，第三个机器人负责从碗式给料器上挑出主机和头靠管，两个焊接机器人和一个卸料机器人。

“在20秒循环的机器上，目前的系统为我们的客户提供了大约2-1/2小时的缓冲时间，”McCoy说。“我们采用了两个垃圾桶的系统，这样他们就不用等垃圾桶空了再换新的了。机器人会清空一个垃圾箱，然后在有人替换1号垃圾箱之前，机器人会在2个半小时内清理2号垃圾箱。”

在JR实现自动化工艺之前，座椅靠背部件必须手动加载到焊接夹具中。麦考伊说，这是他们为这个客户集成的第二套同类系统。第一套系统已经投入生产大约6个月。

传感器，软件和EOAT
随机拾取垃圾需要多种技术的融合，尤其是提高机器人智能的三个主要组件:传感器、软件和臂尾工具。这三个领域的发展正使我们越来越接近这一难以捉摸的目标。

“其中一个大问题是硬件，”麦考伊说。“这将继续获得更高的成本效益，更高的分辨率和更快的处理时间。生成3D点数据的能力越来越强。像Keyence和LMI这样的公司正在发布非常有趣的产品。似乎每个人都在竞相将3D点云应用到工业领域。

“更重要的是软件组件，”他继续说道。“现在有很多独立于机器人制造商的很酷的公司试图说，这只不过是一场软件竞赛。像Recognition Robotics这样的公司正在做非常酷的六自由度2D相机系统。(我们介绍了Recognition Robotics的随机选择系统智能机器人:感官的盛宴．

“我认为所有的硬件制造商都在3D点云生成硬件的分辨率方面取得了巨大的进步，”McCoy说。“有很多聪明的软件开发者利用了它。我确实觉得我们正处于这两种技术在正确的时间融合的时刻。我很兴奋地看到2020年将会发生什么。”

看看这个案例分析及视频由RIA认证机器人集成商中西部工程系统公司开发(如图)用于热处理操作的随机拣仓和零件装载系统。

避免干扰
在拣仓软件开发中，特别是在随机拣仓环境中，一个关键部分是防止机器人及其臂端工具与拣仓和其他物体的侧面碰撞的算法。

发那科的德豪说:“这是大部分人没有想到的捡垃圾行为。”“特别是，我们的抗干扰功能是一个非常优雅的解决方案。你让机器人摆出一个你事先不知道的运动学姿势。这个机器人可以尝试穿过垃圾桶的墙去取一个零件。

“这是一项非常有趣的任务，需要有足够智能的软件来确保机器人永远不会靠近墙壁，”他继续说。“但更复杂的任务是让机器人决定它想去的地方，如果它要去的地方可能会造成任何干扰，它可以自动改变机器人在所有自由轴上的接近路径，使机器人移动到那个部分，并抓住它，而不接触任何东西。这就是避免干扰的最高境界。”

FANUC的抗干扰功能是基于软件的，并与3D区域传感器标配。其他机器人制造商和软件开发商也有类似的算法，通常被称为避障。

Dechow解释说:“你可以对机器人的末端关节进行建模，对机器人末端的工具进行建模，还可以对抓取区域内任何可能干扰任务的东西进行建模。”“当机器人被送到完全未知的随机点时，软件会计算出所需的目标，并改变方法和抓取点。比如有一个部件靠在垃圾桶的墙上，或者有一个特定角度的部件，机器人必须把它撞到墙上才能得到那个部件。这是很多人没有想到的捡垃圾极其优雅的一面。”

用于拣仓的AI
对于一个软件开发人员来说，这就是他们想的全部。诞生于NASA的实验室在那里，研究人员正在为未知的太空探索准备人形机器人，通用机器人公司也在执行任务。他们在为准确性而比赛。

我们在2013年首次向您介绍了通用机器人，当时该公司发布了它的无限卸板系统，用于识别任意形状、大小或方向的随机盒子。现在，该公司正将其复杂的算法应用于随机拣货。

田纳西州纳什维尔的通用机器人公司的首席执行官和联合创始人大卫·彼得斯说:“从一个箱子中挑选最重要的是准确性，因为每次挑选都需要不同的路径计划。”他的兄弟、联合创始人艾伦是首席技术官，也是与NASA和范德比尔特大学合作开发的算法背后的科学家。大卫将他在电影行业的背景引入了兄弟俩的私人股本投资项目。

彼得斯说:“在过去几年里，技术方面发生的最大的一件事是，我们已经在交易中实现了100%的准确性。”“在幕后，算法正变得越来越复杂。学习功能越来越广泛。所有这些与人工智能相关的东西都将在应用的基础上继续扩展。想想我们是如何开始移动箱子的，现在我们已经进入到拣箱，现在拣箱已经开始扩展到我们能够处理数千个sku。”

通用机器人公司的随机拣仓软件解决方案模块化应用平台由两部分组成。空间视觉处理传统的视觉和设备之间的通信、传感器数据，驱动控制机器人的功能和校准。新皮质将其实时机器学习或人工智能与空间视觉生成的3D视觉结果相结合。

“我们正在使用并行处理，”彼得斯说。“这让我们有能力在几毫秒内分析大型数据集，了解正在发生的事情，然后驱动机器的行为，满足交易的要求。我们已经到了可以在供应链上与人类的速度竞争的地步。”

订单执行
一个供应链解决方案涉及到通用机器人公司、R/X自动化解决方案公司和安川马达公司的合作为自动化药房订单执行系统提供全面解决方案。

“我们已经在一些工业机器人上安装了新皮质来完成订单，而到目前为止，这还需要人工操作。我们在系统中建立了三重冗余，以绝对百分之百地保证被挑选的就是订购的药物。”

这视频演示随机拣仓药品订单履行显示如何快速堆叠的项目被挑选，无论形状，大小，方向，和他们的位置在垃圾箱。

“R/X自动化的客户是直接面向客户的大型制药公司，”Peters解释道。“在他们的交易中，他们为客户提供整个100%有效的自动化解决方案，然后我们处理工作单元组件。从历史上看，这是员工在供应链中的位置。我们正在为特定的工作单元提供全套解决方案，包括驱动、工业机器人、传感器、控制、处理，以及机器在工作单元中运行所需的安全。”

通用机器人软件与机器人、驱动和传感器无关。该系统通常使用现成的工业级结构光传感器，并搭配成对的相机进行立体视觉。

彼得斯说:“我们可以根据任务需要将尽可能多的传感器连接在一起。”“所以，如果客户说，我需要你读取条形码，或序列号，或我需要你在这个物体被放入这个盒子之前进行OCR读取，我们只需要把传感器放在机器人手臂或机器人旁边。

“因为我们可以使用任何传感器，随着传感器的改进，我们可以将其整合到现有的系统中。最新版本的英特尔i7处理器刚刚上市。它有着精妙的效率。你猜怎么着，我可以把它直接放到溶液里。这给了我一个优势，能够处理更复杂、更快和处理。”

通用机器人软件安装在个人电脑上。彼得斯解释说:“我们把本质上等同于游戏机的东西贴上了白色标签。”“这是一款速度非常快的高端PC。空间视觉总是驻留在细胞中的机器上。新皮质可以驻留在那台机器上，也可以驻留在工厂的服务器室内，或者驻留在云端。

“我们将机器人的CAD模型加载到空间视觉系统中，它将自动了解机器如何驱动和在空间中移动。(末端执行器也一样。)然后它会将其作为驾驶员决定如何避障的一部分。”

电子商务和订单执行是机器人拣仓的一个大增长领域。

“沃尔玛、好市多、凯马特、塔吉特，他们都有网上订购，”彼得斯说。“到目前为止，这些任务都需要人类来完成。包装出站箱子的过程是一个很好的应用程序，正在发生的垃圾拣出。”

他说这些物品可以是任何几何形状。但是拿起一瓶洗洁精和拿起一管润唇膏是非常不同的。接下来的挑战就是末端执行器。

把握挑战
许多人认为，智能抓取技术是我们必须克服的最终挑战，才能将随机捡垃圾桶的行为变成主流。发那科的德豪看到了解决方案的巨大潜力。

“我发现，我们通常可以从3D或2D场景中提取所需的数据，但问题是，在现有数据的情况下，我们如何将物体放入垃圾桶，并在物体周围成功地捡起它?

Dechow说:“问题是一个夹具通常不能解决箱子里零件的每个随机静置状态。”“当然，成像组件在确定哪些部件可以被成像方面至关重要，但末端执行器成为决定该部件是否可以被选中的关键路径上的最后一个组件。”

适应性夹持技术，如软机器人公司的柔性夹持器，正准备迎接挑战。看看这段视频，在通用机器人空间视觉软件的帮助下，软驱动夹具拾取随机的电子商务物品(3分17秒进入镜头)。

Peters说，就像他们可以为传统的末端执行器拨入CAD一样，他们也可以为这些粘粘的抓手做同样的事情。

他说:“你知道它固有的触达能力，以及每个被驱动的手指如何移动的变量范围。”“当你输入CAD时，你也可以设置这些变量。”

现在，看看这个视频的电附着力机器人抓手从垃圾箱和置物架中挑选箱子。

许多公司都在致力于标准化拣仓技术，以应用于各种工业和订单执行应用。这使得中小型企业实施机器人随机拣仓更容易，成本更低。这个视频展示了一些现成的解决方案。

就连谷歌的登月追逐者也开始行动了。观看一组配备了自适应抓手的机器人使用深度学习随机挑选电子商务物品。

像这样的突破性研究不仅对机器人随机拣仓的顶点，而且对其他复杂的机器人路径规划和操作任务有着深远的影响。Adil Shafi会感到骄傲的。随着2020年的到来，我们几乎已经掌握了“圣杯”。

本文介绍的RIA成员:

• 发那科美国公司
• JR自动化技术有限责任公司
• 中西部工程系统公司
• 运动控制机器人公司
• 柔软的机器人公司。
• 通用机器人技术有限公司