视觉与机器人：快乐在一起

下一个“动态二人组”可能根本不涉及人类。 “机器视觉和机器人完美结合，”ABB Robotics（密歇根州奥本山）视觉系统全球产品经理 Klas Bengtsson 说。这并不新鲜。视觉和机器人技术已经携手并进多年。但与其他联姻不同的是，随着机器视觉功能的扩展和寻找新应用，这一联姻正在蓬勃发展。过去的“完美”婚姻涉及引导机器人。但新的应用（例如美满婚姻的孩子）现在包括检查零件、读取条形码或二维码以实现可追溯性，以及寻找包装和拆包零件的新方法。

这一切都归结为机器视觉提供的灵活性. “Vision 帮助 ABB 增强了许多机器人应用的能力，”他说。

许多行业对灵活引导机器人的需求受到产品多样性的增加和缩短交货时间的需求的推动。为什么灵活性如此重要？ “如果你对机器人自动化进行硬编码，那么在你改变生产线中的产品或其他东西的那一刻，你就必须改变程序，”Bengtsson 说。这也意味着改变精密夹具或放置零件的方式，以便硬编码的机器人引导程序可以可靠地拾取、抛光或以其他方式对零件进行操作。成本加起来。

机器视觉通过允许机器人“看到”零件和方向的变化来帮助控制这些成本。 3-D 扫描传感器正在开启更多新的应用。 Bengtsson 说，“15 年前的问题是‘为什么要使用机器视觉’。今天的问题是：‘为什么不呢？’”

人机协作

Rethink Robotics（波士顿）成立于 2008 年，致力于制造协作机器人或协作机器人。其旗舰产品是 Sawyer。 “像我们的 Sawyer 机器人这样的协作机器人最适合用于执行人类规模的重复性、平凡的任务，”产品经理 Mike Fair 说。这意味着使用复制人类行为的产品或动作也是令人麻木的重复和平凡。

“此类应用包括包装、机器管理、生产线装卸、检查和印刷电路板测试，”他说。 CNC 机器的物料搬运是另一种应用，它取代了装载 CNC 机器、循环机器、等待加工任务完成然后卸载机器的人员。

Rethink 深信机器视觉，以至于它嵌入每个 Sawyer 的手腕上都有一个摄像头。 “嵌入式视觉系统 [使] 我们的协作机器人更快、更容易部署，消除了典型机器视觉系统的麻烦和昂贵的集成时间。我们添加了软件，以便于部署 [那些] 视觉系统，”Fair 说。在 ATX West 2018 贸易展上，他提供了一个演示，证明即使是记者也可以在几分钟内编写一个简单的任务。结合看起来像二维码的编码贴纸，他们的软件可以帮助机器人定位自身以适应工作单元的可变性。这也有助于将 Sawyer 机器人从一个任务移动到另一个任务，从一个位置移动到另一个位置。

Universal Robots USA Inc. (UR; Ann Arbor, MI) 也致力于协作机器人。它的三个机器人，有效载荷从 3 到 10 公斤不等，在第三方供应商的“生态系统”内运行。它提供了一个名为 Universal Robots+ 的免费开发人员计划，使末端执行器、视觉系统和其他外围设备的第三方供应商能够开发与其协作机器人即插即用的附加组件。

公司网站展示了六种不同的视觉选择这个生态系统适用于拾取和放置、CNC 机器自动化、包装和码垛、装配、螺丝驱动和机器维护。 2D 和 3D 扫描仪均可用。提供多种机器人运动控制和仿真软件包。

集成、易用

为了使机器视觉有用，它必须是可访问的，这是 UR 生态系统的重要元素。例如，他们的第三方软件包之一称为 Universal Metrology Automation，由 3D Infotech 提供。它集成了运动控制系统、3D 扫描仪和检测软件，以创建可配置的自动化计量解决方案。其他程序提供在线或离线编程、机器人仿真软件和监控功能。

“如今，机器人和视觉系统的集成度要好得多，”Apex Motion Control（萨里，不列颠哥伦比亚省）总裁 Rob Antonides 说。 Apex 是一家充分利用 UR 生态系统方法的集成商。 “我们过去必须将视觉系统与机器人控制器组合在一起，但现在它们更加无缝即插即用，通过以太网 IP 或任何类型的网络。二十年前，我需要一个星期的时间来建立一个视觉引导的机器人系统和通信；今天是 15-20 分钟。”

机器视觉已被证明对 Apex 特别有用。它自动化的任务包括各种烘焙操作，包括装饰蛋糕。 “视觉系统让您能够处理不一致和不够完美的产品展示和定位。我们使用 3D 传感器映射蛋糕的表面，以便我们可以快速轻松地装饰它，”Antonides 说。

FANUC 还强调易于集成。 “我们在去年年底发布了一款全新的控制器，具有集成机器人视觉的突出功能，”FANUC America Corp.（罗切斯特希尔斯，密歇根州）的智能机器人/机器视觉工程师工程师 David Dechow 解释说。 “在 FANUC，我们所有的视觉系统现在都嵌入在控制器中。” FANUC 是最早将视觉用于引导机器人技术的机器人公司之一，30 年前将其作为机器人引导系统的一个选项提供。

Dechow 还观察到，机器视觉公司已经专注于开发更简单的机器人接口。 “视觉供应商明显支持这个市场，”他说。 “让协作发挥作用的重任在于愿景方面。机器人期待一个点。诀窍是使用机器视觉找到正确的点，将机器视觉系统的坐标系合并到机器人的坐标系中。”他同意本文采访的其他人的观点，即机器视觉在许多自动化任务中提供了无与伦比的灵活性。他说，如今，成本/收益比开始偏向于视觉，而不是精密夹具和硬编码。

人工智能：摆姿势与辨别

对视觉、数据和机器人的讨论自然会引出人工智能 (AI) 对有视力的机器人有多大用处的问题。 Dechow 注意到一个问题——人工智能并不特别适用于机器人引导。 “人工智能学习非常擅长分类和差异化。它不擅长的是离散分析，”他解释道。机器人需要移动到离散点。当与计量系统结合使用时，它可以测量离散的几何量。 “没什么可学的，”他说。

但这并没有结束。如果不适用于指导，人工智能可以提供价值的机器人任务。 “例如，根据物体的背景对其进行识别和分类以确定机器人要操作的物体，并结合机器人引导，将是一个很好的混合应用程序，”他说。另一个是抓地力优化。 “在空间中找到手臂的理想方向和接近路径属于学习领域，而不是[成为]确定性。有很多方向，有好有坏，”他解释道。 “在零件是随机的并且在位置和大小上不均匀的情况下，AI 尤其有用。”

Denso Products and Services Americas Inc.（加利福尼亚州长滩）的 Peter Cavallo 同意，视觉系统能力的大幅提升是真实存在的，并且为机器人应用开辟了新机遇。 “以最简单的形式，[视觉]找到一个部分或对象并对其进行操作。在我们现在看到的最复杂的形式中，它可以看到事物、解释、识别和看到部件的本来面目——即使是在不同的配置或位置——而不需要移动部件或机器人。”

他认为 3D 扫描是一项特别重要的发展，使以前困难的任务（例如垃圾箱拣选）变得简单。电装的最新系统使用结构光视觉系统，通过 CMOS 检测器进行 3D 观察。

他将 AI 应用于机器人技术的观点基于更广泛的系统背景。 “随着我们进入下一代机器人，我们开始涉足深度学习等领域，视觉成为整个系统的一部分，”他解释道。 “我们在东京机器人展上展示了一些东西，它展示了一个具有 28 个自由度的系统中的深度学习，其中包括两个机器人，它们用手将沙拉放在一起。”为什么要给工业用户留下深刻印象？机器人仅使用事先提供的知识来选择生菜、水果和蔬菜。 “我们没有给机器人编程；相反，我们告诉它我们想要什么，”他说。想一想车间中存在的非常适合这种自动化的非结构化任务的数量。

不只是大佬们

机器视觉、集成、软件，甚至人工智能可能会让人们认为这种级别的机器人自动化只适用于财富 500 强公司。事实并非如此。 “它非常适用于中小型企业，因为今天的愿景在成本上是合理的。过去 50,000 至 100,000 美元现在不到 5000 美元。没有理由害羞，”卡瓦洛说。

爱普生美国公司（加利福尼亚州卡森）的产品经理 Rick Brookshire 同意机器人自动化是中小型企业 (SME) 的理想选择。 “除了购买 50、100 甚至 1000 台机器人的大客户外，我们还有许多购买一台、两台或三台机器人的小客户，”他说。爱普生专注于为高精度任务优化的小型机器人，根据自身制造高精度钟表的需求发展机器人业务。 “我们所有的机器人都配备了集成视觉引导功能，这一功能越来越被人们接受。它也变得越来越可靠。人们更愿意使用它，”他说。

和其他接受采访的人一样，他相信简单至关重要——尤其是在满足中小企业的需求方面。据该公司称，Epson Vision Guide 程序使用基于对象的点击式 GUI 界面，允许开发人员快速开发应用程序。虽然理想的视觉引导机器人应用是零件没有在合理的公差范围内很好地定位，或者无法以一致的方式呈现，但爱普生机器人提供的精度开辟了另一个使用领域。

公差越来越紧。零件越来越小。精确放置变得越来越困难。 “这就是爱普生等精密机器人可以提供帮助的地方，”他说。 “这种情况越来越多地发生在小公司中。而且这些机器人越来越容易使用，以至于我们的许多客户都自己进行集成。”机器人甚至可以放置直径小于 0.7 毫米的螺钉。随着劳动力的老龄化，这可能成为一个关键因素。

James Cooper 是 Applied Manufacturing Technologies (AMT; Orion, MI) 的销售副总裁，基于他在汽车制造行业的经验，他拥有独特的视角。 AMT 是一家专注于视觉引导机器人系统的系统集成商。具有复杂系统的多个零件编号（例如变速箱）正变得普遍。变速箱是一个带有许多孔和复杂表面的大型物体——非常适合视觉，但对于精密硬夹具来说很昂贵。 “随着更频繁的转换，批量也变得越来越小。这就是为什么机器人引导视觉系统在许多应用中变得如此重要的原因。”他还观察了 3D 视觉系统的发展，尤其是在垃圾箱和手提袋拣选应用中。

它超出了指导范围。 “质量检测是一种理想的应用，可以检查是否存在孔洞和其他特征，或者确定组件是否已正确组装，”他说。另一个丰富的领域是计量检测。 “我们与合作伙伴 Hexagon 建立了一个基于协作机器人检查客户产品的系统。这过去是在一个单独的温度控制室中的 CMM 上完成的。多年来，制造商都希望在生产车间进行。现在可以在生产机器上拥有一个完全便携式的系统，无需防护，非常适合首件检测应用，”他说。

他同意这些应用在中小企业中不断增长。他还指出，这些业务正在努力寻找熟练的劳动力，从而推动了对更多自动化的需求。

ABB 还通过与数字、3D 检测和质量控制解决方案的领先创新者 NUB3D（随后被其收购）合作开发了一种机器人检测系统。交钥匙系统由安装在 ABB 机器人手臂上的 3D 白光扫描传感器组成。

Stäubli Corp. (Duncan, SC) is a robot company that uses a variety of machine vision from third-party vendors to build applications for robot vision guidance. But it also offers another use of vision systems with industrial robots that need human interaction:a virtual safety fence around robots.

As explained by Olivier Cremoux, business development manager, North America robotics for Stäubli, man/robot collaboration can be binned into five different stages. The lowest stage 1, common in most industrial robots, is no direct contact, where any interaction between man and machine is dangerous. “The robot and operator are separated by hard fences,” he said. The highest, stage 5, is where contact is desired and required, for example when a robot is hand guided by an operator to carry out or assemble a heavy tool or other simultaneous motions with a robot. There are stages in-between where some contact is desired at different levels, and where the robot often needs to stop and let the human do something. “This in-between represents 95% of collaborative applications,” he said.

In these intermediate stages, a 3D scanning vision system that scans outwards from the workcell can detect a human approaching. Within a certain distance, it signals the workcell to slow the robot down to prevent contact and possible injury. As the human approaches even closer, it stops the cell entirely. This allows the human to perform an action, such as inspection or placement, then move away, allowing the cell to automatically restart.

HNJ Solutions Inc. (Carson, CA) is an integration company founded to provide vision systems for manufacturing, including with robots, according to President Greg McEntyre. While acknowledging that vision systems are indeed becoming easier to use and install, he says there remains a class of applications where integrators like HNJ are needed. “In complex applications with multiple colors, sizes, orientations, and general uncertainty, it is important to know how cameras work and why they work to install a good system,” he said.

He emphasized how 3D cameras are expanding relevant applications, such as bin picking. “Today we are even importing the CAD model of our objects so that the vision system can understand in 3D the object it needs to pick or operate on,” he said. “Cameras give complete freedom.”

What advice might he offer, as an integrator of complex vision and robotics? “While it may not be easy as it looks, I would say just jump in,” he said. “There is so much useful hardware that vision guidance and vision applications are becoming ever more useful.” In other words, just do it.