视觉引导机器人

第一部分

数字化背后的驱动力是对准确性、更高质量和可靠性的日益增长的需求。市场动态迫使制造业推出新产品、修改设计以适应不断变化的消费者情绪、定制和更快的交付。几十年来，机器人一直是制造业的朋友，“机器视觉”本身也是如此。

机器人和机器视觉已经独立地达到了稳定性和技术成熟度。最近的发展在提高流程效率方面相互补充。本文将阐述关于视觉引导机器人 (VGR) 的一些见解 在制造领域。尽管 VGR 与移动机器人、类人机器人、笛卡尔和 SCARA 机器人等其他机器人类型同样相关，但我们将重点关注关节机器人的应用和挑战 .

在深入探讨我们的核心主题之前，了解机器视觉和工业机器人的一些重要概念非常重要。

机器视觉 可以定义为人类视觉的原子化。它不仅需要捕捉图像（我们眼睛的功能），还需要处理这些图像并生成结果（大脑的功能）。机器视觉系统依靠保护在工业相机内部的数字传感器来获取图像，从而使计算机硬件和软件能够处理、分析和测量各种特征以做出决策。

典型的机器视觉应用大致可以分为四类，分别是：

• 指导
• 识别
• 测量
• 检查

虽然识别、测量和检查系统等任务有其自己的目的，即机器人为应用程序增加价值，但我们在本文中的重点是机器人引导 .机器视觉 (MV) 系统可以定位零件并确保将其正确放置在特定的装配中。 MV 系统还可以帮助识别组件在 2D 或 3D 空间中的位置，并帮助机器人精确跟踪该组件的坐标。中压系统降低了为此目的所需的固定装置的复杂性。要理解这一点，我们首先需要了解机器人如何定位自己以定位组件。

机器人坐标系由不同的参考系组成。描述机器人运动的主要坐标系如下图图1.1 .夹具或工具的控制是最重要的，其位置是通过一个或所有机器人轴的协调运动来实现的。由于不同类型的夹具和工具具有不同的尺寸，因此选择了一个称为工具中心点 (TCP) 的特殊点，与工具类型无关。该点是工具坐标系的原点。类似的点可用于描述抓手或手腕坐标系。工具、手腕和其他坐标系的相互联系如图1.2所示 .

图 1.1

图 1.2

图片：ABB 机器人

TCP 承载与手腕坐标、基础坐标、世界坐标和对象坐标系的关系。理想情况下，期望对象的坐标精确匹配 使用 TCP 的设定坐标——这意味着通过编程将物体的原点传授给机器人，并记录 TCP 坐标。因此，为了达到重复精度，机器人和物体每次都必须到达同一点。

机器人定位由伺服机构控制，因此非常准确。在定位固定的部件的情况下，它们的定位精度取决于许多因素，例如加工公差、定位夹具公差以及分度台定位精度和可重复性。因此，机器人的 TCP 可能会由于其期望坐标与实际坐标之间的偏移而与物体的实际坐标不匹配，从而出现定位误差。如果希望机器人在物体随机放置在传送带上时拾取物体或对其执行任何操作，那么确定其原点几乎是不可能的 如果没有像机器视觉这样的系统来引导它。

如果部署，机器视觉系统可以识别对象的实时坐标并将它们提供给机器人，然后机器人补偿 TCP 的偏移量。从而保证了刀具的定位精度。这种方法主要用于焊接和点胶等应用、夹具组件以及移动传送带上随机分布物体的机器人“拾取和放置”。上述示例适用于沿 2D 平面定位不准确的对象，因此 2D 机器视觉系统 会被使用。

使用 2D 视觉引导的高速机器人“拾取和放置”对象。图片：康耐视公司

对于机器人垃圾箱拾取等应用，机器人有望拾取随机存放在垃圾箱中的物体，因此需要进行 3D 空间分析。在这里，不仅 X、Y 和 Z 坐标很重要，而且沿所有三个轴的方向角对于机器人在没有任何碰撞的情况下识别最容易拾取的物体至关重要。很明显 3D 机器视觉系统 部署在此设置中。

最流行的 3D 机器视觉系统是使用立体视觉的设置，两个摄像头提供坐标和高度图。这里的关键任务是相机校准和机器视觉算法，它将结合来自两个相机的图像并构建 3D 图像。分析箱的图像以得出最容易挑选的组件的 TCP 坐标。其他一些 3D 技术是激光三角测量和飞行时间。

使用 3D 视觉引导的机器人垃圾箱拾取。图片：安川机器人

第二部分

图像采集

高质量的图像是VGR成功的关键。这里的三个主要组件是相机、光学器件和照明。

相机： 在为机器人应用选择相机时，有一些重要的事情需要考虑。尽管市场上的商用相机确实可以获取图像，但部署这些系统的工业环境确实具有挑战性。在这里，摄像机暴露在恶劣的环境中 并有望在数十万个周期内每次都能提供始终如一的优质图像。再加上由于机器人运动和整体设备振动而产生的冲击和振动。

通信接口需要坚固耐用，能够在这些恶劣条件下保持稳定，以便在操作期间不会中断通信。基于以太网的协议提供了良好的可靠性和更长的电缆长度，这是该应用所必需的. 入口保护合规性变得至关重要，特别是如果系统部署在多尘的环境中。PoE 是避免多条电缆的首选电源。摄像机电缆会通过机器人手臂上的电缆托盘和线束进行大量循环弯曲，因此应使用符合拖链标准的电缆。

图片：堡盟

图片：Pickit 3D

相机的分辨率必须考虑整体视野（FOV）和所需的定位精度来计算。

光学： 必须根据 FOV、工作距离 (WD) 和相机传感器尺寸选择合适的光学器件。需要考虑的两个最重要的因素是：

1. 桶形失真应保持在最低限度，并且
2. 镜头的坚固性，因为它会受到与相机相同的冲击和振动；如果不加以解决，光圈和对焦等关键镜头设置可能会受到影响

照明： 物体的照明在 VGR 中起着至关重要的作用。照明应该能够突出组件中要检查的特征。必须在系统所需的精度范围内精确识别编程的组件或轮廓。因此，必须根据物体和轮廓，选择合适的照明。元件拾取或焊接/涂胶类型的应用大多需要简单的漫射条形灯，而使用立体摄像头的机器人拾取应用通常利用投射在元件上的结构化图案光来收集轮廓并得出轮廓。

结构化照明用于 3D bin 拾取。图片：Solomon 3D

机器视觉机器人面临的挑战

在标准的 2D 机器人机器视觉应用中，有几个挑战需要解决：

• 失真
• 坐标校准
• Z 校准
• 坐标对齐

失真： 在视觉系统为 VGR 做好准备之前，会发生两种主要类型的失真，需要对其进行校正。

• 镜头失真： 镜头（尤其是广角镜头）会导致获取的图像失真。这被称为“桶形失真”。
  

桶形失真。图片：堡盟

• 相机倾斜安装造成的失真
  图片：堡盟

机器人需要间隙才能操作，因此相机通常需要安装在倾斜位置。这会导致获取的图像失真。

这两种类型的失真都需要校正和校准，以便获取的坐标准确。

坐标校准： 机器人在以毫米或英寸等单位定义的坐标系上工作，而相机则在像素数上工作。因此，需要对相机进行标定，使系统理解像素与坐标系单位之间的相关性。

图片：堡盟

每次测量都在相同的工作距离（相机和物体之间的距离）上进行，这一点很重要。由于机器人以 3D 工作，“抓取”还需要“Z”规范.

Z 校准： 如果 Z 轴在镜头的景深*内变化，则 Z 校准用于计算 X 和 Y 坐标。使用校准板的特定程序校准相机（稍后讨论）。

坐标对齐： 机器人和视觉系统有自己的坐标系。他们的偏差是：

为了克服这个问题，进行了校准。机器人知道自己的位置以及TCP的位置，而视觉系统在校准板上进行校准。机器人计算偏移量，并进行对齐。

这是一个非常重要的步骤，机器人必须沿着视觉系统定义的原点开始的路径，如果没有正确执行，错误的校准会导致严重的路径偏差，并可能导致在碰撞中。

校准板： 视觉系统校准使用带有精确尺寸标记的标准校准板进行。 图 2.1 展示了一些校准板的例子。

图 2.1

使用校准板校正镜头和安装畸变： 标定板放置在相机下方一定距离处，获取图像，如图图2.2 .

图 2.2：相机定位

图片：堡盟

执行失真校准后，图像看起来对齐。这在下面的 图 2.3 中显示 .

图 2.3

使用校准板进行坐标校准： 校准板上的网格线或标记与相机中覆盖的像素数有关。定位指针准确定位在校准板上很重要。

指针放置在盘子的点/角上。这些点之间的距离是已知的，然后输入到软件的校准参数化字段中。然后，视觉系统计算测量该距离所消耗的像素数。只要保持工作距离、FOV 和摄像机安装，此设置就可以保持良好状态。如果这三件事中的任何一个发生变化，则需要重新校准系统。

趋势与进步

VGR 不是一项新技术。它已经开发并成为一个相当成熟的应用程序。现在几乎所有的机器人制造商都提供 VGR 的集成解决方案。然而，摄像头技术（例如高速摄像头、3D 飞行时间摄像头和集成立体摄像头）和软件技术（例如人工智能和机器学习）的最新进展增加了额外的可靠性和鲁棒性 到整个应用程序。

部署深度神经网络来教授和重新教授组件沿所有平面定位和方向的不同可能性。学习的许多可能性可以延长网络的训练时间，但最新的计算设备（如 GPU）使任务耗时更少。目前也正在部署基于云的机器学习平台。

结论

VGR 正在获得迅速普及 在工业的所有领域。曾经主要由汽车领域推动的应用程序现在发现了其他应用程序，例如用于高速机器人拾取和放置、码垛和卸垛、焊接机器人接缝跟踪的重型工程、胶水分配等的食品和药品。需要制定标准 确保视觉系统制造商和机器人制造商之间的相互兼容性。随着世界对制造业“新常态”的展望，VGR 无疑可以发挥重要作用。