人工智能帮助机器人通过触摸识别物体
- 新的基于机器学习的感知框架可以通过触摸识别 90 多种不同的物体。
- 它同时使用视觉和触觉观察来识别这些观察是否对应于同一对象。
人类擅长将物体的外观和材料特性以多种方式联系起来。当我们看到剪刀时，我们可以想象我们的手指触摸金属表面的感觉，我们可以在脑海中想象它——不仅是它的身份，还有它的大小、形状和比例。
另一方面，机器人的感知本质上并不是多模态的。尽管配备先进摄像头的现有机器人能够区分两个不同的物体，但仅凭视觉往往是不够的，尤其是在存在遮挡和光线不足的情况下。
现在，加州大学伯克利分校的研究人员开发了一种方法，可以让机器人操纵器学习类似人类的多模态关联。它同时使用视觉和触觉观察来确定这些观察是否对应于同一物体。
他们到底做了什么？
研究团队通过两个 GelSight 传感器（连接在机器人手指上）和卷积神经网络 (CNN) 使用高分辨率触摸感应进行多模态关联。
这些传感器通过与弹性体凝胶集成的相机产生读数，该弹性体凝胶记录凝胶中因与物体接触而产生的凹痕。然后将这些读数馈送到 CNN 进行数据处理。
研究人员训练这些 CNN 接收来自传感器的触觉读数和来自相机的物体图像，并识别这些输入是否代表相同的物体。为了执行实例识别，他们将机器人的触觉读数与查询对象的视觉观察相结合。
参考：arXiv:1903.03591 |加州大学伯克利分校
他们使用 NVIDIA GeForce GTX 1080 和 TITAN X GPU 和 CUDA 深度学习框架，在超过 33,000 张图像上训练和测试 CNN 的多模态关联。
机器人（左）由两个 GelSight 触觉传感器（每个手指一个）和一个正面 RGB 摄像头组成 |与单个物体对应的触觉观察（中）和物体图像（右）的示例 |研究人员提供
结果表明，可以仅通过触觉读数来识别物体实例，包括从未在训练中使用过的实例。事实上，CNN 的表现优于一些人类志愿者和替代方法。
下一步是什么？
到目前为止，研究人员只考虑了个人的掌握。在接下来的研究中，他们将使用多个触觉交互来获得查询对象的更完整图片。
阅读：15 种不同类型的机器人 |说明
该团队还计划将他们的系统扩展到机器人仓库，在那里机器人查看产品图像并通过感觉货架上的物体来检索它们。这种新方法可以应用于家庭环境中的机器人，使它们能够从难以到达的地方取回物体。
工业技术