杜克大学的人工智能系统为机器人提供类人感知，以实现更安全的导航

杜克大学，北卡罗来纳州达勒姆

WildFusion 结合视觉、触觉、声音和平衡来帮助四足机器人更好地穿越茂密森林等困难地形。 （图片来源：杜克大学）

我们的感官提供了丰富的信息，使我们的大脑能够驾驭周围的世界。触觉、嗅觉、听觉和强烈的平衡感对于度过我们看似轻松的环境（例如周末早晨轻松的徒步旅行）至关重要。

对头顶顶篷的天生了解可以帮助我们找出路径通向何处。树枝的尖锐折断声或苔藓的柔软垫层告诉我们我们的立足点是否稳定。树木倒下或树枝在强风中舞动的雷鸣声让我们知道附近存在潜在的危险。

相比之下，机器人长期以来仅依靠摄像头或激光雷达等视觉信息在世界中移动。在好莱坞之外，多感官导航长期以来对机器来说仍然是一个挑战。森林里有茂密的灌木丛、倒下的原木和不断变化的地形，美丽而混乱，对于传统机器人来说是一个充满不确定性的迷宫。

现在，杜克大学的研究人员开发了一种名为 WildFusion 的新颖框架，它融合了视觉、振动和触觉，使机器人能够像人类一样“感知”复杂的户外环境。

“WildFusion 开启了机器人导航和 3D 绘图的新篇章，”杜克大学机械工程和材料科学、电气和计算机工程以及计算机科学迪金森家族助理教授 Boyuan Chen 说道。 “它可以帮助机器人在森林、灾区和越野地形等非结构化、不可预测的环境中更加自信地操作。”

“典型的机器人严重依赖于视觉或单独的激光雷达，如果没有清晰的路径或可预测的地标，它们常常会动摇，”主要学生作者、二年级博士生刘彦百惠补充道。陈通用机器人实验室的学生。 “当传感器数据稀疏、有噪声或不完整时，即使是先进的 3D 绘图方法也很难重建连续地图，这是非结构化户外环境中的常见问题。这正是 WildFusion 旨在解决的挑战。”

WildFusion 以四足机器人为基础，集成了多种传感模式，包括 RGB 摄像头、激光雷达、惯性传感器，尤其是接触式麦克风和触觉传感器。与传统方法一样，相机和激光雷达捕捉环境的几何形状、颜色、距离和其他视觉细节。 WildFusion 的特殊之处在于它利用声学振动和触摸。

当机器人行走时，接触式麦克风会记录每一步产生的独特振动，捕捉细微的差异，例如干树叶的嘎吱声与泥土的柔软挤压声。同时，触觉传感器测量每只脚施加的力，帮助机器人实时感知稳定性或打滑程度。这些附加的感官还得到了惯性传感器的补充，惯性传感器收集加速度数据，以评估机器人在穿越不平坦地面时的摆动、俯仰或滚动程度。

然后，每种类型的感官数据都通过专门的编码器进行处理，并融合成单一的、丰富的表示形式。 WildFusion 的核心是基于隐式神经表示思想的深度学习模型。与将环境视为离散点集合的传统方法不同，这种方法可以连续地对复杂的表面和特征进行建模，从而使机器人能够做出更智能、更直观的决策，即使在其视野被遮挡或模糊的情况下也能做出更智能、更直观的决定。

“把它想象成解决一个拼图，其中缺少一些碎片，但你能够直观地想象出完整的图片，”陈解释道。 “当传感器数据稀疏或嘈杂时，WildFusion 的多模式方法可以让机器人‘填补空白’，就像人类所做的那样。”

WildFusion 在杜克大学校园附近的北卡罗来纳州伊诺河州立公园进行了测试，成功帮助机器人穿越茂密的森林、草原和砾石小路。 “看着机器人自信地在地形中导航是令人难以置信的回报，”刘分享道。

“这些真实世界的测试证明了 WildFusion 准确预测可通行性的卓越能力，显着提高了机器人在穿越具有挑战性的地形时的安全路径决策能力，”刘说。

展望未来，该团队计划通过整合额外的传感器（例如热探测器或湿度探测器）来扩展系统，以进一步增强机器人理解和适应复杂环境的能力。凭借其灵活的模块化设计，WildFusion 提供了森林步道之外的巨大潜在应用，包括跨不可预测地形的灾难响应、远程基础设施检查和自主探索。 “当今机器人技术面临的主要挑战之一是开发不仅在实验室中表现良好而且在现实环境中可靠运行的系统，”陈说。 “这意味着机器人能够适应、做出决策并继续前进。”

如需了解更多信息，请联系 Boyuan Chen：此电子邮件地址已受到垃圾邮件机器人保护。您需要启用 JavaScript 才能查看它..