CMU 研究人员使用跨模式模拟数据训练自主无人机

要自主飞行，无人机需要了解它们在环境中的感知并根据这些信息做出决策。 （参见下面的视频。）

卡内基梅隆大学研究人员开发的一种新方法可以让无人机分别学习感知和动作。

两阶段方法克服了“模拟与现实之间的差距”，并创造了一种将完全根据模拟数据训练的无人机安全部署到现实世界课程导航中的方法。

计算机科学学院机器人研究所的博士生 Rogerio Bonatti 说：“通常情况下，即使是在最好的逼真模拟数据上训练的无人机在现实世界中也会失败，因为照明、颜色和纹理仍然差异太大而无法转换。

“我们的感知模块接受了两种模式的训练，以提高对环境变化的鲁棒性。”

帮助训练无人机感知的第一种方式是图像。研究人员使用逼真的模拟器创建了一个环境，其中包括无人机、足球场和从地面升起并随机定位以创建轨道的红色方形大门。

然后，他们从数千个随机生成的无人机和登机口配置中构建了一个大型模拟图像数据集。

感知所需的第二种模式是了解大门在空间中的位置和方向，研究人员使用模拟图像数据集完成了这一点。

使用多种模式教授模型可以强化无人机体验的稳健表现，这意味着它可以通过从模拟转化为现实的方式理解场地和大门的本质。

压缩图像以减少像素有助于此过程。从低维表示中学习可以让模型看穿现实世界中的视觉噪声并识别门。

学习感知后，研究人员在模拟中部署无人机，以便学习其控制策略——或如何进行物理移动。

在这种情况下，它会在导航路线并遇到每个门时了解应用哪种速度。因为是模拟环境，所以程序可以在部署前计算出无人机的最优轨迹。

与使用专家操作员的手动监督学习相比，这种方法具有优势，因为现实世界的学习可能是危险的、耗时的和昂贵的。

无人机通过研究人员规定的训练步骤来学习导航。 Bonatti 说，他挑战了无人机在现实世界中所需的特定敏捷性和方向。

Bonatti 说：“我让无人机以不同的轨道形状向左和向右转动，随着噪音的增加，这变得越来越难。机器人不会通过任何特定的轨道来学习重新创建。

“相反，通过战略性地指导模拟无人机，它正在学习自主比赛的所有元素和动作类型。”

Bonatti 希望推动当前技术接近人类解读环境线索的能力。

他说：“到目前为止，自主无人机竞赛的大部分工作都集中在设计一个系统，该系统增加了额外的传感器和软件，唯一的目标是速度。

“相反，我们的目标是创建一种计算结构，受人脑功能的启发，通过潜在表示将视觉信息映射到正确的控制动作。”

但无人机比赛只是这种学习的一种可能性。感知和控制分离的方法可以应用于人工智能的许多不同任务，例如驾驶或烹饪。

虽然此模型依赖图像和位置来教授感知，但声音和形状等其他模式也可用于识别汽车、野生动物或物体等工作

参与这项工作的研究人员包括卡内基梅隆大学的 Sebastian Scherer，以及微软公司的 Ratnesh Madaan、Vibhav Vineet 和 Ashish Kapoor。

论文，Learning Visuomotor Policy for Aerial Navigation Using Cross-Modal Representations ，已被2020年智能机器人与系统国际会议录用。

该论文的代码是开源的，可供其他研究人员使用。