CMU突破：跨模态仿真数据训练自主无人机，跨越Sim-to-Real鸿沟
两阶段解耦感知与控制：纯仿真训练实现实世界赛道自主领航
卡内基梅隆大学研究者开创新法，让无人机分别学习感知与动作，攻克“仿真到现实鸿沟”，实现纯仿真数据训练的无人机安全部署至真实赛道导航。
核心创新：双模态感知强化鲁棒性
博士生Rogerio Bonatti解释：“即使最逼真光渲染仿真数据，因光照/色彩/纹理差异，无人机在现实中仍会失效。我们用图像与空间位姿双模态训练感知模块，增强对环境变异的鲁棒性。”
- 模态一·图像：光渲染仿真环境含无人机、足球场、随机红色方形门框，生成数千随机配置图像数据集；
- 模态二·门框位姿：利用图像数据集推算门框空间位置与朝向。
多模态强化表征，使模型掌握场地与门框本质，跨越仿真到现实。压缩像素降维表征，助模型透过视觉噪声识别门框。
控制策略：仿真内最优轨迹指导强化学习
感知习得后，在仿真中部署无人机学习控制策略（如通过各门框的速度）。仿真环境可预计算最优轨迹，优于人工监督学习（危险、耗时、昂贵）。研究者设计渐进训练步骤（左/右转、复杂赛道、加噪），让无人机学会自主竞速所需的所有运动要素，而非死记特定赛道。
脑启发计算架构：从视觉到控制的潜在表征映射
Bonatti旨在逼近人类解读环境线索的能力。现有自主竞速多依赖额外传感器与软件堆砌追求速度，本研究构建受大脑启发的计算架构，将视觉信息经潜在表征映射为正确控制动作。
通用性展望：可扩展至驾驶、烹饪等多任务
该分离感知与控制的方法可推广至AI驾驶、烹饪等任务。除图像/位姿，声音/形状等模态亦可用于车辆/野生动物/物体识别。论文《Learning Visuomotor Policies for Aerial Navigation Using Cross-Modal Representations》已被IROS 2020录用，代码开源。
自动化控制系统