仿真驱动数据管线：为灵巧机器人定制训练数据
PhysicsGen：从几十个VR演示生成近3000仿真轨迹，跨机器人平台泛化操作技能
ChatGPT/Gemini专家级回答背后依赖数十亿甚至万亿数据点训练的基础模型。同理，工程师期望构建基础模型训练机器人新技能：在家庭工厂抓取、移动、放置物体。难点：跨机器人系统收集迁移指令数据困难。可远程操作硬件分步教学（用VR技术），但耗时。网络视频训练指导性弱，无特定机器人分步专业任务演示。
PhysicsGen三步法定制训练数据
MIT CSAIL与机器人AI研究所仿真驱动方法"PhysicsGen"定制机器人训练数据，帮助机器人找到任务最高效动作。系统将几十个VR演示乘展近3000仿真/机器。高质量指令映射至机械臂、灵巧手等特定机器精确配置。
PhysicsGen通过三步过程创建泛化特定机器人和条件数据：
- VR头显追踪人类用手操作积木等物体交互，同步映射3D物理仿真器，手部关键点可视化为镜像手势小球体。如翻转玩具，可见代表手部不同部分3D形状旋转虚拟物体。
- 管线将这些点重映射至特定机器（如机械臂）3D模型，移至系统扭转转动精确"关节"位置。
- PhysicsGen用轨迹优化——模拟完成任务最高效动作——让机器人知晓重新定位箱子等最佳方式。
每个仿真都是详细训练数据点，引导机器人通过潜在方式处理物体。植入策略（机器人遵循行动计划）后，机器有多种任务方法，一条路不行可尝试替代动作。
"我们无需人类为每台机器重新录制专业演示即创建机器人专用数据，"MIT电气工程计算机科学博士生、CSAIL成员、论文第一作者Lujie Yang说，"我们自主高效扩展数据，让任务指令适用更广泛机器。"
跨平台数据复用与实测验证
生成大量指令轨迹最终助工程师构建海量数据集指导机械臂、灵巧手等机器。如管线帮两机械臂协作拾取仓库物品放入正确箱子发货。系统也可指导两机器人家庭协作收杯子等任务。
PhysicsGen潜力延伸至转换为旧机器人或不同环境设计数据，使其对新机器有用。"虽为特定机器人收集，可复活先前数据集使其更通用，"Yang说。PhysicsGen将24人类演示转数千仿真，助数字和现实机器人重新定向物体。
Yang团队首在虚拟实验测试：悬浮机器手需旋转方块至目标位置。数字机器人基于PhysicsGen海量数据集执行任务准确率81%，比仅学人类演示基线提升60%。
研究者也发现PhysicsGen改善虚拟机械臂协作操作物体。系统创建额外训练数据助两对机器人成功完成任务比纯人类教学基线多30%。
真实双机械臂实验观察到类似改善：机器协作翻转大箱至指定位置。机器偏离预期轨迹或错拿物体时，能参考指令数据库替代轨迹中途恢复。
资深作者Russ Tedrake（MIT丰田电气工程计算机科学、航空航天、机械工程讲席教授、丰田研究院大规模行为模型高级副总裁、CSAIL首席研究员）说：这种模仿引导数据生成技术结合人类演示优势与机器人运动规划算法力量。
"甚至单个人类演示能让运动规划问题容易得多，"Tedrake说，"未来或许基础模型能提供此信息，此类数据生成技术将为该模型提供后训练配方。"
未来展望：任务多样化与基础模型
PhysicsGen或扩展新前沿：多样化机器执行任务。"想用PhysicsGen教机器人倒水，即使仅训练收碗，"Yang说，"管线不只生成熟悉任务动力学可行动作，也有潜力创建多样物理交互库，信可作为人类未演示全新任务构建块。"
创建大量广泛适用训练数据最终助构建机器人基础模型，MIT研究者警示此目标稍远。CSAIL团队研究PhysicsGen如何利用海量非结构化资源（如网络视频）作为仿真种子。目标：将日常视觉内容转化丰富机器人就绪数据，教机器执行无人明确演示任务。
Yang团队也旨在让PhysicsGen对多样形状配置机器人更有用。计划利用真实机器人演示数据集（捕捉机器人关节运动而非人类）实现。还计划引入强化学习（AI系统试错学习），使PhysicsGen超越人类提供示例扩展数据集。可用先进感知技术增强管线，助机器人视觉感知解释环境，分析适应物理世界复杂性。
目前PhysicsGen展示AI如何帮助教不同机器人操作同类物体（特别是刚性）。管线很快助机器人找到处理软物体（水果）和可变形物体（粘土）最佳方式，但那些交互仿真不易。
来源
传感器