SonicSense：赋予机器人类人听觉感知，实现更智能交互
杜克大学突破：四指接触麦克风+AI多模态融合，让机器人“听出”材质、形状与内部状态
机器人感知长期过度依赖视觉。Boyuan Chen教授团队开发SonicSense系统：四指尖嵌入接触式麦克风，敲击/抓取/摇晃物体采集接触振动信号，天然屏蔽环境噪声，结合声学特征工程与深度学习实现材质分类、3D形状重建、容器内物品计数/液位估计、物体重识别。
从“盲盒玩具”到机器人触觉的跨界灵感
Chen博士期间受困纽约宿舍，将吉他拾音器贴在玩具箱壁，投掷木块后仅凭振动预测形状与落点——这是SonicSense雏形。后结合神经科学中人类皮肤振动感受器原理，移植到真实机械手。
技术栈与性能指标
- 硬件：4指夹爪+指尖接触麦克风+外壳配重增强动量，全套成本$215（商用件+3D打印）
- 交互原语：敲击/抓取/摇晃，启发式自主策略覆盖83种真实物体（9大材质、多几何）
- 特征工程：12维可解释声学特征+t-SNE降维
- 材质分类：Mel频谱图→3层CNN+2层MLP，迭代修正后F1达0.763
- 形状重建：稀疏接触点→PointNet编码器→解码器生成稠密点云，Chamfer距离0.876
- 重识别：15次新交互后准确率>92%
- 抗噪：仅响应接触振动，强抗环境噪声干扰
三大未来演进方向
- 新模态探索：除触觉/视觉外，寻找赋予机器人超越生物能力的感知模态（如本体感觉增强、电磁感知等）
- 多模态统一融合：视觉+触觉+听觉+本体感觉→连贯世界模型，而非单一视角
- 向人级灵巧操作进阶：扩展传感器密度与手部形态至人形手规模，从“感知物体”进阶到“灵巧操作物体”
传感器