AI将神经信号转化自然语音助瘫痪患者交流:循环神经网络解码皮层信号
加州大学旧金山分校团队利用生物仿生法,基于声道运动及其产生的声音,开发循环神经网络将高密度皮层脑电图(ECoG)信号解码为可听语音。5名癫痫患者朗读句子时记录脑表电极信号,网络显式引入发音动力学中间表示,最终合成语音声学特征。 堆叠深度编码器-解码器网络显式整合脑信号解码神经活动的主要生理相关性,再转为语音声学。ADAM优化器训练,首/二阶段batch size分别256/25。统计映射实现小数据泛化:25分钟语音即达满意性能,数据越多效果越好。直接语音合成捕捉音调语调等文本输出无法提供的韵律要素。 现有辅助设备逐字打字仅10词/分,远低于自然对话150词/分。该方法可实现无词汇限制的自然语速交流。泛化结果显示说话者共享相似运动学状态空间表示,模型知识可迁移,利于脑机接口学习。对皮层发音处理完好的患者可能更易直观上手。为瘫痪患者语音恢复开辟新路径。核心技术突破
临床转化前景
工业技术