Facebook发布MelNet：AI精准复刻任意声音

机器学习近年大幅进步，在物体/人脸识别、生成逼真图像上效果显著。但音频领域AI表现令人失望。最佳文本转语音系统仍缺基本特性如语调变化。听过Stephen Hawking机器合成语音？有时难理解句子。Facebook AI Research科学家开发方法克服现有TTS局限。构建生成模型MelNet，能以惊人准确度产生人类语调，甚至能流利说出任何人声音。

MelNet与现有机器语音的区别

多数深度学习算法在大型音频数据库训练再生真实语音模式。主要问题在于数据类型：通常用音频波形记录，在截不同时间尺度有复杂结构。波形表示声幅随时间变化：1秒音频含数万时间步，在多尺度反映特定模式。现有波形生成模型（如SampleRNN、WaveNet）仅能反向传播不足1秒，无法捕捉数秒尺度上出现的高层结构。MelNet改用频谱图（而非音频波形）训练深度学习网络。频谱图是二维时频表示，展示全音频频谱及其随时间变化。1D时域波形仅捕捉单变量（振幅）随时间变化，频谱图捕捉不同频率随时间变化，音频信息在频谱图中打包更密集。这使MelNet能在数秒尺度上产生一致的无条件语音和音乐样本，也能完全端到端进行条件语音生成和文本转语音合成。为减少信息损失和限制过度平滑，建模高分辨率频谱图并用高表达力自回归模型。

参考文献：arXiv:1906.01083 | GitHub

令人印象深刻的结果

研究者在大量TED演讲训练MelNet，随后能用演讲者声音说出随机短语。以下两例为MelNet用Bill Gates声音说随机短语：

“Port is a strong wine with a smoky taste.”
“We frown when events take a bad turn.”

更多示例见GitHub。虽MelNet创建极逼真音频片段，但无法生成长句或段落。仍可改善人机交互。许多客服对话涉及短语，MelNet可自动化此类交互或替换现有自动语音系统改善来电体验。负面方面，技术引发新时代伪音频内容隐忧。像其他AI进步一样，引发伦理问题多于解答。

延伸阅读：Facebook AI将音乐从一种风格转换为另一种

先进电子皮肤实现类人触觉感知突破性OLED化学技术提升屏幕亮度、对比度与寿命

工业技术