Facebook AI跨流派和乐器转换音乐
在音乐方面，人类一直擅长复刻歌曲并通过鼓掌、口哨或不同乐器演奏将其转化为各种形式。
尽管音乐是最早被数字化和计算机算法处理的领域之一，但当今AI在模仿音频方面仍远逊于人类。
现在，Facebook AI研究团队开发了一个通用音乐翻译网络，能将音乐从一种形式转换为另一种。它复刻听到的音乐，并以不同风格、流派和乐器回放。
如何实现？
该AI系统基于两项最新技术：
- 自回归模型合成高质量音频
- 无监督方式下的域间转换
自回归模型作为解码器训练，能生成高质量逼真音频。第二项技术使事情更实用，因为在监督环境管理学习问题需要大量乐器数据集。
研究人员为每个输入开发并应用通用编码器。这消除了训练整个网络的负担，实现未听过的音乐域到任何遇到域的转换。
他们通过域混淆网络训练通用编码器，同时确保不编码域特定数据。通用编码器不记忆输入数据，而是以语义方式编码。为此，研究人员通过随机局部音高调制扭曲输入信号（音频格式）。
因网络作为去噪自编码器训练，它能恢复原始输入信号的未失真形式。系统逐渐学会将域外输入信号投射到适当输出域。
研究人员在6种古典音乐域上训练网络，包含数千样本。他们在8块NVIDIA Tesla V100 GPU上执行cuDNN加速的PyTorch深度学习框架。完整训练耗时8天。
结果
AI不如专业音乐家，但多次听众难辨哪个是原始音频哪个是人工生成。
系统能有效处理未听过的音乐源（如鼓掌或口哨），生成高质量音频。可集成新乐器而无需重新训练完整网络。
据开发者称，其工作可能为自动作曲和转录等复杂任务打开新大门。此外，通过减小潜在空间大小可使解码器更“创意”，生成与原始音频关联丢失的激动人心自然输出。
工业技术