实时滑音算法无缝融合任意两音频信号
音乐家用“滑音”在音符间过渡:从一音滑向另音不定义中间音。滑音用超200年,但限于能连续变调乐器(小提琴、人声)。MIT学生Trevor Henderson开发算法实时生成任意两音频信号间滑音效果。演示合并不同音频片段:一歌融入另歌、钢琴音滑入人声。
算法原理
算法基于几何框架“最优传输”,确定数据点在多源多目标配置间最优移动方式。应用于3D建模、图像配准、流体动力学、计算机图形学。Henderson用此框架插值音频信号。算法将音频分段(约50毫秒),确定各段音高向另一音频信号音高最优移动方式。由此生成平滑滑音效果,转场保持音频保真度。传统淡入淡出软化过渡:降低一信号音量同时升高另一。新算法无缝融合频率段,不增减信号音量。
参考文献:arXiv:1906.06763 | MIT
技术将滑音扩展至多音乐器(包括复音乐器)。可用于不同乐器组间或任意音频信号对过渡。实时生成清晰音乐结果。“插值参数”可用滑块组件控制(如DJ混音台交叉推子)。滑动推子参数变化产生滑音效果。为消除失真,Henderson用“频率重分配”,单处理技术应用,让单个音符轻松在信号间过渡。新方法合成各信号新相位合并小音频段,使相邻段不干扰。下一研究将滑音输出反馈输入,可能产生连奏效果(不同音符间流畅连续运动)。
延伸阅读:Facebook AI将音乐从一种风格转换为另一种
工业技术