Google新AI在嘈杂环境中精准分离个体语音
人类极擅长在嘈杂环境中挑出特定声音，屏蔽其他声响。但这对机器仍是艰巨挑战。当两人或更多人说话、或有背景噪音时，机器仍不擅长分离个体语音。
现在Google开发基于深度学习的视听模型，能从混合语音和背景噪音中聚焦单一音频信号。AI可分析视频增强特定人声音同时抑制所有其他声音。
无需特殊音视频格式；适用于所有一音轨常见视频格式。用户可选视频中特定人脸聆听，或让算法基于上下文决定。
技术结合视频视觉和听觉信号分离语音。算法基于嘴部动作识别谁在说话。这些视觉信号显著提升混合语音中语音分离质量，并将声轨与可见说话者关联。
如何制作？
工程师收集大量高质量YouTube脱口秀和讲座视频制作训练样本。随后从中筛选2000小时片段。筛选视频有清晰人声——无观众噪音、混合音乐和背景干扰。
然后用这些内容创建人脸视频与其关联语音及不同来源背景噪音组合。训练多流卷积神经网络从混合语音视频分离个体说话人声音。
每帧声音频谱图表示和说话人人脸缩略图（从视频提取）输入神经网络。网络逐渐学习（训练期）如何编码听觉视觉信号并融合创建单一视听内容。
同时，网络学习为个体说话人提供时频掩码。然后将噪声输入频谱图乘以掩码，输出清晰语音，同时粉碎干扰和噪音。
实现细节
网络在TensorFlow（开源机器学习框架）实现，操作用于执行波形和短时傅里叶变换。除掩码层外所有网络层后接ReLU激活。
对所有卷积层执行批归一化。批大小6样本，训练500万批（步）。音频重采样至16kHz，立体声转单声道计算短时傅里叶变换。
所有人脸嵌入重采样至25帧/秒再训练，得输入视觉流75人脸嵌入。特定样本遇缺失帧用零向量。
应用
技术有无数应用，从视频音频识别到语音增强，特别是多人说话场景。将拓宽各类音频环境可用麦克风类型。但目前YouTube和Hangouts似是两个易切入点。最终可应用于语音放大耳塞和Google Glass。
此外，技术有潜力通过预处理语音识别为重叠说话者提供更好视频字幕系统。此功能将使聋人更易参与电话会议和欣赏电影视频。
工业技术