三星AI单张照片生成逼真会说话虚拟头像,深度伪造技术再突破
- 新AI模型可从单张图片合成会说话的虚拟头像
- 开发者将模型应用于达芬奇、蒙娜丽莎等名画
- 成果虽有视觉瑕疵,但远超以往技术
深度伪造软件(基于AI的人像合成技术)通常需大量图片训练才能生成逼真伪造视频。近年神经网络进展表明,在广泛数据集训练下可生成高度逼真人像。而莫斯科三星研究中心开发的新AI模型,仅需单张图片即可创建会说话的虚拟头像。虽单图即可生成视频,但多图训练(如32张)可显著提升身份保真度与真实感。
该模型生成的虚拟头像能处理多种姿态,超越基于变形的系统能力。虽存视觉瑕疵,但效果远超前代技术,所创多媒体内容将难以与真实视频区分。
核心挑战
生成逼真虚拟头像视频序列难点在于二者:
- 人头动力学、几何、光度复杂度极高:需精准建模发丝、眼睛、口腔等众多要素。
- 人类视觉系统对人头外观建模的微小误差极其敏感。
为攻克难题,新模型训练过程中构建三大神经网络:嵌入网络将人脸关键点帧映射为向量;生成网络将关键点映射为合成视频片段;判别网络评估帧的姿态与真实感。
参考:arXiv:1905.08233 | YouTube
为理解人脸关键点与运动,研究者用数千个YouTube人物说话视频训练网络,通过定量指标与替代神经网络对比生成效果。
实测成果
团队将模型应用于蒙娜丽莎、达芬奇、爱因斯坦等名人肖像。AI从单张图片生成说话视频,让经典肖像"活"起来。单图即可成片,但32张图训练的模型能达成更高个性化分数与完美真实感。
此类AI在远程呈现、多人游戏、视频会议、特效行业等领域极具应用潜力。
延伸阅读:IBM开发可检测视频场景的AI
负面风险同样显著:此类技术快速演进可能引发虚假信息、身份冒充、欺诈、选举操纵等风险。
工业技术