“Photo Wake-Up” AI让静态照片变身可交互3D动画
从单张图片生成全3D动画:CNN+SMPL模型新突破
华盛顿大学与Facebook团队开发“Photo Wake-Up”,用卷积神经网络(CNN)从单张静态图片生成3D角色动画:可让画中人走出、坐下、奔跑、跳跃,支持显示器、VR/AR设备交互式观看。区别于视频/连拍动画,仅需单图输入即提供完整3D体验。
五步流程
- 用可变体模型拟合图像
- 估计身体标签图
- 在可变体模型引导下逐步构建网格
- 绑定网格并估计蒙皮权重
- 重建纹理并置于空白背景
CNN依赖预训练SMPL模型,运行于NVIDIA TITAN GPU。适用海报、艺术画、运动照片等正面图像;用户可编辑照片中人物、3D查看重建体、在AR中漫游动画(如将画作贴墙上绕行观看)。已测试卡通、涂鸦、库里照片、毕加索画作等70余张网图。
对比与局限
人工评估显示Photo Wake-Up静态帧畸变更小、更真实,且提供传统技术无法实现的真3D体验。但仍存不足:未建模反射/阴影、偶因姿态错误致体形不真、遮挡处理(如盘腿坐)需优化。
参考文献:arXiv:1812.02246 | University of Washington
工业技术