新 AI 可以将静止图像转换为 3D 动画
- 新的深度学习方法使用卷积神经网络从单个静止图片中以 3D 形式制作角色动画。
- 它可以使图像中的角色在 3D 中走、坐、跑或跳。
- 可以在监视器和 VR/AR 设备上以交互方式查看整个动画。
近年来，来自视频的一般动画产生了许多创意效果。从单个图像而不是视频或一系列照片制作动画也产生了迷人的效果。
Skinned Multi-Person Linear (SMPL) 模型和深度学习框架已被证明对于从单个图像进行 3D 姿态和形状估计非常有用。到目前为止，大多数单图像人物动画技术主要集中在 2D 或伪 3D 动画上。
最近，华盛顿大学和 Facebook 的一个研究团队开发了一种新技术，可以将静态绘画和图像转换为 3D 动画。这种名为“Photo Wake-Up”的深度学习方法使用卷积神经网络 (CNN) 从单个静止图片中以 3D 形式为角色制作动画。
使前景角色栩栩如生
与使用以特定顺序移动的静止图像来创建视频的 Cinemagraph 不同，新系统将单个图像作为输入并提供完整的 3D 体验。它可以使图像中的角色以 3D 形式走、坐、跑或跳，并且可以在监视器和 VR/AR 设备上交互式查看整个动画。
现在，您一定想知道这种新方法是如何工作的。嗯，它涉及 5 个步骤：
- 使用可变形的身体模型拟合图像
- 估计身体标签图
- 在可变形模型的指导下逐步构建网格
- 装配网格并估计网格蒙皮权重
- 最后，重建纹理并将其放在空白背景图像上。
CNN 依赖于预先训练的模型 SMPL，并在 NVIDIA TITAN GPU 上运行。它适用于广泛的正面图像，从海报和艺术到体育照片。用户甚至可以编辑照片中的人物，以 3D 方式查看重建的身体，并在 AR 设备上进行探索，例如，用户可以将艺术品放在墙上，并在播放动画时在动画中走动。
阅读：arXiv:1812.02246 |华盛顿大学
该团队在卡通人物、涂鸦、斯蒂芬库里（NBA 球员）和毕加索画作的图像上展示了该算法。到目前为止，他们已经在网上下载的 70 多张图片上测试了神经网络。
比较和限制
研究人员将他们的算法与其他最先进的相关方法进行了比较，并通过人体研究评估了结果。与其他方法相比，通过照片唤醒获得的结果在静止帧中看起来失真更少，更逼真。此外，这些结果提供了传统技术无法实现的实际 3D 体验。
阅读：新的人工智能可以将任何人变成职业舞者
该算法还远未完善，仍有很大的改进空间。例如，反射和阴影尚未建模，有时会产生不正确的 3D 姿势，从而使整个身体形状看起来不真实。此外，某些咬合需要细化，例如坐着时双腿交叉。
工业技术