NVIDIA发布AI：从真实视频生成交互式3D环境

近二十年前，NVIDIA推出世界首款GPU，使3D游戏性能大幅跃升。现推出AI工具，让开发者从真实视频渲染完全合成的交互式三维环境。

建模和重现真实世界动态能力对开发智能体至关重要。合成连续视觉体验在计算机图形学和机器人学有广泛应用。可帮助开发者在不指定光照、材质和场景几何的情况下创建逼真场景。

本工作展示新型视频到视频合成。目标是学习映射函数高效转换输入视频为输出视频。利用生成器和判别器、时空对抗学习合成高分辨率、时间一致视频。

为实时渲染合成三维世界，从条件生成神经网络起步，在现有视频上训练。网络逐渐学会渲染车辆、建筑、树木等物体。

现有技术需逐个建模物体，耗时昂贵。新工具基于自动从真实视频学习并为汽车、游戏、机器人、建筑和虚拟现实创建虚拟世界的模型。

参考：arXiv:1808.06601 | NVIDIA | GitHub

可基于真实地点创建交互环境，或让人物像最爱的摇滚明星跳舞。网络基于3D场景高层描述工作，如描述物体位置的边缘图及一般属性（图像某部分是建筑还是汽车）。然后用真实场景填充细节。

神经网络在实际城市区域视频上训练。研究人员创建演示，让人们导航网络渲染的虚拟城市世界。因场景合成生成，易于编辑、添加或修改虚拟场景物体。

研究人员提供

演示运行在NVIDIA Tensor Core GPU上，据报告提供全新交互式图形体验。神经网络在DGX-1上配合CUDA深度神经网络库、NVIDIA Tesla V100 GPU训练。团队从Cityscapes和Apolloscapes数据集选取数千片段训练网络。

进行多项测试获得定量和定性结果，显示合成场景比现有最先进方法生成的更逼真。

新AI可生成30秒、2K分辨率视频。提供输出高层控制。例如可轻松用建筑替换场景中树木。

方法不完美，部分场景失败，如因地图数据不足渲染转弯车辆。但可通过整合深度图等3D线索修复。

虽研究处早期阶段，但该技术应用可使多领域虚拟环境开发更简易、低成本。

工业技术