实时AI秒级上色黑白视频：单帧标注全片自动着色，精度超前作50倍
- 新深度学习算法让编辑者仅上色场景一帧即可快速着色整个视频。
- 高精度、高效率，比以往方法快50倍。
视频帧间含大量冗余数据，手动逐帧上色黑白视频极其耗时。此类冗余在视频编码压缩中被广泛研究，但在视频着色等高级处理中鲜少探索。
现有算法（双边CNN模型、相似性引导滤波、光流 warp等）处理连续帧局部关系传播数据。它们用显性运动或预设像素级特征建模帧间像素相似性。
但这些算法有局限：无法表达帧间高层关系、不能准确反映图像结构。为克服限制，NVIDIA研究者开发基于深度学习的新算法，让编辑者仅上色场景单帧即可快速着色整片段。
工作原理
为显式学习连续帧高层相似性，研究者开发时域传播网络，含传播组件将一帧特征（如颜色）传递给另一帧。使用卷积神经网络(CNN)驱动的线性变换矩阵实现。
CNN决定从上色帧迁移何种颜色并填充其余黑白帧。这技术有何不同？通过交互式方法获得更好着色：编辑者标注图像一部分，得成品。
为学习时域传播，研究者强制两规则：一、帧间传播须可逆；二、目标元素全程保持。
证明该技术无需基于图像的分割方法即可达媲美现有最先进方法的效果。
参考：arXiv:1804.08758 | NVIDIA
训练网络用NVIDIA Titan XP GPU。数百个片段从多数据集训练高动态范围、颜色、掩码传播。网络配置在ACT数据集，含7260视频序列约60万帧。
新技术优势
- 高精度：视频质量远超以往工作。
- 高效率：实时执行，比以往方法快50倍。并行处理所有视频帧进一步提效。
阅读：Nvidia AI将30fps视频转240fps
当前技术提供简单方式在片段间随时间传播数据。未来几年，研究者将探索如何融合追踪、语义、分割等高层视觉线索用于时域传播。
工业技术