亿迅智能制造网
工业4.0先进制造技术信息网站!
首页 | 制造技术 | 制造设备 | 工业物联网 | 工业材料 | 设备保养维修 | 工业编程 |
home  MfgRobots >> 亿迅智能制造网 >  >> Manufacturing Technology >> 工业技术

谷歌推出AI:从首尾帧生成完整视频

神经网络架构和生成对抗网络进步推动图像/视频合成发展。现有研究多聚焦无条件视频生成和视频预测,均基于有限过去帧生成/预测合理新视频。Google研究团队聚焦仅有首尾两帧时创建多样合理视频序列的问题,称为“补间”,通常用循环神经网络(GRU或LSTM)训练/运行。本研究展示3D卷积神经网络也能解决此问题,优势在于简单:无循环元素,梯度路径更短,可实现更深网络和更稳定训练。

全卷积模型

卷积网络易于用输入的首尾帧强制时间一致性。模型三关键组件:1) 2D卷积图像编码器将关键帧映射到潜在空间;2) 3D卷积潜在表征生成器融合输入帧数据并逐步增加时间分辨率;3) 视频生成器将潜在表征解码为视频帧。直接从编码表征生成视频效果不佳,故设计潜在表征生成器,随机融合关键帧表征,稳步提升最终视频时间分辨率。

参考文献:arXiv:1905.10240 | NVIDIA

测试评估

在UCF101动作识别、BAIR、KTH动作数据库等公开数据集测试。每样本共16帧,其中14帧由卷积神经网络生成。每对关键帧执行百次以上,每模型变体重复10次。所有情况下,模型在关键帧间隔约0.5秒时能生成逼真视频序列。改变驱动生成过程的输入噪声向量可创建多样序列,为未来视频创作研究提供新视角。

新模型生成帧示例 | 来源:研究人员

延伸阅读:新AI实时将黑白视频转彩色

工业技术

  1. IoT 与 MQTT 入门:免代码 ESP8266 教程
  2. Formlabs Draft Resin V2:更快、更高分辨率的 SLA 原型打印
  3. 谷歌推出AI:从首尾帧生成完整视频
  4. 网络安全简化:制造商以终为始构建防御体系
  5. 稳固供应链:销售订单自动化在疫情中的生存之道
  6. 超越单一货源:构建韧性多元供应网络
  7. 现代化仓库,重塑供应链竞争力
  8. 零售商应对不断上涨的运输附加费:经过验证的策略
  9. Bill Lauer退休DVIRC,业务发展开启新纪元
  10. 工业 5.0:重新定义制造业未来的人机协作新范式
  11. Maxim 发布工业 4.0 边缘智能隔离 RS-485 模块 MAXM22511
  12. 革新教育:利用物联网增强学习与教学