Google AI通过视频着色实现目标跟踪——一种自监督方法
教会机器在视频中跟踪物体是计算机视觉中最困难的任务之一，主要因为它需要海量的标记训练数据集。当然，记录并标记地球上发生的一切是不切实际的。
因此，有必要构建一个无需人工监督即可学习跟踪的系统，而不是利用大量原始未标记片段。这为什么如此重要？因为视频中的物体跟踪可用于众多应用，如物体交互、活动识别、视频风格化等。
现在，Google研究人员开发了一种卷积网络，它学习从单个参考帧复制颜色到后续帧。该模型不直接从灰度帧估计颜色，而是被约束使用视频第一帧的颜色。
为了复制正确的颜色，网络需要学习如何在内部指向正确区域。这个新模型无需在大型标记数据集上训练，即可跟踪不同物体并穿越遮挡。
视频重着色
为开发这一AI系统，研究人员利用了颜色的时间一致性，这为教导卷积网络跟踪视频中的特定部分提供了海量训练数据。颜色不具备时间一致性的特殊情况存在，例如瞬间开灯。但总体上颜色随时间保持稳定。
首先，视频被去色，然后网络执行着色步骤，因为场景可能包含不同颜色的相同物体。通过这种方式，机器学会如何跟踪特定区域或物体。
训练
研究人员使用Kinetics数据集（包含描绘日常活动的50万视频片段）训练模型。他们将除第一帧外的所有视频帧转为灰度，并训练网络估计后续帧的正确颜色。
为了从单帧复制原始颜色，卷积网络学会了在内部指向正确颜色。这迫使网络遵循一种显式机制，可用于物体跟踪。
尽管模型未在固体身份上训练，但它仅使用单个（第一）帧就能学会跟踪视频中的任何物体或视觉部分。它可以跟踪视频中的单点或轮廓实体。
要从着色视频跟踪物体，研究人员仅做了一项更改：传播代表目标区域的标签，而不是在整个片段中传播颜色。
姿态跟踪
该网络还能跟踪人体姿态：它需要带有关键点标签的初始帧，其余工作自动完成。然而，预测后续帧的关键点并非易事，因为当视频中的人体发生形变时，需要对每个关键点进行细粒度定位。
研究人员在JHMDB数据集（一个人体姿态和动作的全标注数据集）上演示了网络的姿态跟踪功能，跟踪了人体关节骨架。
网络获得了与光流相似的性能，表明它可能在学习某些运动特征。它能很好地跟踪人体姿态和视频片段，略微优于最新的基于光流的技术。
模型尚不完美。在某些实验中，它无法着色视频和跟踪片段。因此，研究人员计划进一步改进视频着色过程，这最终可能转化为增强的自监督跟踪。
工业技术