DeepLabCut：一种用于跟踪移动物种身体部位的开源 AI

要了解任何物种的大脑，就必须准确量化它们的行为。视频跟踪是在不同配置下观察和记录动物行为的最佳选择之一。大大简化了分析，实现了对身体部位的高精度追踪。

然而，提取行为的特定方面以进行详细调查可能是一个乏味且耗时的过程。现有的基于计算机的跟踪使用反射标记（用标记突出显示身体部位），在记录之前应确定标记的位置和数量。

现在，哈佛大学和图宾根大学的研究人员开发了一种名为 DeepLabCut 的人工智能工具，可以自动跟踪和标记移动物种的身体部位。这种无标记姿态估计技术基于深度学习方法，可以用最少的训练数据提供不错的结果。

研究人员检查了最近开发的多人姿势估计模型 DeeperCut 的特征检测器架构。他们表明，少量的训练照片（约 200 张）就足以训练这个神经网络达到类似人类的精度。

迁移学习使之成为可能，这是一种机器学习方法，其中在一项任务上训练的模型应用于另一项相关任务。在这项研究中，基于密集深度神经网络的特征检测器在一个巨大的数据集（ImageNet）上进行了预训练以识别对象。

因此，可以通过标记更少的帧（几百个）来训练这些强大的特征检测器。经过训练后，它可以定位各种与实验相关的身体部位。

研究人员通过在气味引导的导航任务中跟踪耳朵、鼻子和尾根来展示 DeepLabCut 的能力。他们还在 3D 室中追踪了果蝇的几个部分。

神经网络在 NVIDIA Titan Xp 和 GeForce GTX 1080 Ti GPU 上训练，TensorFlow 由 CUDA 深度学习框架加速。使用如此强大的硬件，可以以 30 fps 的速度处理 682*540 大小的帧。

该工具能够根据从录像中提取的姿势估计提供实时反馈。此外，可以围绕物种以自适应方式裁剪输入帧以进一步提高处理速度，或调整网络架构以提高处理时间。

参考：arXiv:1804.03142 | GitHub

总的来说，DeepLabCut 分为四个阶段：

研究人员提供

上述方法不需要任何计算体模型、时间数据、简笔画或复杂的推理算法。它可以快速部署到多种行为，对计算机视觉提出不同的挑战。

尽管研究人员在果蝇、小鼠和马上展示了 DeepLabCut，但该方法当然没有任何限制，也可以应用于其他物种。

阅读：垃圾邮件过滤 AI 学习动物的行为28

通过摄像跟踪动物可以发现有关其生物力学的新见解，并帮助我们了解它们的大脑如何运作。在人类中，它可以改进用于物理治疗的技术，并帮助运动员达到过去不可能实现的里程碑。

工业技术