AI 现在可以创作逼真、多样的舞蹈动作

随着科学家逐渐将计算机推向人类智能水平，他们已经开始处理一些非常人性化的工作。我们当然已经达到了人工智能可以通过建议数千种不同风格来帮助编舞者混合事物的地步。

最近，加州大学的研究人员开发了一种深度学习模型，以生成逼真、多样且风格一致的新舞步。它包含一个通过分析合成的学习框架，可以从音乐中生成节拍匹配的舞蹈。

构建这样一个从音乐到舞蹈的框架是一项具有挑战性的任务，但它可以帮助和扩展多个领域的内容创作，例如花样滑冰、艺术体操和戏剧表演。

为了从音乐中合成舞蹈，研究人员开发了一个分解到作曲的框架，该框架首先学习如何移动（在分解阶段），然后如何将基本动作安排成一个序列（在作曲阶段）。

在第一阶段，他们使用运动节拍检测器从舞蹈序列中提取运动节拍。然后将每个舞蹈序列在时间上归一化为一系列舞蹈单元。单个舞蹈单元被解开为初始姿势和动作。

参考：arXiv:1911.02001 | GitHub

在第二阶段，研究人员提出了一种音乐到动作的模型来创建与输入音乐匹配的动作序列。在运行时，他们提取节拍和风格信息，然后根据音乐风格依次制作一系列舞蹈单元。最后，他们通过提取的音频节拍来扭曲舞蹈单元。

为了训练网络，该团队收集了超过 360,000 个视频剪辑，总计 71 小时。这些视频包括三个舞蹈类别：嘻哈、尊巴和芭蕾。

为了处理不同的姿势，他们使用 OpenPose，一种实时多人系统，在单个图像上联合检测人体、面部、手和脚的关键点。对于绩效评估，他们使用不同的指标来检查风格的一致性、真实性、多样性和节拍匹配。

将生成的舞蹈映射到照片般逼真的视频 |研究人员提供

研究人员还将姿势序列合成到逼真的视频中，以更好地可视化结果。大规模双人舞曲数据集及源代码可在 GitHub 上获取。

阅读：人工智能可以通过分析电影预告片来预测观众出席情况

生成对抗网络使用 PyTorch 深度学习框架在 NVIDIA V100 GPU 上进行训练。在不久的将来，研究人员将添加更多的舞蹈风格（如舞伴舞），使系统更加完善。

工业技术