Drop: Dynamics responses from human motion prior and projective dynamics
合成能够动态响应环境的逼真人运动，是角色动画领域的长期目标，在计算机视觉、体育和医疗保健领域具有应用价值，可用于运动预测和数据增强。最近的基于运动学的生成式运动模型在建模海量运动数据方面展现出令人印象深刻的可扩展性，但缺乏对物理进行推理和交互的接口。虽然仿真器在环（simulator-in-the-loop）学习方法能够实现高度物理逼真的行为，但训练中的挑战常常影响其可扩展性和采用率。我们提出了DROP，一个利用生成式运动先验（generative motion prior）和投影动力学（projective dynamics）来建模人体动力学响应（Dynamics Responses）的新框架。DROP可视为一个高度稳定、极简的基于物理的人体模拟器，并与基于运动学的生成式运动先验对接。利用投影动力学，DROP能够灵活、简单地将学习到的运动先验作为投影能量（projective energies）之一进行集成，从而将运动先验提供的控制无缝地融入牛顿动力学（Newtonian dynamics）中。DROP作为一个与模型无关（model-agnostic）的插件，使我们能够充分利用生成式运动模型的最新进展，实现基于物理的运动合成。我们在不同运动任务和各种物理扰动下对我们的模型进行了广泛评估，证明了其响应的可扩展性和多样性。
研究背景与问题
要解决的问题
合成能够动态响应环境的逼真人运动。
现有方法及问题
- 基于运动学的生成式运动模型在建模海量运动数据方面展现出令人印象深刻的可扩展性，但缺乏对物理进行推理和交互的接口。
- 虽然仿真器在环学习方法能够实现高度物理逼真的行为，但训练中的挑战常常影响其可扩展性和采用率。
本文方法及优势
我们提出了DROP，一个利用生成式运动先验和投影动力学来建模人体动力学响应的新框架。DROP可视为一个高度稳定、极简的基于物理的人体模拟器，并与基于运动学的生成式运动先验对接。利用投影动力学，DROP能够灵活、简单地将学习到的运动先验作为投影能量之一进行集成，从而将运动先验提供的控制无缝地融入牛顿动力学中。
DROP作为一个与模型无关的插件，使我们能够充分利用生成式运动模型的最新进展，实现基于物理的运动合成。
主要方法
投影动力学（Projective Dynamics）：用约束定义能量，通过最小化一个能量函数来求解系统的状态。
投影动力学框架的核心是其能量最小化过程。DROP巧妙地将学习到的生成式运动先验模型的输出视为一种投影能量项。这个额外的能量项表达了“角色应该如何运动才自然”的期望（由数据驱动的先验知识）。在优化最小化总能量的过程中，系统会自然地趋向于满足这个期望，同时满足物理约束，从而有效地为角色提供了控制力。