PAMD: Plausibility-Aware Motion Diffusion Model for Long Dance Generation
计算舞蹈生成在艺术、人机交互、虚拟现实和数字娱乐等众多领域至关重要,尤其是在生成连贯且富有表现力的长舞蹈序列方面。基于扩散模型的音乐到舞蹈生成已取得显著进展,但现有方法仍难以生成物理上合理的运动。为解决此问题,我们提出了合理性感知运动扩散模型 (PAMD),这是一个用于生成既与音乐对齐又物理逼真的舞蹈框架。
PAMD的核心在于合理运动约束 (PMC),它利用神经距离场 (NDFs) 来建模真实的姿态流形,并将生成的运动引导至物理上有效的姿态流形。为了在生成过程中提供更有效的引导,我们引入了先验运动引导 (PMG),它将站立姿态作为辅助条件,与音乐特征一起使用。为了进一步增强复杂运动的真实感,我们提出了基于足地接触的运动优化 (MRFC) 模块,该模块通过弥合关节线性位置空间中的优化目标与非线性旋转空间中的数据表示之间的差距,来解决脚滑伪影问题。
大量实验表明,PAMD显著提高了音乐对齐度,并增强了生成运动的物理合理性。本项目页面地址为:https://mucunzhuzhu.github.io/PAMD-page/。