Template

.
.
.
.

核心问题是什么?

目的

.
.
.
.
.

现有方法及局限性

.
.
.
.
.

本文方法

.
.
.
.
.

效果

.
.
.
.
.

核心贡献是什么？

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

大致方法是什么？

.
.
.
. .
.
.
. .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.

训练

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

数据集

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

loss

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

训练策略

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

实验与结论

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

局限性

.
.
.

Loss

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

有效

.
.
.
.
.
.
.
.
.
.
.
.

局限性

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

启发

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

遗留问题

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

参考材料

基于物理的角色位移控制 (Locomotion Control) 技术洞察

更新时间: 2026-03-29

范围: 2010-2025 年角色位移 (locomotion) 控制技术分析

一、概述

角色位移控制是计算机图形学、机器人学和游戏开发的核心问题。其目标是：生成自然、稳定、可控的角色运动（如行走、跑步、跳跃等）。

1.1 为什么 Locomotion 是一个难题？

1. 高维状态空间: 人形角色通常有 30+ 自由度
2. 强非线性动力学: 接触力、摩擦力、碰撞使系统高度非线性
3. 多模态行为: 行走、跑步、跳跃等不同步态需要不同控制策略
4. 实时性要求: 游戏/VR 应用需要 60+ FPS
5. 鲁棒性要求: 需要抵抗外部扰动、适应地形变化

1.2 技术分类：运动学 vs 动力学

                    运动学方法                    动力学方法
                    (Kinematics)                 (Dynamics)
                    ────────────                 ────────────
核心目标            生成视觉上合理的动作            生成物理可行的动作
输出                关节姿态/速度                  关节力矩/目标姿态
是否物理仿真         否                            是
典型应用            动画生成、VR 化身                游戏、机器人仿真
优势                速度快、质量高                  物理交互、抗扰动
局限                无法处理物理交互                 训练成本高、实现复杂

本文结构：

• 第二部分：基于运动学的方法（直接生成动作）
• 第三部分：基于动力学的方法（物理仿真控制）
• 第四部分：技术对比与选型指南
• 第五部分：未来趋势

二、基于运动学的方法 (Kinematics-based Methods)

核心特征：直接从数据学习动作生成，不经过物理仿真，输出为关节姿态。

2.1 技术演进时间线

2017        2020              2023              2024              2025
│           │                 │                 │                 │
PFNN ───→ Learned MM ───→ MOCHA ───→ A-MDM/CAMDM ───→ DARTControl
│           │                 │                 │
│           │                 │                 └── AAMDM (5 步去噪)
│           │                 │
│           └── 用神经网络替代数据库搜索
│
└── 相位条件化 + 混合专家网络

2.2 PFNN: Phase-Functioned Neural Networks (SIGGRAPH 2017)

论文: src/113.md

核心创新: 将相位从「网络输入特征」升级为「网络权重的参数化变量」

架构:

输入：前一帧状态 + 用户控制 + 环境特征 + 相位 φ
      ↓
相位函数 Θ(φ) → 生成网络权重
      ↓
三专家网络混合输出
      ↓
输出：关节位置/速度/角度、根节点速度、相位变化量、触地标签

输入参数 (约 300 维):

• 轨迹位置/方向/高度 (12 帧 × 多维)
• 步态语义标签 (5 维二进制：站立/行走/慢跑/跳跃/俯身)
• 前一帧关节位置/速度 (31 关节 × 6 维)

输出参数:

• 当前帧关节位置/速度/角度
• 根节点平移/角速度
• 下一帧轨迹预测
• 相位变化量
• 足部接触标签 (用于 IK 后处理)

优点:

• 相位解耦，避免不同相位动作混合导致的 artifacts
• 仅 10MB 模型大小
• 实时 60 FPS

缺点:

• 仍需手工标注相位和步态标签
• 泛化能力有限，仅支持训练过的步态

2.3 Learned Motion Matching (SIGGRAPH 2020)

论文: src/208.md

核心创新: 用三个神经网络替代 Motion Matching 的数据库搜索

背景: Motion Matching 是游戏工业标准，但需要存储海量动画数据库，内存占用随数据量线性增长。

架构:

┌─────────────────────────────────────────────────┐
│           Learned Motion Matching                │
├─────────────────────────────────────────────────┤
│  输入：查询特征向量                              │
│          ↓                                      │
│  ┌─────────────────────────────────────────┐   │
│  │  Projector Network                      │   │
│  │  替代：最近邻搜索                        │   │
│  │  输出：最近邻索引 k*                     │   │
│  └─────────────────────────────────────────┘   │
│          ↓                                      │
│  ┌─────────────────────────────────────────┐   │
│  │  Stepper Network                        │   │
│  │  替代：数据库索引推进                    │   │
│  │  输出：下一帧索引                        │   │
│  └─────────────────────────────────────────┘   │
│          ↓                                      │
│  ┌─────────────────────────────────────────┐   │
│  │  Decompressor Network                   │   │
│  │  替代：动画数据库查找                    │   │
│  │  输出：姿态                              │   │
│  └─────────────────────────────────────────┘   │
│          ↓                                      │
│  输出：角色姿态                                 │
│                                                 │
│  关键：无需存储任何数据库！                     │
└─────────────────────────────────────────────────┘

三网络功能:

优点:

• 保留 Motion Matching 的质量和可控性
• 固定内存占用（网络权重），不随数据量增长
• 已应用于多个 AAA 游戏

缺点:

• 训练时间比原始 Motion Matching 长
• 网络预测 vs 精确搜索有轻微质量损失

2.4 MOCHA: Real-Time Motion Characterization (SIGGRAPH Asia 2023)

论文: src/209.md

核心创新: 首个实时角色表征框架，同时转换动作风格和身体比例

背景: 将中性动作转换为特定角色风格（如僵尸、公主、小丑），同时适配不同体型。

架构:

┌─────────────────────────────────────────────────┐
│                  MOCHA Framework                 │
├─────────────────────────────────────────────────┤
│  输入：Source Motion (中性动作)                  │
│              ↓                                  │
│  ┌─────────────────────────────────────────┐   │
│  │  Bodypart Encoder                       │   │
│  │  输出：Source Feature                   │   │
│  └─────────────────────────────────────────┘   │
│              ↓                                  │
│  ┌─────────────────────────────────────────┐   │
│  │  Neural Context Matcher (NCM)           │   │
│  │  - C-VAE + 自回归生成                   │   │
│  │  输出：Target Character Feature         │   │
│  └─────────────────────────────────────────┘   │
│              ↓                                  │
│  ┌─────────────────────────────────────────┐   │
│  │  Characterizer                          │   │
│  │  - Transformer Decoder                  │   │
│  │  - AdaIN + Cross-Attention              │   │
│  │  输出：Translated Feature               │   │
│  └─────────────────────────────────────────┘   │
│              ↓                                  │
│  输出：Characterized Motion                    │
└─────────────────────────────────────────────────┘

关键公式:

AdaIN (自适应实例归一化): $$\text{AdaIN}(z_{src}, z_{cha}) = \sigma(z_{cha}) \cdot \frac{z_{src} - \mu(z_{src})}{\sigma(z_{src})} + \mu(z_{cha})$$

Neural Context Matcher Prior: $$p(s_i | z_{i-1}^{cha}, f(z_i^{src})) = \mathcal{N}(\mu, \sigma)$$

优点:

• 实时 60 FPS
• 同时处理风格转换 + 身体比例适配
• 支持稀疏输入（VR tracker）

缺点:

• 训练数据中的角色有限，新角色需重新训练
• 极端风格可能失真

2.5 自回归扩散模型系列 (2024-2025)

A-MDM: Auto-regressive Motion Diffusion Model (SIGGRAPH 2024)

论文: src/206.md

核心创新: 将扩散模型从 space-time 重新设计为 auto-regressive

公式: $$p(x_{1:T}) = \prod_{t=1}^{T} p(x_t | x_{1:t-1})$$

架构: 简单 3 层 MLP，50 步去噪

控制套件:

• Task-oriented sampling
• Motion in-painting
• Keyframe in-betweening
• Hierarchical reinforcement learning

CAMDM: Conditional Autoregressive Motion Diffusion Model (SIGGRAPH 2024)

论文: src/207.md

核心创新: 8 步去噪实现实时高质量多样角色动画

关键技术:

条件输入:

• 风格/步态
• 移动速度
• 朝向方向
• 未来轨迹

优点:

• 8 步去噪 ≈ 几毫秒，60+ FPS
• 支持多风格平滑转换
• 无需微调实现风格转换

AAMDM: Accelerated Auto-regressive Motion Diffusion Model (CVPR 2024)

论文: src/204.md

核心创新: 5 步去噪 (3 DD-GAN + 2 ADM)

架构:

Autoencoder: 338D pose → 64D latent
      ↓
Generation Module: DD-GANs (3 步)
      ↓
Polishing Module: ADM (2 步)
      ↓
输出：高质量动作

总去噪步数: \(T_{AA} = T_{GAN} + T_{ADM} = 3 + 2 = 5\)

DARTControl: Diffusion-based Autoregressive Motion Model (ICLR 2025)

论文: src/205.md

核心创新: Motion Primitive 表示 + Latent Space Control

Motion Primitive:

• H=2 帧历史（与前一 primitive 重叠）
• F=8 帧未来
• 重叠设计保证时序连贯性

Latent Space Control 方法:

1. 优化方法: latent noise optimization
2. 学习方法: MDP + RL (PPO)

优势: 10x 加速 vs FlowMDM

2.6 运动学方法对比

趋势: 从固定权重网络 → 扩散模型，从长去噪 → 短去噪，从单一功能 → 多模态控制

三、基于动力学的方法 (Dynamics-based Methods)

核心特征: 输出为关节力矩或 PD 控制目标，需要物理仿真器执行。

3.1 技术演进时间线

2010           2018           2021           2023           2024-2025
│              │              │              │              │
Feature-Based ─┼── DeepMimic ─┼── AMP ───────┼── ControlVAE ─┼── PDP/DiffuseLoco
│              │              │              │              │   MaskedMimic/UniPhys
│              │              │              │              │
└── 手工设计    └── RL+ 模仿    └── 对抗学习    └── 状态条件    └── 扩散模型
               └── DReCon ────→ └── ASE ──────→   先验

3.2 Feature-Based Control (SIGGRAPH 2010)

核心思想: 用高层物理特征设计控制器

方法框架:

定义特征 → 设计目标函数 → 优先级优化 → 求解关节力矩

关键公式:

• Setpoint 目标：\(E(x) = ||\ddot{y}_d - \ddot{y}||^2\)
• 角动量目标：\(E_{AM}(x) = ||\dot{L}_d - \dot{L}||^2\)
• 优先级优化：\(h_i = \min_x E_i(x)\) s.t. \(E_k(x) = h_k, \forall k < i\)

优点: 可解释、无需数据 缺点: 实现复杂、动态性差

3.3 DeepMimic (SIGGRAPH 2018)

论文: src/201.md

核心创新: 深度 RL + 模仿学习

方法框架:

参考动作 mocap 数据
      ↓
定义模仿奖励 r^I + 任务奖励 r^G
      ↓
PPO 训练策略 π(a|s)
      ↓
PD 控制器执行

模仿奖励: $$r^I_t = w_p r^p_t + w_v r^v_t + w_e r^e_t + w_c r^c_t$$

训练技巧:

• RSI (Reference State Initialization): 从参考动作随机状态开始
• ET (Early Termination): 跌倒立即终止
• 相位条件化: \(\phi_t = (t \mod T_{cycle}) / T_{cycle}\)

优点: 动作质量高、可学习动态动作 缺点: 每技能单独训练、样本效率低

3.4 DReCon (SIGGRAPH Asia 2019)

论文: src/190.md

核心架构:

Motion Matching → RL 规划 → PD 执行 → 物理仿真

创新点:

• 用 Motion Matching 替代 mocap 参考轨迹
• RL 输出 PD 目标而非直接力矩
• 支持实时响应

3.5 AMP: Adversarial Motion Priors (SIGGRAPH 2021)

论文: src/198.md

核心创新: 用对抗学习从无标注数据学习

方法框架:

无标注 mocap 数据集
      ↓
判别器 D(s,s') 区分真实/生成
      ↓
策略 π 最大化对抗奖励 -log(1-D)
      ↓
生成真实感运动

对抗奖励: $$r_{adv} = -\log(1 - D(s_t, s_{t+1}))$$

训练技巧:

• Reference State Initialization (RSI): 从真实数据采样初始状态
• Early Termination (ET): 跌倒时终止 episode
• 控制信号设计: 包含相位、根节点信息等

AMP 的核心优势:

1. 无需精确跟踪参考动作
2. 能够从多样化数据集学习
3. 自动学习技能组合

局限性:

• 训练不稳定（对抗博弈）
• 风格 prior 只能区分风格相似度，不能区分好坏
• GAN+RL 训练难度大

3.6 ASE: Adversarial Skill Embeddings (SIGGRAPH 2022)

论文: src/199.md

核心创新: 预训练通用技能库 + 下游微调

两阶段训练:

阶段 1: 预训练
无标注数据集 → 低级策略 π(a|s,z)
               (固定技能库)

阶段 2: 任务训练
任务目标 g → 高级策略 ω(z|s,g)
            (组合技能)

预训练目标: $$\max_{\pi} -D_{JS}(d_{\pi} || d_M) + \beta I(s, s'; z | \pi)$$

• 第一项：对抗模仿（保证质量）
• 第二项：互信息最大化（保证多样性）

优点: 技能可复用、支持插值和组合 缺点: 需要大规模并行模拟（Isaac Gym）

3.7 ControlVAE (TOG 2023)

论文: src/202.md

核心创新: 状态条件先验 + 世界模型

与 ASE 对比: | 维度 | ASE | ControlVAE | |------|-----|------------| | 先验类型 | 球面均匀分布 | 状态条件高斯 | | 学习方式 | 对抗 + 互信息 | 世界模型 + ELBO | | 技能表示 | 离散技能库 | 连续潜在空间 |

3.8 扩散模型时代的动力学方法 (2024-2025)

DiffuseLoco (2024)

论文: src/195.md

方法框架:

离线 mocap 数据集
      ↓
训练扩散模型 π(a|s,goal)
      ↓
蒸馏 RL 策略知识
      ↓
实时控制

优点: 离线训练、无需在线 RL

PDP: Physics-Based Character Animation via Diffusion Policy (2024)

论文: src/192.md

核心: RL 专家蒸馏 + 扩散策略

MaskedMimic (2024)

论文: src/183.md

核心: Unified physics-based character control through masked motion

UniPhys (2025)

论文: src/191.md

核心创新: 统一规划器 + 控制器

输入：当前状态 + 任务条件
      ↓
单一 Diffusion 模型
      ↓
输出：完整轨迹 + 控制指令

与 PDP 对比: | 维度 | PDP | UniPhys | |------|-----|---------| | 训练范式 | RL 专家蒸馏 | 直接训练 | | 模型类型 | 纯控制器 | 规划 + 控制 | | 数据来源 | RL 专家数据 | mocap 数据 |

3.9 动力学方法对比

四、运动学 vs 动力学：技术选型指南

4.1 核心差异

4.2 应用场景推荐

4.3 方法选择决策树

需要物理交互/抗扰动？
├─ 是 → 需要无标注数据学习？
│       ├─ 是 → AMP / ASE
│       └─ 否 → DeepMimic / DiffuseLoco
│
└─ 否 → 需要风格转换？
        ├─ 是 → MOCHA / CAMDM
        └─ 否 → PFNN / Learned MM / AAMDM

五、开放性问题与未来趋势

5.1 技术挑战

1. 实时性与质量权衡

   • 扩散模型推理速度仍是瓶颈
   • 方向：一致性模型、蒸馏、更少去噪步数

2. 长时序规划

   • 当前方法多为短时域反应式
   • 方向：分层控制、世界模型

3. 多角色泛化

   • 技能绑定特定形态
   • 方向：形态无关表示、零样本迁移

4. 与语言模型结合

   • 自然语言指令驱动
   • 方向：LLM + 运动生成联合训练

5. 在线适应

   • 适应新环境、新扰动
   • 方向：Test-Time Training、元学习

5.2 未来趋势

1. 运动学 + 动力学融合

   • 运动学方法生成参考轨迹
   • 动力学方法保证物理可行性

2. 世界模型 + 扩散

   • 学习可微物理引擎
   • 在 latent space 规划

3. 多模态大模型

   • 视觉 + 语言 + 运动联合训练
   • 具身智能 (Embodied AI)

4. 自动技能发现

   • 无监督发现技能层级
   • 类似 LLM 的 emergent abilities

六、关键论文索引

运动学方法

动力学方法

七、总结

角色位移控制领域呈现双轨并行的发展态势：

运动学方法沿着「数据驱动→生成模型→实时多样」的路线演进，核心优势是速度快、质量高，适合动画生成和 VR 应用。

动力学方法沿着「手工设计→模仿学习→对抗学习→扩散模型」的路线演进，核心优势是物理正确、抗扰动强，适合游戏和机器人应用。

融合趋势：2024-2025 年的工作开始探索运动学 + 动力学的融合，如用运动学方法生成参考轨迹、用动力学方法保证物理可行性。这将是未来的重要方向。

参考文献: 详见各论文笔记文件 (src/*.md)

AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control

对抗性动作先验用于风格化物理角色控制

论文详解文档

目录

1. 基本信息
2. 核心问题：这篇论文要解决什么问题？
3. 基础知识铺垫
4. AMP 方法的核心思想
5. 技术细节详解
6. 实验结果
7. 总结与启发

1. 基本信息

2. 核心问题：这篇论文要解决什么问题？

2.1 背景故事

想象一下你在玩一款 3D 游戏，游戏中的角色需要做出各种动作：走路、跑步、跳跃、翻滚、出拳等等。

问题 1：如何让游戏角色做出自然的动作？

传统方法有两种：

方法 A：纯物理模拟

• 原理：用物理引擎计算角色应该如何移动
• 优点：可以应对新环境
• 缺点：动作看起来很僵硬、不自然

比如：让一个角色从地上爬起来
- 纯物理方法：角色可能会以很奇怪的方式扭曲，看起来像机器人

方法 B：动作捕捉数据回放

• 原理：记录真实人类的动作，然后让角色跟着做
• 优点：动作非常自然
• 缺点：只能做录过的动作，遇到新情况就傻眼了

比如：录了走路动作，但前面有个障碍物
- 纯回放方法：角色会继续走路，然后撞到障碍物

2.2 现有方法的局限性

论文指出了现有基于跟踪的方法的两大问题：

问题 1：需要精心设计目标函数

传统方法需要人工设计"跟踪误差"的计算方式：
- 手臂位置差多少算错误？
- 腿部角度差多少算错误？
- 这些权重怎么设置？

这需要大量的人工调参，非常费时费力

问题 2：需要动作选择机制

当你有很多动作片段时（比如走路、跑步、跳跃）：
- 什么时候该走路？
- 什么时候该跑步？
- 什么时候该跳跃？

传统方法需要一个"动作规划器"来决定播放哪个动作
这个规划器本身就很复杂，需要大量人工设计

2.3 AMP 要解决的问题

核心目标：

让用户可以简单地指定"要做什么任务"，然后提供一堆动作片段作为"风格参考"，系统自动学会在正确的时间做正确的动作，而且动作风格与参考数据一致。

举个例子：

• 任务：走到目标位置并出拳
• 风格数据：一些走路的片段 + 一些出拳的片段（没有"走到目标再出拳"的完整片段）
• 期望结果：角色自动学会先走路接近目标，然后出拳，而且走路和出拳的风格与参考数据一致

3. 基础知识铺垫

为了理解 AMP，我们需要了解几个关键概念：

3.1 强化学习 (Reinforcement Learning, RL)

想象训练一只小狗：

    状态 (State)          动作 (Action)         奖励 (Reward)
       ↓                     ↓                     ↓
  你手里拿着球    →    小狗去捡球    →    给它零食

强化学习的核心循环：
1. 智能体 (Agent) 观察环境的 状态 (State)
2. 根据 策略 (Policy) 选择 动作 (Action)
3. 执行动作后获得 奖励 (Reward) 和新的状态
4. 目标：学习一个策略，使得累计奖励最大化

关键术语：

• 策略 (Policy) π：从状态到动作的映射规则，可以理解为"在什么情况下做什么"
• 奖励 (Reward) r：告诉智能体某个动作好不好
• 折扣因子 (Discount Factor) γ：未来的奖励打多少折，比如γ=0.99 表示明天的 1 分奖励相当于今天的 0.99 分

3.2 模仿学习 (Imitation Learning)

强化学习的问题：奖励函数很难设计
    ↓
模仿学习的思路：直接给智能体看"专家"是怎么做的，让它学着做

比如教机器人走路：
- 强化学习：设计奖励函数"走得快 +1 分，摔倒 -10 分"（很难设计！）
- 模仿学习：给机器人看人类走路的视频，让它模仿（更直观！）

3.3 生成对抗网络 (GAN)

GAN 的核心思想：有两个网络在"对抗"

    生成器 (Generator)          判别器 (Discriminator)
         ↓                           ↓
    生成假图片                  判断图片真假
         ↓                           ↓
    目标：骗过判别器          目标：准确判断真假

两者互相竞争，最后生成器能生成非常逼真的图片

3.4 生成对抗模仿学习 (GAIL)

把 GAN 的思想用到模仿学习上：

    策略 (Policy)              判别器 (Discriminator)
       ↓                           ↓
   生成动作轨迹              判断轨迹是来自专家还是策略
       ↓                           ↓
   目标：骗过判别器          目标：准确判断真假

如果判别器分不清策略和专家的区别，说明策略学得足够好了！

GAIL 的核心公式：

判别器的目标：

minimize: -E[log(D(s,a))] - E[log(1-D(s,a))]
          来自专家数据        来自策略数据

策略的目标：

maximize: -log(1-D(s,a))  (想办法让判别器给高分)

3.5 物理模拟中的角色控制

在物理引擎中控制一个虚拟角色：

角色身体 = 多个刚体 (头、躯干、手臂、腿...) 通过关节连接

控制方式：
- 在每个关节处安装 PD 控制器
- PD 控制器需要目标角度
- 策略网络输出这些目标角度

物理引擎会计算：
- 如果给关节一个力，角色会怎么动
- 角色会不会摔倒
- 角色和地面/物体的碰撞

4. AMP 方法的核心思想

4.1 整体框架

AMP 的核心创新是把任务奖励和风格奖励分开：

总奖励 = 任务奖励 × 任务权重 + 风格奖励 × 风格权重

r(s,a,s',g) = wG × rG(s,a,s',g) + wS × rS(s,s')

其中：
- rG (任务奖励)：告诉角色"做什么"(What)
  比如：往目标方向走、击中目标等

- rS (风格奖励)：告诉角色"怎么做"(How)
  比如：用走路的姿势、用跑步的姿势等

4.2 为什么这样设计？

传统方法的问题：
- 任务和目标混在一起，很难设计

AMP 的思路：
- 任务奖励：可以很简单，只关心结果
  比如"往目标方向走"，只需要计算速度方向的误差

- 风格奖励：用对抗学习自动学习
  给一堆走路/跑步的动作片段，让判别器学会判断
  "这个动作像不像参考数据里的风格"

4.3 对抗性动作先验 (Adversarial Motion Prior)

什么是"先验" (Prior)？

先验 = 事先的知识

动作先验 = 对"什么动作是自然的"的事先知识
这个知识从哪里来？从参考动作数据集来！

AMP 的判别器：

输入：角色在两个时刻的状态 (s_t, s_{t+1})
输出：这个状态转换是来自参考数据 (真实) 还是策略生成 (虚假)

判别器学到的东西 = 动作先验
- 知道什么样的动作转换是"自然的"
- 不需要人工设计误差函数

4.4 AMP vs 传统跟踪方法

4.5 AMP 如何自动组合技能？

举个例子：障碍赛跑任务

参考数据集包含：
- 跑步片段
- 跳跃片段
- 翻滚片段

任务奖励：只鼓励向前移动

结果：
角色自动学会：
- 平时跑步
- 遇到沟壑时跳跃
- 遇到低矮障碍物时翻滚

为什么？
因为判别器认为这些动作都是"自然的"
而任务奖励鼓励向前
角色发现组合这些技能可以最大化总奖励

不需要人工告诉角色"什么时候该跳、什么时候该滚"！

5. 技术细节详解

5.1 状态和动作表示

状态 (State) 包含什么？

角色的状态 s_t 包括：

1. 身体各部位的相对位置
   - 每个关节相对于躯干 (root) 的位置

2. 每个关节的旋转
   - 用 6D normal-tangent 编码 (一种无歧义的旋转表示)

3. 每个关节的速度
   - 线速度
   - 角速度

所有特征都在角色的局部坐标系中记录

动作 (Action) 是什么？

动作 a_t = 每个关节的目标位置

具体表示：
- 球关节：用 3D 指数映射 (Exponential Map) 表示
  q ∈ R³, 可以转换成旋转轴 v 和旋转角度θ

- 旋转关节：用 1D 角度表示
  q = θ

这些目标位置会被送到 PD 控制器，产生实际的力

5.2 判别器的设计

判别器输入的特征

判别器不直接看完整状态，而是看提取的特征Φ(s)：

1. 躯干的线速度和角速度 (局部坐标系)
2. 每个关节的局部旋转
3. 每个关节的局部速度
4. 末端执行器 (手、脚) 的 3D 位置

为什么选这些特征？
- 足够紧凑：能在单个状态转换中捕捉动作特征
- 与任务无关：不包含任务特定信息，可以迁移到不同任务

判别器架构

判别器 D(Φ(s), Φ(s')) 是一个神经网络：
- 输入：当前状态特征 + 下一状态特征
- 输出：判断是真实数据还是策略生成的分数

网络结构：
- 全连接网络
- 两个隐藏层：1024 和 512 个 ReLU 神经元
- 输出层：线性层

5.3 关键技术改进

AMP 能成功，离不开以下几个关键技术：

改进 1：最小二乘 GAN (Least-Squares GAN)

问题：传统 GAN 用交叉熵损失，容易梯度消失

传统 GAN 的损失函数：
- log(D(s,a)) 和 log(1-D(s,a))

当判别器很强时：
- D(s,a) 接近 0 或 1
- log 的梯度接近 0
- 策略学不到东西

AMP 的方案：用最小二乘损失

判别器目标：
minimize: E[(D(s,s') - 1)²] + E[(D(s,s') + 1)²]
          真实数据              虚假数据

- 真实数据的目标分数：1
- 虚假数据的目标分数：-1

策略奖励：
r(s,s') = max[0, 1 - 0.25×(D(s,s')-1)²]

好处：
- 梯度不会消失
- 训练更稳定

改进 2：梯度惩罚 (Gradient Penalty)

问题：GAN 训练不稳定

GAN 训练不稳定的原因：
判别器可能在真实数据流形上赋予非零梯度
导致生成器" overshoot "，偏离数据流形

AMP 的方案：添加梯度惩罚

判别器目标添加一项：

+ (w_gp/2) × E[||∇_Φ D(Φ)||²]
           真实数据

含义：
- 惩罚判别器在真实数据上的梯度
- 让判别器更"平滑"
- 系数 w_gp = 10

效果：
- 训练稳定性大幅提升
- 学习速度更快

改进 3：速度特征

问题：只给位置信息不够

理论上，连续两帧的位置可以推算出速度
但实际上，这对某些动作 (如翻滚) 不够

没有速度特征时：
- 角色发现保持固定姿势也能骗过判别器
- 学不会翻滚

AMP 的方案：显式添加速度特征

在判别器输入中包含：
- 每个关节的局部速度

效果：
- 能学会更动态的动作
- 避免收敛到局部最优 (如保持固定姿势)

改进 4：经验回放缓冲区 (Replay Buffer)

问题：判别器容易过拟合到策略最新的轨迹

如果判别器只看策略最新的数据：
- 可能会"忘记"真实数据的分布
- 导致训练不稳定

AMP 的方案：用回放缓冲区

维护一个缓冲区 B，存储策略历史轨迹

判别器训练时：
- 从参考数据集 M 采样一批数据
- 从回放缓冲区 B 采样一批数据

效果：
- 防止判别器过拟合
- 训练更稳定

5.4 训练算法

训练技巧 1：参考状态初始化 (Reference State Initialization, RSI)

目的：加速学习高度动态的动作

传统方法的问题：
- 从固定初始状态开始（如站立姿势）
- 对于后空翻等动态动作，策略很难偶然发现成功的起跳条件
- 学习非常缓慢

RSI 方案：
- 每个 episode 开始时，从参考动作数据集中随机选择一个状态
- 将角色初始化为该状态（位置、速度、旋转）
- 让策略早期就能接触到"有希望的状态"

效果：
- 加速学习
- 使高度动态动作（如后空翻、翻滚）的学习成为可能

训练技巧 2：提前终止 (Early Termination, ET)

目的：提高训练效率，避免浪费时间在失败的轨迹上

终止条件：
- 检测到跌倒（躯干或其他身体部位接触地面）
- 脚部以外的身体部位与地面接触

触发机制：
- 当角色的身体任何部位（脚部除外）与地面发生接触时
- 任务立即终止，开始新的 episode

效果：
- 快速淘汰失败轨迹
- 让训练专注于成功的样本
- 大幅提升样本效率

训练技巧 3：控制信号设计

不同的任务定义不同的控制信号表示方式：

例如：
- 目标方向任务：控制信号 = 目标方向 + 目标速度
- 目标位置任务：控制信号 = 目标位置坐标
- 击打任务：控制信号 = 目标位置 + 击打部位

控制信号拼接到当前状态，然后一起送入策略网络：
输入 = [状态 s_t, 控制信号 g]

算法 1: AMP 训练流程

输入：参考动作数据集 M

初始化：
- 判别器 D
- 策略 π
- 价值函数 V
- 回放缓冲区 B = ∅

循环直到收敛：
    1. 收集数据：
       用策略π收集 m 条轨迹{τ_i}
       每条轨迹：τ_i = {(s_t, a_t, r^G_t), s_T, g}
       → 使用参考状态初始化 (RSI)

    2. 计算风格奖励：
       对每个时间步 t：
       - 查询判别器：d_t = D(Φ(s_t), Φ(s_{t+1}))
       - 计算风格奖励：r^S_t (根据公式 7)
       - 总奖励：r_t = w_G × r^G_t + w_S × r^S_t
       → 如果触发提前终止条件，episode 立即结束

    3. 存储轨迹到回放缓冲区 B

    4. 更新判别器 (n 次)：
       - 从 M 采样 K 个真实转换
       - 从 B 采样 K 个策略转换
       - 用公式 8 更新 D

    5. 更新策略和价值函数：
       - 用 PPO 更新策略π
       - 用 TD(λ) 更新价值函数 V

5.5 任务设计

论文测试了多种任务：

1. 目标方向 (Target Heading)

任务：朝目标方向以目标速度移动

奖励函数：
r^G_t = exp(-0.25 × (v* - d* · v_com)²)

其中：
- v*: 目标速度 (1-5 m/s 随机)
- d*: 目标方向
- v_com: 角色质心速度

2. 目标位置 (Target Location)

任务：走到目标位置

奖励函数：
r^G_t = 0.7×exp(-0.5×||x* - x_root||²)
      + 0.3×exp(-(max(0, v* - d*·v_com))²)

第一部分：鼓励靠近目标
第二部分：鼓励以一定速度走向目标

3. 运球 (Dribble)

任务：把足球运到目标位置

状态增强：
- 球的位置、朝向、线速度、角速度

奖励函数：
r^G_t = 0.1×r_cv + 0.1×r_cp + 0.3×r_bv + 0.5×r_bp

分别鼓励：
- 靠近球
- 保持在球附近
- 把球往目标方向运
- 把球运到目标

4. 击打 (Strike)

任务：用指定身体部位 (如手) 击中目标

奖励分三阶段：
1. 距离目标远：鼓励走向目标
2. 距离目标近 (<1.375m)：鼓励出拳击中
3. 击中后：常数奖励 1

这个任务需要组合走路和出拳两个技能！

5. 障碍物 (Obstacles)

任务：穿越有障碍的地形

环境类型：
1. 有沟壑、台阶、头顶障碍物
2. 狭窄的垫脚石

状态增强：
- 前方地形的高度场 (100 个采样点，覆盖前方 10m)

需要组合跑步、跳跃、翻滚等技能！

6. 实验结果

6.1 多动作数据集实验

实验设置：

• 数据集：包含 56 个动作片段，8 个演员，共 434 秒动作数据
• 动作类型：走路、跑步、慢跑等

结果：

角色自动学会：
- 慢速时 (1m/s)：走路
- 中速时 (2.5m/s)：慢跑
- 快速时 (4.5m/s)：跑步

而且还会：
- 转弯时身体倾斜 (像真人一样)
- 大方向变化前先减速

这些都是自动涌现的行为，不需要人工设计！

6.2 技能组合实验

实验 1：走路 + 起身

数据集：走路动作 + 从地上爬起的动作

结果：
- 角色摔倒后能自动爬起来继续走
- 甚至学会了数据集里没有的"前滚翻起身"技巧

实验 2：走路 + 出拳

数据集：纯走路动作 + 纯出拳动作
(没有"走到目标再出拳"的完整动作)

任务：击打目标

结果：
- 角色自动学会先走路接近目标
- 然后在合适距离出拳
- 两个技能无缝衔接

实验 3：障碍赛跑

数据集：跑步动作 + 翻滚动作

任务：穿越障碍物

结果：
- 遇到沟壑：跳过去
- 遇到头顶障碍：滚过去
- 自动在不同技能间切换

6.3 与潜空间模型对比

潜空间模型 (Latent Space Model) 是另一种学习动作先验的方法

对比结果：
- 任务性能：两者相当
- 动作质量：AMP 更好
  - 潜空间模型可能产生不自然的动作
  - AMP 直接在动作层面约束，更可靠
- 训练效率：潜空间模型预训练需要 3 亿样本
  - AMP 不需要预训练，联合训练即可

6.4 单动作模仿实验

测试动作：

后空翻、侧空翻、前空翻、翻滚、跳跃、跑步、走路、舞蹈、爬行、旋转踢...

结果对比 (平均姿势误差，单位：米，越小越好)：

分析：

• AMP 虽然没有跟踪方法那么精确，但质量相当接近
• 关键是 AMP 不需要人工设计奖励函数！
• 对于某些动作 (如侧空翻)，AMP 甚至比跟踪方法更好

6.5 消融实验

测试各个组件的重要性：

7. 总结与启发

7.1 核心贡献

1. 任务与风格分离

   • 任务奖励：简单的目标函数
   • 风格奖励：用对抗学习自动学习

2. 无需动作选择器

   • 技能组合自动从动作先验中涌现
   • 不需要人工设计"什么时候做什么动作"

3. 无需相位同步

   • 传统方法需要知道"当前在动作的哪个阶段"
   • AMP 不需要，可以处理无序动作数据集

4. 高质量动作

   • 能学会动态、复杂的动作
   • 质量接近传统跟踪方法

7.2 当前挑战

1. 动作自然程度的量化评估

   • 为动作的自然程度制定量化评估标准是一个挑战
   • 当前主要依靠定性观察和简单的姿势误差指标

2. 运动规划器设计

   • 轨迹跟踪类算法通常需要搭配一个运动规划计算法
   • 高效的运动规划器也是一个挑战
   • AMP 的优势在于不需要显式的运动规划器

7.3 本文目标回顾

生成一种控制策略，使角色能够在物理模拟环境中实现任务目标，同时其行为方式会模仿数据集中存在的动作模式，但不要求角色严格的模仿某个特定的动作。

核心设计哲学：

• 高层次任务目标：通过相对简单的奖励函数来指定 (RL)
• 低层次行为特征：通过一组非结构化的运动视频片段来定义 (GAN，运动先验)

7.4 AMP 的核心优势

1. 从大规模非结构化数据集中学习

   • 能够从大规模的非结构化数据集中学习各种行为模式
   • 无需借助动作规划器或其他机制来选择具体的动画片段
   • 可以处理无序的动作片段数据集

2. 自动技能组合

   • 不同技能之间的组合会自动通过运动模型得以实现
   • 不需要人工设计技能转换逻辑
   • 例如：走路 + 出拳 → 自动学会先走近再出拳

3. 无需人工设计奖励机制

   • 完全不需要人工设计奖励机制
   • 不需要控制器与参考动作之间的同步处理
   • 不需要相位 (phase) 跟踪

4. 任务与风格解耦

   • 任务奖励只关心"做什么"(What)
   • 风格奖励决定"怎么做"(How)
   • 同一风格先验可以迁移到不同任务

7.5 局限性

1. 模式崩溃 (Mode Collapse)

   • 给定大数据集时，可能只模仿一小部分动作
   • 忽略其他可能更优的动作

2. 先验需要重新训练

   • 每个策略的动作先验都是从零训练
   • 理想情况下应该可以迁移重用

3. 时间组合 vs 空间组合

   • 擅长时间上的技能组合 (先 A 后 B)
   • 空间组合 (同时做 A 和 B) 还需要研究

4. 风格先验的局限性

   • 对抗学习只能区分生成动作的风格是否像训练数据
   • 但不能区分生成动作的好坏
   • 如果训练数据质量差，它会把这种"差"当成它的风格来学习

5. 训练难度

   • GAN 和 RL 都很难训，它们的组合更难训
   • 需要精心调参和技巧 (如梯度惩罚、经验回放等)

7.3 启发与应用

1. 游戏角色控制

   • 可以用少量动作数据训练出灵活的角色
   • 角色能自动应对各种情况

2. 机器人控制

   • 可以用人类演示数据训练机器人
   • 让机器人学会自然的动作

3. 动画制作

   • 动画师可以提供风格参考
   • 系统自动生成符合风格的动画

7.4 关键公式汇总

总奖励函数：

r(s,a,s',g) = w_G × r^G(s,a,s',g) + w_S × r^S(s,s')

风格奖励：

r^S(s,s') = max[0, 1 - 0.25×(D(s,s')-1)²]

判别器目标：

minimize: E[(D-1)²] + E[(D+1)²] + (w_gp/2)×E[||∇D||²]
          真实       虚假           梯度惩罚

附录：重要概念解释

A. 什么是 PD 控制器？

PD = Proportional-Derivative (比例 - 微分)

物理引擎中的关节控制方式：
- 给关节一个目标角度 q_target
- PD 控制器计算需要施加的力：

  torque = Kp × (q_target - q_current)
         + Kd × (dq_target - dq_current)

  Kp: 比例增益
  Kd: 微分增益

作用：让关节角度追踪目标值

B. 什么是指数映射 (Exponential Map)？

一种旋转表示方法：
- 用 3D 向量 q 表示旋转
- 向量方向 = 旋转轴
- 向量长度 = 旋转角度

优点：
- 没有万向节锁问题
- 比四元数更紧凑 (3D vs 4D)
- 平滑且唯一

C. 什么是动态时间规整 (DTW)？

用于比较两个时间序列的相似度

问题：
- 模拟角色的动作可能比参考动作快或慢
- 直接比较会导致误差很大

DTW 的解决：
- 自动对齐两个序列
- 找到最优的时间对应关系
- 再计算对齐后的误差

用于评估 AMP 的模仿质量

参考资源

• 原论文: https://doi.org/10.1145/3450626.3459670
• 项目页面: https://xbpeng.github.io/projects/AMP/index.html
• 代码: 论文发表时开源

本解读文档由 AI 助手生成，旨在帮助初学者理解 AMP 论文的核心思想。如有不理解的地方，建议阅读原论文或访问项目页面获取更多信息。

ASE: Large-Scale Reusable Adversarial Skill Embeddings for Physically Simulated Characters

论文信息: ACM Transactions on Graphics (SIGGRAPH 2022), Xue Bin Peng et al., NVIDIA/UC Berkeley/University of Toronto

Link: arXiv:2205.01906

一、核心问题

1.1 研究背景

人类能够完成各种复杂的运动任务，这得益于我们通过多年练习积累的大量通用运动技能库（general-purpose motor skills）。这些技能不仅能让我们执行复杂任务，还能为学习新任务提供强大的先验指导（priors）。

然而，传统的基于物理的角色动画方法采用的是从零开始训练（tabula rasa approach）的范式：

• 每个新任务都要重新训练一个专用的控制策略
• 即使是走路、跑步这样的基础技能，也要为每个新任务重新学习
• 需要大量手动设计奖励函数，工程工作量巨大

1.2 核心问题

如何赋予智能体大量通用的、可复用的技能库，使其能够灵活地应用于各种新任务？

灵感来自计算机视觉和 NLP 领域：这些领域通过大规模预训练 + 下游任务微调的范式取得了巨大成功。论文希望将这种范式引入到物理角色控制领域。

1.3 现有方法及其局限性

1.4 本文方法

论文提出了 ASE (Adversarial Skill Embeddings，对抗技能嵌入) 框架：

核心思想：

1. 预训练阶段：从大规模无标注动作数据集中学习一个通用的低级技能策略 \(\pi(a|s, z)\)
   • 使用对抗模仿学习 + 无监督技能发现
   • 学习多样化的技能库，而不需要精确匹配任何特定动作
2. 任务训练阶段：针对新任务训练一个高级策略 \(\omega(z|s, g)\)
   • 通过指定潜在技能变量 \(z\) 来控制低级策略
   • 不需要额外的动作数据

关键创新：

• 结合了对抗模仿学习（保证运动质量）和无监督强化学习（保证技能多样性）
• 使用连续潜在空间表示技能，支持技能之间的平滑插值
• 能够从超过 100 个多样化动作片段的大规模数据集中学习

二、核心贡献

1. 可扩展的对抗模仿学习框架

   • 使物理模拟角色能够学习大量复杂、通用的运动技能
   • 技能可以复用于广泛的下游任务

2. 大规模无结构动作数据训练

   • 能够处理包含 100+ 多样化动作片段的数据集
   • 利用 NVIDIA Isaac Gym 并行模拟器，使用相当于十年的模拟经验进行预训练

3. 提高技能多样性和迁移效果的设计决策

   • 球形潜在空间设计
   • 多样性目标函数
   • 鲁棒的恢复策略

4. 无需下游任务动作数据

   • 预训练的低级策略可以使用简单的任务奖励函数完成各种任务
   • 自动生成复杂自然的策略

三、大致方法

3.1 框架概述

flowchart TB
    subgraph PreTraining["预训练阶段 (Pre-training)"]
        M["动作数据集 M<br/>(无标注)"] --> D["判别器 D<br/>(真假判别)"]
        M --> q["编码器 q<br/>(技能识别)"]
        D --> pi["低级策略 π(a\|s,z)<br/>(技能条件策略)"]
        q --> pi
    end

    subgraph Transfer["任务训练阶段 (Transfer)"]
        g["任务目标 g"] --> omega["高级策略 ω(z\|s,g)"]
        s["状态 s"] --> omega
        omega --> pi_fixed["低级策略 π(a\|s,z)<br/>(预训练，固定)"]
        pi_fixed --> output["输出：动作 a"]
    end

3.2 两阶段训练

阶段 1：预训练 (Pre-training)

输入：无标注的动作片段数据集 \(M = {m_i}\)

目标：训练低级技能策略 \(\pi(a|s, z)\)

• \(s\): 状态（角色身体配置）
• \(a\): 动作（关节目标旋转）
• \(z\): 潜在技能变量

训练目标函数： $$\max_{\pi} -D_{JS}(d_{\pi}(s, s') || d_M(s, s')) + \beta I(s, s'; z | \pi)$$

• 第一项（模仿目标）：鼓励策略产生真实行为，匹配数据集的边际状态转移分布
• 第二项（技能发现目标）：鼓励策略学习多样化技能，最大化技能与行为的互信息

阶段 2：任务训练 (Transfer)

输入：任务特定的奖励函数 \(r_G(s, a, s', g)\)

目标：训练高级策略 \(\omega(z|s, g)\)

• 接收状态 \(s\) 和任务目标 \(g\)
• 输出潜在技能 \(z\) 来控制低级策略

关键：低级策略\(\pi\)在任务训练阶段保持固定，不需要动作数据

四、训练细节

4.1 对抗模仿学习

判别器训练

判别器\(D(s, s')\)用于区分数据集转移和策略产生的转移：

$$\min_D -\mathbb{E}{d_M}[\log D(s, s')] - \mathbb{E}{d_{\pi}}[\log(1 - D(s, s'))] + w_{gp}\mathbb{E}[||\nabla D||^2]$$

其中：

• \(d_M\): 数据集的状态转移分布
• \(d_{\pi}\): 策略的状态转移分布
• \(w_{gp}\): 梯度惩罚系数，提高训练稳定性

策略的对抗奖励

$$r_{adv} = -\log(1 - D(s_t, s_{t+1}))$$

4.2 技能发现目标

互信息最大化： $$I(s, s'; z | \pi) = H(s, s' | \pi) - H(s, s' | z, \pi)$$

• 最大化边际状态转移熵：策略产生的行为要多样化
• 最小化条件状态转移熵：每个技能产生的行为要独特

变分下界： $$I(s, s'; z | \pi) \geq H(z) + \mathbb{E}{p(z)}\mathbb{E}{p(s,s'|z,\pi)}[\log q(z|s, s')]$$

其中 \(q(z|s, s')\) 是变分编码器，用于从状态转移中恢复技能\(z\)

技能编码器

由于潜在空间是超球面，使用von Mises-Fisher 分布： $$q(z|s, s') = \frac{1}{Z}\exp(\kappa \mu_q(s, s')^T z)$$

• \(\mu_q(s, s')\): 均值（归一化）
• \(\kappa\): 缩放因子
• \(Z\): 归一化常数

编码器训练目标： $$\max_q \mathbb{E}{p(z)}\mathbb{E}{d_{\pi}(s,s'|z)}[\kappa \mu_q(s, s')^T z]$$

4.3 策略的最终训练目标

$$\begin{aligned} \max_{\pi} \mathbb{E}{p(Z)}\mathbb{E}{p(\tau|\pi,Z)} & \left[ \sum_{t=0}^{T-1} \gamma^t \left( -\log(1 - D(s_t, s_{t+1})) + \beta \log q(z_t|s_t, s_{t+1}) \right) \right] \ & - w_{div} \mathbb{E} \left[ \left( \frac{D_{KL}(\pi(\cdot|s,z_1), \pi(\cdot|s,z_2))}{D_z(z_1, z_2)} - 1 \right)^2 \right] \end{aligned}$$

最后一项是多样性目标，鼓励：

• 相似的潜在变量\(z_1, z_2\)产生相似的动作分布
• 不同的潜在变量产生不同的动作分布

4.4 潜在空间设计

球形潜在空间

选择：\(Z = {z : ||z|| = 1}\)，均匀分布在球面上

采样方法： $$\bar{z} \sim \mathcal{N}(0, I), \quad z = \bar{z} / ||\bar{z}||$$

优势：

• 有界潜在空间，减少低质量样本
• 便于高级策略的探索 - 利用任务训练
• 支持技能插值

4.5 提高响应性的设计

问题

标准训练可能导致策略对潜在变量变化不响应（在 episode 开始时采样\(z_0\)后，后续改变\(z\)无效）

解决方案

1. 时序潜在变量序列：\(Z = {z_0, z_1, ..., z_{T-1}}\)

   • 每个时间步条件于不同的\(z_t\)
   • 鼓励模型学习技能之间的转换

2. 多样性目标：鼓励不同\(z\)产生不同行为

4.6 鲁棒恢复策略

训练技巧：在预训练时，每个 episode 有 10% 概率从随机跌倒状态开始

• 从随机高度和方向放下角色
• 学习从跌倒中恢复的策略

好处：恢复策略可以无缝集成到下游任务，不需要为每个新任务单独训练恢复能力

4.7 高级策略设计

动作空间设计

高级策略\(\omega\)输出未归一化的潜在变量\(\bar{z}\)： $$\omega(\bar{z}|s, g) = \mathcal{N}(\mu_{\omega}(s, g), \Sigma_{\omega})$$

然后归一化：\(z = \bar{z} / ||\bar{z}||\) 后输入低级策略

探索 - 利用权衡：

• 训练初期：\(\mu_{\omega} \approx 0\)，在球面上均匀采样（高探索）
• 训练后期：\(\mu_{\omega}\)远离原点，集中在有效技能（高利用）
• 通过调整距原点距离来控制技能分布的熵

运动先验

为了提高下游任务的运动质量，使用预训练的判别器作为便携式运动先验：

$$r_t = w_G r_G(s_t, a_t, s_{t+1}, g) - w_S \log(1 - D(s_t, s_{t+1}))$$

• \(r_G\): 任务奖励
• \(-\log(1 - D)\): 风格奖励（来自判别器）
• 判别器参数在任务训练时固定

4.8 模型架构

4.9 角色模型

• 37 自由度人形角色
• 配备剑和盾
• 状态空间：120D（根高度、旋转、速度，关节旋转/速度，手脚位置等）
• 动作空间：31D（PD 控制器目标关节旋转）

4.10 训练算法

Algorithm 1: ASE 预训练
1: 输入 M: 参考动作数据集
2: D ← 初始化判别器
3: q ← 初始化编码器
4: π ← 初始化策略
5: V ← 初始化价值函数
6: while not done do
7:   B ← ∅ 初始化数据缓冲区
8:   for trajectory i = 1, ..., m do
9:     Z ← 从 p(z) 采样潜变量序列 {z₀, z₁, ..., z_{T-1}}
10:     τᵢ ← 用π和 Z 收集轨迹
11:     记录 Z 到 τᵢ
12:     for t = 0, ..., T-1 do
13:       r_t ← -log(1 - D(s_t, s_{t+1})) + β log q(z_t|s_t, s_{t+1})
14:       记录 r_t 到 τᵢ
15:     end for
16:     存储 τᵢ 到 B
17:   end for
18:   更新编码器 q (Eq. 13)
19:   更新判别器 D (Eq. 14)
20:   用 PPO 更新策略π和价值函数 V (Eq. 15)
21: end while

五、实验与结论

5.1 下游任务

论文设计了多种任务来评估模型能力：

(1) Reach（精确控制）

• 目标：将剑尖移动到目标位置
• 奖励：\(r_G = \exp(-5 ||x^* - x^{sword}||^2)\)
• 评估：物理数据驱动的逆运动学能力

(2) Speed（速度控制）

• 目标：沿目标方向以目标速度移动
• 目标速度范围：\(v^* \in [0, 7]\) m/s
• 评估：利用不同运动技能的能力

(3) Steering（转向控制）

• 目标：沿目标方向移动，同时面向目标朝向
• 评估：组合不同技能的能力

(4) Interact（交互任务）

• 目标：跑到目标位置并击倒它
• 评估：复杂任务规划和技能组合

5.2 实验结果

定性结果

• 角色能够自然地完成各种任务
• 技能库包含：行走、跑步、转身、蹲伏、踢腿、剑挥砍、盾击等
• 能够自动组合不同技能完成任务

定量结果

• 与从零训练的方法相比，样本效率显著提升
• 在复杂任务上成功率更高
• 运动质量更高（通过判别器评分）

5.3 消融实验

六、局限性

1. 数据集依赖性

   • 运动质量依赖于训练数据集的多样性
   • 数据集中没有的运动类型难以生成

2. 计算资源需求

   • 需要大规模并行模拟（使用 NVIDIA Isaac Gym）
   • 预训练时间长（相当于十年的模拟经验）

3. 技能粒度

   • 潜在空间的语义解释性有限
   • 难以精确控制特定技能属性

4. 任务范围

   • 主要评估了 locomotion 和简单交互任务
   • 更复杂的操作任务（如抓取物体）未充分探索

5. 角色泛化

   • 技能绑定到特定角色形态
   • 迁移到不同体型的角色需要重新训练

七、启发

7.1 方法学启发

1. 预训练 + 微调范式在物理控制中的成功应用

   • 类似于 NLP 和 CV 领域的 BERT、GPT 等预训练模型
   • 为物理角色控制提供了一个通用基础模型

2. 对抗学习 + 无监督学习的结合

   • 对抗学习保证质量
   • 无监督学习保证多样性
   • 两者的平衡很重要

3. 潜在空间设计的重要性

   • 球形空间优于高斯空间
   • 有界空间减少异常行为
   • 便于探索 - 利用权衡的编码

7.2 工程实践启发

1. 大规模并行训练的必要性

   • 物理模拟需要大量样本
   • GPU 并行模拟是关键

2. 鲁棒性训练技巧

   • 随机初始状态提高抗干扰能力
   • 这种简单技巧非常有效

3. 模块化设计

   • 低级策略固定，只需训练高级策略
   • 降低下游任务的训练难度

7.3 与其他工作的联系

• 与 AMP (Adversarial Motion Priors) 的关系：

  • AMP 每个任务从头训练，ASE 预训练可复用
  • ASE 可以看作 AMP 的扩展和改进

• 与 DILOW/VAE 等表示学习的关系：

  • 都使用互信息最大化
  • ASE 专门针对物理控制设计

八、与相关工作的对比

8.1 ASE vs AMP：核心区别

ASE (2022) 是 AMP (2021) 的直接扩展，两者都来自同一研究团队（Xue Bin Peng et al.）。

核心洞察：

两篇论文都使用了类似的对抗训练方式（GAIL 变体），但解决的问题不同。

• AMP：解决动作评价问题——用对抗学习替代人工设计的跟踪误差函数
• ASE：解决技能复用问题——让学到的技能可以复用于多个下游任务

(0) 核心问题对比

(1) 训练范式对比

(2) 目标函数对比

AMP 的训练目标： $$\max_{\pi} \mathbb{E}\left[\sum \gamma^t \left(w_G r^G_t + w_S r^S_t\right)\right]$$

• \(r^G\): 任务奖励
• \(r^S = -\log(1-D(s,s'))\): 风格奖励

ASE 的预训练目标： $$\max_{\pi} -D_{JS}(d_{\pi} || d_M) + \beta I(s, s'; z | \pi)$$

• 第一项：对抗模仿（同 AMP）
• 第二项：互信息最大化（新增，用于技能发现）

ASE 的任务训练奖励： $$r_t = w_G r_G(s,a,s',g) - w_S \log(1 - D(s, s'))$$

• 判别器\(D\)作为便携式运动先验（预训练后固定）

(3) 架构对比

AMP 架构：

flowchart LR
    s["状态 s + 控制信号 g"] --> pi["策略 π(a|s,g)"]
    pi <--> D["判别器 D(s,s')"]
    pi --> pd["PD 控制器"]
    pd --> sim["物理仿真"]

ASE 架构：

flowchart TB
    subgraph PreTrain["预训练阶段"]
        s1["状态 s + 技能 z"] --> pi_pre["低级策略 π(a|s,z)"]
        pi_pre <--> D_pre["判别器 D(s,s')"]
        s1 --> q["编码器 q(z|s,s')"]
        q --> D_pre
    end

    subgraph TaskTrain["任务训练阶段"]
        s2["状态 s + 任务目标 g"] --> omega["高级策略 ω(z|s,g)"]
        omega --> z_out["技能 z"]
        z_out --> pi_fixed["低级策略 π(a|s,z)<br/>(固定)"]
        pi_fixed --> pd2["PD 控制器"]
        pd2 --> sim2["物理仿真"]
    end

(4) 训练效率对比

结论：当有 10+ 下游任务时，ASE 的总训练时间显著低于 AMP。

(5) 技能多样性对比

AMP 的模式坍塌问题：

给定大数据集（走路、跑步、跳跃...）
AMP 可能只学会其中一小部分技能
忽略其他动作

ASE 的解决方案：

互信息最大化：I(s, s'; z | π) = H(s,s'|π) - H(s,s'|z,π)

- 最大化边际熵：整体行为要多样
- 最小化条件熵：每个技能要独特

结果：
z₁ → 走路，z₂ → 跑步，z₃ → 跳跃...

(6) 核心设计哲学对比

(7) AMP 的局限性 → ASE 的动机

AMP 论文中明确指出的问题（原文引用）：

"当前工作的局限性：
- 动作先验需要针对每个任务从零开始训练
- 理想情况下，动作先验应该可以迁移到不同任务"

ASE 的解决方案：

预训练阶段：
- 学习通用技能库 π(a|s,z)
- 使用互信息最大化保证多样性
- 训练判别器作为"便携式运动先验"

任务训练阶段：
- 固定低级策略 π
- 只训练高级策略 ω(z|s,g)
- 样本效率提升约 10 倍

(8) 两篇论文的关系

flowchart TB
    subgraph AMP["AMP (2021)"]
        direction TB
        A1["对抗模仿学习"]
        A2["任务 + 风格分离"]
        A3["无需动作选择器"]
        A4["核心贡献：动作评价无需人工设计"]
    end

    subgraph ASE["ASE (2022)"]
        direction TB
        B1["继承 AMP 的对抗学习"]
        B2["新增：预训练范式"]
        B3["新增：技能发现（互信息）"]
        B4["新增：可复用技能库"]
        B5["核心贡献：技能可复用"]
    end

    AMP --> ASE

    style AMP fill:#e1f5fe
    style ASE fill:#fff3e0

关键洞察：

1. ASE 是 AMP 的自然扩展：同一团队在 AMP 基础上的迭代工作
2. 训练方式相似：都用了对抗模仿学习（GAIL 变体）
3. 解决的问题不同：
   • AMP：如何让动作更自然、无需人工设计奖励
   • ASE：如何让学到的技能可以复用于多个任务

8.1.1 理解 AMP 与 ASE 的类比

想象学习做菜：

AMP (2021) 解决的问题：
┌─────────────────────────────────────────┐
│  传统方法：需要厨师长详细告诉你            │
│         "盐放多少克、炒多久"              │
│              ↓                          │
│  AMP：给你看一些菜的视频，你自动学会        │
│        "像这样炒菜"                       │
│              ↓                          │
│  核心：评价标准从"人工规则"                │
│       变成"像不像视频"                    │
└─────────────────────────────────────────┘

ASE (2022) 解决的问题：
┌─────────────────────────────────────────┐
│  AMP 的问题：每学一道新菜都要从头看视频    │
│              ↓                          │
│  ASE：先花几年学会各种基本功              │
│      （切、炒、蒸、煮）→ 预训练          │
│              ↓                          │
│  新任务：只需要学"怎么组合基本功"          │
│         不需要重新学基本功 → 微调        │
│              ↓                          │
│  核心：基本功可以复用                     │
└─────────────────────────────────────────┘

8.2 ASE vs 其他物理控制方法

(1) 与 DeepMimic 对比

(2) 与 Feature-Based Control 对比

(3) 与 ControlVAE 对比

8.3 方法选择决策树

flowchart TD
    Q1["需要物理仿真控制？"] --> |否 | A1["使用运动学方法<br/>如 PFNN、CAMDM"]
    Q1 --> |是 | Q2["有多少下游任务？"]

    Q2 --> |单一任务 | A2["AMP<br/>更简单直接"]
    Q2 --> |少量任务 <5 | A3["AMP 或 ASE"]
    Q2 --> |大量任务 ≥5 | A4["ASE<br/>预训练可复用"]

    Q3["需要技能多样性？"] --> |否：单风格 | A5["AMP"]
    Q3 --> |是：多风格组合 | A6["ASE"]

    Q4["有多少动捕数据？"] --> |单一片段 | A7["DeepMimic / AMP"]
    Q4 --> |大规模数据集 100+ | A8["ASE"]

    style A1 fill:#e1f5fe
    style A4 fill:#fff3e0
    style A6 fill:#fff3e0
    style A8 fill:#fff3e0

九、遗留问题

9.1 开放性问题

1. 技能的可解释性

   • 潜在空间的每个维度代表什么？
   • 能否实现更细粒度的技能控制？

2. 数据集扩展

   • 如果使用更大规模数据集（如 AMASS）会怎样？
   • 能否学习更复杂的技能（如体操动作）？

3. 多角色泛化

   • 能否训练一个模型适用于多个角色？
   • 形态学变化的鲁棒性如何？

4. 与语言模型的结合

   • 能否用自然语言指定技能？
   • 与 LLM 结合实现指令驱动的角色控制？

5. 实时应用

   • 推理速度能否满足游戏实时要求？
   • 模型压缩和加速的可能性？

9.2 未来方向

1. 层级强化学习的深化

   • 更多层级的抽象
   • 自动发现技能层级结构

2. 多模态条件

   • 结合视觉、语言、动作等多种条件
   • 更丰富的交互方式

3. 在线学习

   • 任务执行过程中持续改进
   • 适应新环境和扰动

十、关键公式总结

十一、代码与资源

• 项目主页: https://xbpeng.github.io/projects/ASE/
• 代码: 项目主页提供
• 数据集: 论文未公开具体数据集，但表示代码和数据将公开

笔记说明：本文是 SIGGRAPH 2022 的重要工作，将预训练范式引入物理角色控制，对后续研究影响深远。理解本文有助于学习后续的 Physics-Based Character Control 相关方法。第八部分详细对比了 ASE 与 AMP 及其他相关工作的区别，并解释了两者解决的核心问题差异。

Feature-Based Locomotion Controllers

论文信息: ACM SIGGRAPH 2010, Martin de Lasa, Igor Mordatch, Aaron Hertzmann, University of Toronto

Link: 项目主页

一、核心问题

1.1 研究背景

基于物理的角色动画中，创建有效、灵活且真实的运动控制器（locomotion controllers）一直是一个开放性问题。

传统方法的困境：

• 大多数方法使用关节空间（joint-space）表示
• 控制参数化在个体关节动作层面
• 关节动作之间高度非线性和相互依赖
• 难以表达协调的或有风格的动作
• 修改控制器以适应新角色、新风格需要大量重新调整

1.2 核心问题

如何设计一种控制器表示方法，使其具有：

1. 直观性 - 控制参数对应直观的高层属性
2. 灵活性 - 易于修改风格、适应新角色
3. 鲁棒性 - 对身体参数变化不敏感
4. 可复用性 - 控制器可以在不同角色间迁移

1.3 现有方法及其局限性

1.4 本文方法

论文提出了一种基于特征（Feature-Based）的控制器设计方法：

核心思想：

• 控制用高层特征表示，如质心 (COM)、角动量 (AM)、末端执行器位置
• 每个特征用一个目标函数控制
• 多个目标通过优先级优化算法组合

关键创新：

1. 特征表示：用少量直观特征表达复杂运动
2. 优先级优化：严格优先级顺序，避免目标冲突
3. 角动量控制：新的公式，不需要显式指定压力中心 (COP)
4. 无需动作捕捉：所有控制器都是手工设计的，不需要 mocap 或离线优化

二、核心贡献

1. 基于特征的控制框架

   • 用高层物理特征（COM、AM、末端执行器）表达控制
   • 直观、易理解、易修改

2. 优先级优化算法

   • 扩展了 Kanoun et al. 2009 和 de Lasa & Hertzmann 2009 的工作
   • 同时处理加权目标、严格优先级和单侧约束
   • 比加权组合更鲁棒、更易设计

3. 三种 locomotion 控制器

   • 平衡控制器 (Balancing)
   • 站立跳跃控制器 (Standing Jump)
   • 行走控制器 (Walking)

4. 演示多种优势

   • 自然属性自动涌现（手臂摆动、脚跟抬起、髋肩反向旋转）
   • 对身体参数变化鲁棒
   • 控制器可以迁移到完全不同拓扑的角色
   • 运行时可修改风格

三、大致方法

3.1 方法概述

┌─────────────────────────────────────────────────────────────────┐
│                  Feature-Based Control Pipeline                  │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  1. 定义特征 (Features)                                         │
│     - 质心 (COM)                                                │
│     - 角动量 (AM)                                               │
│     - 末端执行器 (End-effectors)                                │
│                                                                 │
│  2. 为每个特征定义目标函数 (Objectives)                          │
│     - Setpoint 目标                                             │
│     - Target 目标                                               │
│     - Angular Momentum 目标                                     │
│     - Minimum Torque 目标                                       │
│                                                                 │
│  3. 优先级优化 (Prioritized Optimization)                       │
│     ┌─────────────────────────────────────────────────────┐    │
│     │ Priority 1: E_contact (保持脚接触地面)              │    │
│     │ Priority 2: E_COM∥ (保持 COM 在支撑面上方)           │    │
│     │             E_COM⊥ (控制 COM 高度)                   │    │
│     │ Priority 3: E_AM (最小化角动量变化)                 │    │
│     │             E_pose (关节回到休息姿势)                │    │
│     │ Priority 4: ...                                      │    │
│     └─────────────────────────────────────────────────────┘    │
│                                                                 │
│  4. 求解优化问题 → 得到关节力矩 τ 和关节加速度 ¨q                  │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘

3.2 特征与目标函数

未知变量向量

在每一帧，控制器求解： $$x = \begin{bmatrix} \tau^T & \ddot{q}^T & \lambda^T \end{bmatrix}^T$$

• \(\tau\): 关节力矩
• \(\ddot{q}\): 关节加速度
• \(\lambda\): 摩擦力锥基底权重

四种目标函数

(1) Setpoint 目标 - 保持特征在某个值

$$E(x) = ||\ddot{y}_d - \ddot{y}||^2$$

其中：

• \(y = f(q)\) 是特征（如 COM 位置）
• \(\ddot{y}_d = k_p(y_r - y) - k_v\dot{y}\) 是期望加速度
• \(y_r\) 是目标值

用途：保持 COM 在脚上方、保持头部稳定等

(2) Target 目标 - 移动到远处目标

直接应用 Setpoint 目标会产生大的冲力。论文提出通过求解边界值问题来计算期望加速度：

给定：

• 当前状态：\((y_0, \dot{y}_0)\)
• 目标状态：\((y_T, \dot{y}_T)\)
• 时间：\(T\)

求解常数 \(a, b\) 使得： $$\ddot{y}_d(t) = \left(1-\frac{t}{T}\right)a + \frac{t}{T}b$$

通过积分得到线性系统： $$\begin{bmatrix} T^2/3 & T^2/6 \ T/2 & T/2 \end{bmatrix} \begin{bmatrix} a \ b \end{bmatrix} = \begin{bmatrix} y_T - y_0 - \dot{y}_0 T \ \dot{y}_T + \dot{y}_0 \end{bmatrix}$$

用途：跳跃时 COM 高度控制、行走时脚在落脚点间移动

(3) Angular Momentum 目标 - 控制角动量

$$E_{AM}(x) = ||\dot{L}_d - \dot{L}||^2$$

$$\dot{L}_d = k_p(L_r - L)$$

• \(L_r\): 参考角动量（平衡/行走时设为 0）
• \(L = P J \dot{q}\): 关于 COM 的角动量

创新点：

• 不需要指定压力中心 (COP)
• 不依赖接触力知识
• 适用于平衡、跳跃、行走

(4) Minimum Torque 目标 - 最小化关节力矩

$$E_{\tau}(x) = ||\tau||^2 = ||\begin{bmatrix} S & 0 \ 0 & I \end{bmatrix} x||^2$$

• \(S\): 选择矩阵（对角为 1 的关节是被动的）

用途：行走时让手臂自然摆动（最小化肩/肘力矩）

3.3 优先级优化

问题：加权组合的缺陷

传统方法使用加权组合： $$E(x) = \sum_i \alpha_i E_i(x)$$

问题：

• 不同目标会"打架"
• 调参困难
• 数值敏感

解决方案：优先级优化

给定有序目标列表 \(E_1, E_2, ..., E_N\)，递归定义为：

$$h_i = \min_x E_i(x)$$ $$\text{subject to } E_k(x) = h_k, \forall k < i$$ $$C(x) = 0, Dx + f \geq 0$$

含义：

• 第一步：\(\min E_1(x)\)，受动力学约束
• 第二步：\(\min E_2(x)\)，受\(E_1(x) = h_1\)约束
• 依此类推...

高效求解算法

关键观察：二次最优解位于线性子空间上

方法 1：线性约束法 (Kanoun et al. 2009)

• 将 \(E_k(x) = h_k\) 转换为线性约束 \(A_k(x - x^*_k) = 0\)
• 用 N 个 QP 递归求解
• 缺点：约束数量增加导致数值不稳定

方法 2：重参数化法 (本文采用)

对于 \(E_1(x) = ||A_1 x - b_1||^2\)，最优解空间参数化为： $$x(w) = C_1 w + d_1$$

• \(C_1 = \text{null}(A_1)\)：零空间基底（通过 SVD 计算）
• \(d_1\): 满足约束的任意最小解（通过 QP 求解）

然后第二个目标重参数化为： $$E_2(w) = ||A_2 C_1 w + A_2 d_1 - b_2||^2$$

求解第二个 QP： $$d_2 = \arg\min_w E_2(w)$$ $$\text{subject to } D C_1 w + D d_1 + f \geq 0$$

最终解：\(x^* = C_1 d_2 + d_1\)

完整算法

Algorithm 1: Constrained Quadratic Prioritized Solver

输入：N 个目标 (A_i, b_i)，约束 (C, D, f)
输出：最优解 x*

1: C̄ ← I, d̄ ← 0
2: for i = 1 to N do
3:   Ā_i ← A_i C̄
4:   b̄_i ← b_i - A_i d̄
5:   d_i ← argmin_w ||Ā_i w - b̄_i||²
6:        subject to D' C̄ w + D' d̄ + f' ≥ 0
7:   if 问题不可行 then
8:     return d̄
9:   end
10:  d̄ ← d̄ + C̄ d_i
11:  if Ā_i 满秩 then
12:    return d̄
13:  end
14:  C̄ ← C̄ null(Ā_i)
15: end
16: return d̄

四、训练（控制器设计）

4.1 平衡控制器

目标优先级：

设计细节：

优先级 1：脚接触

• Setpoint 目标
• 目标值：脚底点投影到地面

优先级 2：线性动量调节

• \(E_{COM|}\): COM 水平分量 → BOS 质心
• \(E_{COM\perp}\): COM 垂直分量 → 80% 最大 COM 高度

优先级 3：剩余冗余

• \(E_{AM}\): 阻尼不需要的旋转
• \(E_{pose}\): 中性姿势（膝盖微弯）

4.2 跳跃控制器

状态机：

STAND → COMPRESS → THRUST → ASCENT → DESCENT → IMPACT → STAND

各阶段动作：

跳跃变体：

(1) 扭转跳跃

• 在 THRUST 阶段指定非零垂直角动量
• \(L_r \neq 0\) 产生旋转

(2) 空中踢腿/劈叉

• 在飞行阶段改变 \(y_{ankle}^r\)
• 围绕用户指定轴旋转踝偏移

(3) 向前跳跃

• THRUST 阶段在行进方向命令小的 COM 位移
• 飞行阶段修改踝轨迹准备落地

4.3 行走控制器

状态依赖目标

脚控制状态机：

每只脚：SWING → PLANT → SUPPORT → HEELOFF → SWING...

脚控制目标：

• 接触状态 (PLANT, SUPPORT, HEELOFF): \(E_{contact}\)

  • 脚的前/后/四个角保持接触

• 摆动状态 (SWING): \(E_{swing}\) (Target 目标)

  • 抬脚到步高\(h\)，然后向前移动
  • 脚跟和脚趾分别控制

摆动脚目标位置： $$y_{swing|}^r = y_{stance} - 2\alpha l_{hip} d_{\perp} + l_{step} d_{|}$$

• \(l_{step}\): 步长
• \(l_{hip}\): 髋部移动
• \(d_{|}\): 行进方向
• \(d_{\perp}\): 垂直方向

COM 控制：

COM 沿正弦路径前进： $$y_{COM|}^r(\phi) = \phi p_1 + (1-\phi)p_0 + \alpha l_{hip}\sin(\pi\phi)d_{\perp}$$

• \(\phi \in [0,1]\): 相位变量
• \(p_0, p_1\): 初始和目标位置

同步机制：

• COM 轨迹持续时间 = 上一摆动相持续时间
• 简单的反馈机制鼓励稳定极限环

状态独立目标

行走参数（可运行时调整）：

4.4 动力学约束

等式约束

运动方程： $$M(q)\ddot{q} + h(q, \dot{q}) = \tau + J_c^T f_c$$

• \(M\): 关节空间惯量矩阵
• \(h\): Coriolis/离心力和重力
• \(J_c\): 接触力雅可比
• \(f_c = V\lambda\): 摩擦力锥基底表示的接触力

整理得到： $$C(x) = \begin{bmatrix} I & -M & J_c^T V \end{bmatrix} x - h = 0$$

不等式约束

地面接触：

• 接触力必须严格排斥
• 尊重摩擦约束
• 使用非穿透约束（比零加速度约束更稳定）

$$\lambda \geq 0$$ $$a_c = V^T J_c \ddot{q} + V^T \dot{J}_c \dot{q} + \dot{V}^T J_c \dot{q} \geq 0$$

关节限制：

• 当关节到达限制时添加额外约束
• 防止不自然姿势

力矩限制： $$-\tau_{max} \leq \tau \leq \tau_{max}$$

五、实验与结论

5.1 实现细节

• 模拟器: Featherstone 算法 + 半隐式积分
• 地面接触: 非弹性脉冲模型，摩擦系数μ=1
• 性能: Dual Core 3GHz Xeon, 4GB RAM, 50-100% 实时
• 角色: 35 DOF, 北美男性 50 百分位

5.2 结果展示

平衡与跳跃

• 从平衡控制器到跳跃控制器只需简单修改
• 仅改变 3 个参数（蹲下深度、推力时间、参考角动量）
• 控制器对骨骼属性变化鲁棒
• 着陆一致性好

行走风格

风格示例：

• 快走、慢走
• "悲伤"行走：手放口袋、头前倾、身体前倾、膝盖弯曲

风格修改的便捷性：

• 直接调整参数（表 2）
• 特征解耦：如躯干倾斜角不直接影响速度
• 可以运行时修改

身体形状变化

实验：

1. 肢体放大 2 倍：质量、惯量相应缩放 → 控制器仍然工作
2. 不同拓扑角色：婴儿、鸵鸟、恐龙 → 控制器无需修改

关键：特征独立于角色拓扑（除了休息姿势）

5.3 优先级优化 vs 加权优化

实验观察：

• 用加权优化无法生成跳跃动作（数值敏感、不可行）
• 行走控制器用加权优化时，手臂会"乱挥"
• 优先级优化下，跟踪误差被限制在高优先级目标

六、局限性

1. 某些动作难以生成

   • 需要大幅矢状面惯性变化的动作（如侧手翻、后空翻）
   • 当前目标/优先级组合不足以表达

2. 步行脚放置策略有限

   • 运行时修改髋移、摆动时间、步长需要协调
   • 必须确保 COM 足够靠近支撑脚
   • 控制器对扰动的鲁棒性有限（因为轨迹在世界坐标定义）

3. 计算成本

   • 优先级优化比加权优化慢
   • 每个优先级需要求解 QP + SVD
   • 需要双精度算术保证数值稳定

4. 实现复杂度

   • 比加权优化更复杂
   • 需要处理零空间计算、SVD 分解

5. 约束切换敏感

   • 接触点数量快速变化时可能产生噪声力矩
   • 雅可比矩阵可能秩亏（机器精度级别）

七、启发

7.1 方法学启发

1. 特征空间表示的优势

   • 提供控制设计的抽象层
   • 解耦不同控制目标
   • 使推理运动更直观

2. 优先级优化的设计哲学

   • 分层设计：先保证基础（平衡），再添加细节（风格）
   • 避免目标冲突
   • 类似人类运动控制的"最小干预原理"

3. 角动量控制的新公式

   • 不需要 COP 轨迹
   • 适用于多种运动模式
   • 简化了实现

7.2 工程实践启发

1. 无需动作捕捉或优化

   • 所有控制器手工设计
   • 降低了数据依赖
   • 更易于理解和修改

2. 参数直观性

   • 参数对应物理量（如 COM 高度、步长）
   • 调参过程更直观
   • 风格可以在运行时修改

3. 角色迁移能力

   • 特征独立于拓扑
   • 同一控制器可用于不同角色
   • 自动计算雅可比和目标项

7.3 与后续工作的联系

• 本文是 Mordatch et al. 2010 "Robust Physics-Based Locomotion" 的基础
• 后续的 AMP、ASE 等工作采用数据驱动方法，但控制层次化思想一脉相承
• 优先级优化思想在机器人领域广泛应用

八、遗留问题

8.1 开放性问题

1. 更复杂的动作

   • 如何生成侧手翻、后空翻等需要大幅惯性变化的动作？
   • 需要什么样的额外特征/目标？

2. 更鲁棒的脚放置

   • 如何设计对扰动更鲁棒的脚放置策略？
   • 是否需要在线规划？

3. 自动优先级学习

   • 优先级顺序能否从数据中学习？
   • 能否自动发现合适的特征？

4. 与数据驱动方法结合

   • 如何将特征空间方法与 mocap 数据结合？
   • 能否学习特征目标函数？

5. 实时应用

   • 如何加速优先级优化以满足实时要求？
   • 能否用近似方法？

8.2 未来方向

论文提到后续工作：

• Mordatch et al. 2010: 提出规划策略解决脚放置问题
• 扩展到更多运动类型（投掷、操作物体）
• 结合学习和优化

九、关键公式总结

十、代码与资源

• 项目主页: http://www.dgp.toronto.edu/~mdelasa/feature
• 视频: 项目主页提供演示视频（平衡、跳跃、行走、不同风格、不同角色）
• 代码: 未公开

笔记说明：本文是基于物理的角色控制领域的经典工作，提出了基于特征的控制框架。理解本文有助于学习后续的 Physics-Based Character Control 方法，特别是理解控制层次化、优先级优化等核心概念。与 ASE、AMP 等数据驱动方法相比，本文代表了手工设计控制器的巅峰。

DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills

论文信息: ACM Transactions on Graphics (SIGGRAPH 2018), Xue Bin Peng et al., UC Berkeley/UBC

Link: 项目主页

一、核心问题

1.1 研究背景

基于物理的角色动画领域有一个长期目标：将数据驱动的行为指定与物理模拟执行系统相结合，从而实现：

• 对扰动的真实响应
• 对环境变化的适应能力

传统方法的局限：

数据使用方式对比：

关键区别：

• 运动跟踪：数据是"必须跟随的轨迹"，控制器被绑死在参考动作上
• 纯 RL：完全不使用动作数据，只靠奖励函数，容易产生"奇怪但有效"的步态
• GAIL：数据是"真样本"，用于训练判别器，但训练不稳定
• DeepMimic：数据是"鼓励相似的目标"，策略有自由度调整动作以完成任务

1.2 核心问题

如何构建一个系统，能够：

1. 接受艺术家或动捕演员提供的一组参考动作
2. 生成有目标的、物理真实的行為
3. 对扰动有鲁棒性
4. 能够完成用户指定的任务目标

1.3 现有方法及其局限性

现有 RL 方法的挑战：

• 难以指定自然运动的奖励函数
• 没有生物力学模型时，容易产生不自然步态
• 需要人工设计奖励函数（如效率惩罚、冲击惩罚等）

DeepLoco 的局限：

• 固定初始状态
• 无法完成高度动态的动作
• 仅展示在 locomotion 任务上

1.4 本文方法

论文提出了 DeepMimic 框架：

核心思想：

• 直接奖励学习到的控制器产生与参考动画数据相似的动作
• 同时实现额外的任务目标
• 结合深度强化学习 (PPO) 与动作模仿

关键创新：

1. 相位感知策略 (Phase-Conditioned Policy)
2. 参考状态初始化 (Reference State Initialization, RSI)
3. 早终止 (Early Termination, ET)
4. 多动作整合方法

能力展示：

• 处理关键帧动作
• 高度动态的动作（后空翻、旋转）
• 重定向动作
• 多种角色（人形、Atlas 机器人、恐龙、龙）

二、核心贡献

1. 数据驱动的物基动画框架

   • 结合目标导向的强化学习与动作数据
   • 动作数据可以是 motion capture clips 或关键帧动画

2. 高质量运动生成

   • 产生的动作质量远超先前工作
   • 在无扰动情况下，与参考动作几乎无法区分

3. 多动作整合方法

   • 多 clip 奖励（max 操作符）
   • 用户触发的多技能策略
   • 使用价值函数评估过渡可行性的序列策略

4. 广泛验证

   • 多种角色形态
   • 大量技能（locomotion、杂技、武术动作）

三、大致方法

3.1 框架概述

┌─────────────────────────────────────────────────────────────────┐
│                      DeepMimic Framework                         │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  输入：参考动作片段 {q̂_t} (mocap 数据或关键帧)                      │
│                                                                 │
│  强化学习设置：                                                  │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │ 状态 s_t = [p_t, v_t, q_t, ω_t, 相位 φ]                 │   │
│  │ 动作 a_t = 关节目标位置/速度 (PD 控制器)                 │   │
│  │ 奖励 r_t = ω_I * r_I + ω_G * r_G                        │   │
│  │       r_I: 模仿奖励 (跟踪参考动作)                       │   │
│  │       r_G: 任务奖励 (完成目标)                           │   │
│  └─────────────────────────────────────────────────────────┘   │
│                                                                 │
│  训练技巧：                                                      │
│  - 参考状态初始化 (RSI): 从参考动作的随机状态开始 episode          │
│  - 早终止 (ET): 失败时立即终止 episode                           │
│                                                                 │
│  输出：物理模拟控制器 π(a|s)                                      │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘

3.2 方法详解

强化学习公式

MDP 定义：

• 状态空间 \(S\)
• 动作空间 \(A\)
• 转移动力学 \(p(s'|s, a)\)
• 奖励函数 \(r(s, a, s')\)
• 折扣因子 \(\gamma\)

策略目标： $$\max_{\theta} J(\theta) = \mathbb{E}{\tau \sim \pi{\theta}} \left[ \sum_{t=0}^{T} \gamma^t r_t \right]$$

使用 PPO (Proximal Policy Optimization) 算法训练。

四、训练细节

4.1 策略表示

状态空间

$$s_t = [p_t, v_t, q_t, \omega_t, \phi_t]$$

相位表示

对于循环动作（如走路、跑步）： $$\phi_t = \frac{t \mod T_{cycle}}{T_{cycle}} \in [0, 1]$$

• \(T_{cycle}\): 动作周期长度
• 相位作为策略输入，帮助跟踪进度

动作空间

动作指定 PD 控制器的目标：

• 目标关节旋转 \(q^{target}\)
• 目标关节速度 \(\omega^{target}\)

4.2 奖励函数设计

总奖励

$$r_t = \omega_I r_t^I + \omega_G r_t^G$$

• \(r_t^I\): 模仿奖励
• \(r_t^G\): 任务奖励
• \(\omega_I, \omega_G\): 权重

模仿奖励分解

$$r_t^I = w_p r_t^p + w_v r_t^v + w_e r_t^e + w_c r_t^c$$

权重：\(w_p=0.65, w_v=0.1, w_e=0.15, w_c=0.1\)

(1) 姿势奖励 \(r_t^p\) - 匹配关节方向

$$r_t^p = \exp\left[-2 \sum_j ||\hat{q}_t^j \ominus q_t^j||^2\right]$$

• \(\hat{q}_t^j\): 参考动作第 \(j\) 关节方向
• \(q_t^j\): 模拟角色第 \(j\) 关节方向
• \(\ominus\): 四元数差

(2) 速度奖励 \(r_t^v\) - 匹配关节速度

$$r_t^v = \exp\left[-0.1 \sum_j ||\hat{\dot{q}}_t^j - \dot{q}_t^j||^2\right]$$

(3) 末端执行器奖励 \(r_t^e\) - 匹配手脚位置

$$r_t^e = \exp\left[-40 \sum_e ||\hat{p}_t^e - p_t^e||^2\right]$$

• \(e \in\) {左脚，右脚，左手，右手}

(4) 质心奖励 \(r_t^c\) - 匹配质心位置

$$r_t^c = \exp\left[-40 ||\hat{p}_t^c - p_t^c||^2\right]$$

任务奖励示例

(1) 导航任务 $$r_t^G = \exp\left[-0.25 (v^* - d^* \cdot \dot{x}_t^{root})^2\right]$$

• \(v^*\): 目标速度
• \(d^*\): 目标方向

(2) 打击任务 $$r_t^G = \begin{cases} 1, & \text{target hit} \ \exp[-4||p_t^{tar} - p_t^e||^2], & \text{otherwise} \end{cases}$$

4.3 关键训练技巧

参考状态初始化 (RSI)

问题：学习高度动态动作（如后空翻）非常困难

• 需要从精确的起跳条件开始
• 从固定初始状态开始，agent 很难偶然发现成功的翻转

解决方案：RSI (Reference State Initialization)

• 每个 episode 开始时，从参考动作的随机状态启动
• 让 agent 早期就能接触到"有希望的状态"

效果：

• 加速学习
• 使高度动态动作的学习成为可能

早终止 (Early Termination, ET)

目的：提高训练效率

终止条件：

• 检测到跌倒（躯干接触地面）
• 某些链接低于高度阈值
• 超过最大时间步

好处：

• 快速淘汰失败轨迹
• 专注于成功的样本

4.4 多动作整合方法

方法 1: 多 Clip 奖励

$$r_t^I = \max_j r_t^{I,j}$$

• \(r_t^{I,j}\): 第 \(j\) 个 clip 的模仿奖励
• 策略自行选择最适合当前情况的 clip
• 无需手工设计运动规划器

方法 2: 技能选择器

训练：

• 策略输入包含 one-hot 向量 \(g_t\)（目标技能）
• 只优化当前选中技能的模仿奖励

使用：

• 用户可以运行时指定要执行的技能序列

方法 3: 组合策略

训练：

• 为每个技能训练独立策略 \(\pi_i\)

过渡：

• 使用价值函数 \(V(s)\) 评估从技能 \(i\) 过渡到技能 \(j\) 的可行性
• 选择 \(V_j(s)\) 最高的过渡

五、实验与结论

5.1 实现细节

5.2 角色模型

5.3 学习结果

技能学习统计

观察：

• 简单 cyclic 技能（走路、跑步）收敛快、回报高
• 复杂技能（头转、后空翻）需要更多样本

多技能结果

5.4 任务表现

导航任务

• 能够跟踪目标方向行走/跑步
• 对速度变化有响应

打击任务

• 能够用脚/手击中目标
• 适应目标位置变化

鲁棒性测试

• 对外部推力有恢复能力
• 能够处理形态变化

六、局限性

1. 训练时间

   • 复杂技能需要数千万步样本
   • 训练时间可能长达数小时到数天

2. 技能过渡

   • 某些技能之间的过渡不平滑
   • 需要仔细设计过渡条件

3. 长序列动作

   • 对于非常长的动作序列，性能可能下降
   • 相位表示对于非循环动作不适用

4. 重定向限制

   • 形态差异过大时，动作质量下降
   • 需要调整奖励权重

5. 计算成本

   • 需要大量并行模拟
   • 对 GPU 资源要求高

七、启发

7.1 方法学启发

1. 模仿 + 任务的平衡

   • 纯模仿：动作自然但无目标
   • 纯任务：有目标但动作不自然
   • DeepMimic: 两者结合，兼顾质量和功能

2. RSI 的重要性

   • 对于困难任务，从"中间状态"开始学习
   • 类似课程学习的思想

3. 相位表示的力量

   • 对于循环动作，相位是关键输入
   • 帮助策略跟踪动作进度

7.2 工程实践启发

1. 奖励函数设计

   • 分解为多个子项
   • 使用指数形式使奖励平滑
   • 权重设置需要经验

2. 终止条件

   • 早终止加速训练
   • 但太严格可能错过潜在成功样本

3. 网络架构

   • 全连接网络足够处理大多数技能
   • 对于更复杂任务可能需要更深的网络

7.3 与后续工作的联系

• AMP (2021): 改进对抗运动先验
• ASE (2022): 学习可复用技能嵌入
• PDE (2023): 运动扩散模型
• 本文是 Physics-Based Character Control 深度学习的奠基工作之一

八、遗留问题

8.1 开放性问题

1. 自动奖励权重调整

   • 当前需要手动设置 \(w_p, w_v, w_e, w_c\)
   • 能否自适应调整？

2. 零样本重定向

   • 能否直接迁移到完全不同的形态？
   • 如从人到四足动物

3. 长视野规划

   • 当前是反应式策略
   • 如何整合长期规划？

4. 与 mocap 数据的更深度融合

   • 当前只用位置/方向
   • 能否利用力/力矩数据？

8.2 未来方向

论文提到的未来工作：

• 更复杂的技能组合
• 自动技能发现
• 与高层任务规划结合

九、关键公式总结

十、代码与资源

• 项目主页: https://xbpeng.github.io/projects/DeepMimic
• 代码: 官方未公开完整代码，但有多个开源实现
  • isaacgymenvs 包含类似实现
  • mimicmotion 等

笔记说明：DeepMimic 是 Physics-Based Character Control 领域里程碑式的工作，首次展示了深度强化学习可以学习高度动态的物理技能。理解本文是学习后续 AMP、ASE 等工作的基础。

ControlVAE: Model-Based Learning of Generative Controllers for Physics-Based Characters

论文信息: ACM Transactions on Graphics, 2023, Heyuan Yao et al., Peking University

Link: 项目主页

一、核心问题

1.1 研究背景

基于物理的角色控制器可以被公式化为生成模型：

• 潜在空间中的样本被解码为具体的角色动作
• 目标是学习多样化的技能表示和通用的控制策略

现有生成控制方法的局限：

1.2 核心问题

如何学习一个生成式控制器，能够：

1. 从多样化的无组织动作序列中学习丰富的技能潜在表示
2. 通过潜在空间采样生成真实的人类行为
3. 让高层控制策略复用学到的技能完成各种下游任务
4. 训练过程稳定高效

1.3 现有方法及其局限性

VAE 在角色控制中的应用：

• 通常使用标准正态分布 N(0,I) 作为先验 p(z)
• 问题：这种状态无关的先验不能有效地解耦不同技能的表示

观察到的问题：

• 角色频繁快速切换技能
• 导致抽搐的动作和偶尔摔倒
• 下游控制策略效率低下（如方向控制任务中难以保持恒定方向）

原因分析：

• 状态无关的先验分布没有提供足够的信息用于正则化
• 编码器计算出不一致的技能分布
• 相同的技能在不同状态下被编码到潜在空间的不同部分

1.4 本文方法

论文提出了 ControlVAE 框架：

核心创新：

1. 状态条件先验分布 (State-Conditional Prior)

   • p(z|s) 而非 p(z)
   • 根据当前角色状态生成更合适的技能嵌入
   • 在下游任务中表现优于非条件先验

2. 基于世界模型的学习 (Model-Based Learning)

   • 学习可微的世界模型近似模拟系统动力学
   • 世界模型提供直接监督信号
   • 实现高效稳定的训练

3. 数据平衡策略 (Data Balancing)

   • 解决简单动作占用过多训练样本的问题
   • 确保困难技能也能被有效学习

框架能力：

• 从多样化无组织动作序列学习
• 潜在空间采样生成真实行为
• 支持各种下游任务（高度控制、方向控制、转向控制、风格控制）

二、核心贡献

1. ControlVAE 框架

   • 基于 VAE 的生成式控制策略
   • 状态条件先验分布
   • 可微世界模型

2. 模型强化学习算法

   • 使用世界模型进行直接监督
   • 训练稳定高效
   • 支持多种下游任务

3. 数据平衡技术

   • 基于状态价值的采样
   • 确保困难技能的学习

4. 多样化任务演示

   • 高度控制、方向控制、转向控制
   • 风格迁移和控制

三、大致方法

3.1 框架概述

┌─────────────────────────────────────────────────────────────────┐
│                      ControlVAE System                           │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  输入：无组织动作数据集 D = {τ̃_i}                                  │
│                                                                 │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │  ControlVAE (生成式控制策略)                             │   │
│  │  - 编码器 q(z|s_t, s_{t+1}): 状态转移 → 技能嵌入         │   │
│  │  - 解码器/策略 π(a|s,z): 状态 + 技能 → 动作              │   │
│  │  - 条件先验 p(z|s): 状态 → 技能先验分布                  │   │
│  └─────────────────────────────────────────────────────────┘   │
│                                                                 │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │  World Model (世界模型) ω(s'|s,a)                        │   │
│  │  - 预测下一状态：给定当前状态和动作                      │   │
│  │  - 可微，允许梯度反向传播                                │   │
│  └─────────────────────────────────────────────────────────┘   │
│                                                                 │
│  训练：最大化 ELBO + 动作正则化                                  │
│       使用世界模型生成合成轨迹进行训练                          │
│                                                                 │
│  下游任务：训练高层策略 μ_g(s) → z                              │
│           使用学到的技能嵌入完成特定任务                        │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘

3.2 核心组件

(1) 生成过程

ControlVAE 基于变分自编码器 (VAE) 框架。

ELBO (Evidence Lower Bound): $$\mathcal{L} = \mathbb{E}{q(z|s_t,s{t+1})}[\log p(s_{t+1}|s_t,z)] - D_{KL}(q(z_t|s_t,s_{t+1}) | p(z_t|s_t))$$

• 第一项：重建损失（鼓励准确预测下一状态）
• 第二项：KL 散度（鼓励后验分布接近先验分布）

(2) 状态条件先验

标准 VAE 先验的问题：

• p(z) = N(0,I) 是状态无关的
• 导致技能表示不一致

本文的条件先验： $$p(z_t|s_t) \sim \mathcal{N}(\mu_p(s_t; \theta_p), \sigma_p^2 I)$$

• 均值 μ_p 是神经网络，输入是当前状态 s_t
• 方差 σ_p 是超参数
• 根据当前状态生成合适的先验分布

(3) 策略表示

技能条件策略： $$\pi(a_t|s_t, z_t) \sim \mathcal{N}(\mu_\pi, \Sigma_\pi)$$

• 均值 μ_π(s_t, z_t; θ_π) 是神经网络
• 输入：状态 s_t 和技能 z_t
• 输出：动作分布（PD 控制器目标）

(4) 编码器

近似后验分布： $$q(z_t|s_t, s_{t+1}) \sim \mathcal{N}(\mu_q(s_t, s_{t+1}), \sigma_q^2 I)$$

• 输入：状态转移 (s_t, s_{t+1})
• 输出：技能嵌入 z_t

训练技巧：设置 μ_q 使得 KL 散度计算简化： $$D_{KL}(q | p) = \frac{\mu_q^T \mu_q}{2\sigma_p^2}$$

四、训练细节

4.1 世界模型

模型结构

世界模型学习预测下一状态： $$\omega(s_{t+1}|s_t, a_t) \sim \mathcal{N}(\mu_\omega(s_t, a_t), \Sigma_\omega(s_t, a_t))$$

输出：

• 均值 μ_ω(s_t, a_t): 预测的下一状态
• 协方差 Σ_ω(s_t, a_t) = diag(σ_ω²): 预测不确定性

世界模型训练

损失函数： $$\mathcal{L}\omega = \mathbb{E}{s_t, a_t, s_{t+1}}[||s_{t+1} - \mu_\omega(s_t, a_t)||W^2 + ||\log \sigma\omega + \frac{(s_{t+1} - \mu_\omega)^2}{2\sigma_\omega^2}||_1]$$

• 第一项：状态预测误差
• 第二项：不确定性校准

训练方式：

• 从经验缓冲区采样真实轨迹
• 最小化预测误差

4.2 ControlVAE 训练

损失函数

总损失： $$\mathcal{L} = \mathcal{L}{rec} + \mathcal{L}{kl} + \mathcal{L}_{act}$$

重建损失： $$\mathcal{L}{rec} = \sum{t=0}^{T-1} \gamma^t \mathbb{E}{q, \pi}[||\tilde{s}{t+1} - \mu_\omega(s_t, a_t)||_W^2]$$

• s̃_{t+1}: 参考轨迹的下一状态
• s_t: 合成轨迹的当前状态
• a_t: 策略生成的动作

KL 损失： $$\mathcal{L}{kl} = \sum{t=0}^{T-1} \gamma^t \frac{||\mu_q(s_t, \tilde{s}_{t+1})||_2^2}{2\sigma_p^2}$$

动作正则化： $$\mathcal{L}{act} = \sum{t=0}^{T-1} \gamma^t (w_{a1}||a_t||1 + w{a2}||a_t||_2^2)$$

• 防止过度的控制输入
• 产生更平滑的动作

合成轨迹生成

训练过程：

1. 从参考轨迹 D 中选择随机起始状态 s̃_0
2. 使用策略 π(a|s,z) 在世界模型 ω 中展开轨迹
3. 技能 z_t 从后验 q(z|s_t, s̃_{t+1}) 采样
4. 使用重参数化技巧保证梯度反向传播

折扣因子：γ = 0.95

• 降低不准确状态的权重
• 合成轨迹会随时间偏离真实轨迹

4.3 数据平衡策略

问题

• 数据集中包含多样化技能（走路、跑步、跳跃、起身等）
• 简单动作（如走路）产生更长的模拟轨迹
• 占据经验缓冲区，使 ControlVAE 难以学习困难技能

解决方案：基于状态的采样

状态价值计算： $$V_t^* = \sum_{k=0}^{T-t} \gamma^k r_{t+k} + \gamma^{T+1-t} V_{T+1}$$ $$V_t = (1-\alpha)V_t + \alpha V_t^*$$

奖励定义： $$r_t = \exp(-||W(\tilde{s}_t - s_t)||_1 / T_V)$$

• T_V = 20: 温度参数
• 跟踪误差越小，奖励越高

采样概率： $$P(s_t) \propto \frac{1}{\max(0.01, V_t)}$$

• 低价值状态（困难技能）有更高采样概率
• 每 200 个 epoch 更新一次价值

4.4 轨迹采样器

数据增强策略：

• 在模拟过程中随机切换参考动作片段
• 鼓励学习动作之间的新过渡
• 新的起始状态也使用数据平衡策略选择

效果：

• 许多切换会导致角色摔倒（姿势/速度不匹配）
• 角色在训练中自动学习恢复策略
• 鼓励先验分布嵌入多样化的动作过渡

4.5 训练算法

Algorithm 1: ControlVAE Training

输入：动作数据集 D
1: 初始化世界模型 ω, ControlVAE (π, q, p)
2: B ← ∅  // 经验缓冲区
3: for epoch = 1, ... do
4:   // 轨迹收集
5:   while |B'| < N_B' do
6:     根据状态价值从 D 采样起始状态 s̃_0
7:     s_0 ← s̃_0
8:     for t = 0, 1, ... do
9:       z_t ← q(z|s_t, s̃_{t+1})  // 重参数化采样
10:      a_t ← π(a|s_t, z_t)
11:      s_{t+1} ← ω(s_t, a_t)  // 模拟或世界模型
12:      if 摔倒或超时 then break
13:    end for
14:    存储轨迹到 B'
15:  end while
16:  B ← B ∪ B'  // 替换最旧的轨迹
17:
18:  // 更新世界模型
19:  for step = 1, ..., 8 do
20:    从 B 采样批次 {τ*}
21:    计算 L_ω 并更新 ω
22:  end for
23:
24:  // 更新 ControlVAE
25:  从 B 采样起始状态生成合成轨迹
26:  计算 L_rec + L_kl + L_act
27:  更新 π, q, p
28:
29:  // 更新状态价值
30:  if epoch % 200 == 0 then
31:    根据轨迹更新 V_t
32:  end if
33: end for

4.6 实现细节

网络架构：

• 所有网络使用 3 层 MLP
• 隐藏层维度：512
• ReLU 激活

训练时间：

• 20,000 次迭代
• 约 50 小时（4 线程并行）
• CPU: Intel Xeon Gold 6240 @ 2.60GHz
• GPU: NVIDIA GTX 2080Ti

五、下游任务

训练好 ControlVAE 后，可以学习高层策略来完成各种任务。

5.1 高度控制

任务：控制角色的身高

损失函数： $$\mathcal{L}_g = H \cdot h_0$$

• h_0: 角色根关节高度
• H ∈ {-1, 1}: 任务参数
  • H = -1: 蹲下直到躺在地上
  • H = 1: 站起来并尽可能跳高

5.2 方向控制

任务：朝目标方向以目标速度移动

损失函数： $$\mathcal{L}g = w{\theta_h}|\theta_h^* - \theta_h| + w_v \frac{|v^* - v|}{\max(v^*, 1)}$$

• θ_h: 当前朝向
• v: 当前速度
• θ_h^*: 目标朝向
• v^*: 目标速度 [0, 3] m/s
• 权重：(w_θ, w_v) = (2.0, 1.0)

5.3 转向控制

任务：同时控制朝向和行进方向

损失函数： $$\mathcal{L}g = w{\theta_h}|\theta_h^* - \theta_h| + w_{\theta_v}|\theta_v^* - \theta_v| + w_v \frac{|v^* - ||\bar{v}_0||_2|}{\max(v^*, 1)}$$

• θ_v: 行进方向角度
• v_0: 根节点线速度的平面分量

5.4 风格控制

任务：在完成目标的同时保持特定风格（如跛行、悲伤行走）

方法：使用对抗训练

损失函数： $$\mathcal{L}g = \mathcal{L}{g'} + w_D \mathcal{L}_D + w_C \mathcal{L}C + w_r \mathcal{L}{reg}$$

• L_{g'}: 目标任务损失
• L_D: 对抗损失（区分真实/生成动作）
• L_C: 分类器损失（确保正确的技能）
• L_{reg}: 正则化项

鉴别器训练： $$\min_D \mathbb{E}{\tau_c}[(D(s_t, s{t+1}; c) - 1)^2] + \mathbb{E}{\tau_g}[(D(s_t, s{t+1}; c) + 1)^2] + w_g \mathbb{E}_{\tau_c}[||\nabla D||^2]$$

六、实验与结论

6.1 角色模型

• 自由度: 未指定（标准人形角色）
• 动作数据集: 包含走路、跑步、跳跃、起身等多样化长序列

6.2 评估结果

重建能力

• 使用学到的后验 q(z|s,s') 作为跟踪控制
• 角色准确执行输入动作
• 在动作切换时自动平滑过渡
• 极端情况下摔倒后自动恢复（起身动作不在数据集中）

随机采样

• 从条件先验 p(z|s) 随机采样
• 角色执行多样化技能：
  • 停止然后开始走路
  • 随机转向
  • 单脚跳、跳跃等

6.3 学习曲线

• 约 10,000 次迭代后开始收敛
• 动作质量持续提升
• 完整训练 20,000 次迭代

6.4 下游任务表现

七、局限性

1. 训练时间

   • 约 50 小时（虽有并行）
   • 对于实时应用仍然较长

2. 世界模型误差累积

   • 合成轨迹随时间偏离真实轨迹
   • 使用折扣因子缓解但不能完全解决

3. 技能表示维度

   • 固定维度的潜在空间可能限制技能多样性
   • 更复杂的技能可能需要更大的潜在空间

4. 早终止策略

   • 头部跟踪误差阈值可能过于简单
   • 某些技能（如地面动作）可能被错误终止

5. 数据依赖性

   • 需要多样化的动作数据集
   • 数据集中没有的技能难以学习

八、启发

8.1 方法学启发

1. 条件先验的优势

   • 状态条件先验比标准正态先验更有效
   • 提供额外的上下文信息
   • 类似思想可应用于其他生成模型

2. 模型强化学习的价值

   • 世界模型提供直接监督信号
   • 训练更稳定、样本效率更高
   • 避免了奖励工程的困难

3. 数据平衡的重要性

   • 简单样本会主导训练
   • 需要显式平衡策略
   • 基于价值的采样是有效方法

8.2 与相关工作对比

8.3 实际应用价值

• 游戏动画: 生成多样化 NPC 行为
• 虚拟现实: 实时角色控制
• 机器人: 技能学习和迁移
• 影视动画: 自动生成中间动作

九、遗留问题

9.1 开放性问题

1. 潜在空间结构

   • 技能在潜在空间中如何组织？
   • 能否实现更细粒度的技能控制？

2. 零样本技能组合

   • 能否组合已学技能完成新任务？
   • 如何实现技能的层次化表示？

3. 世界模型改进

   • 能否使用更强大的世界模型（如 Transformer）？
   • 如何处理长视野预测？

4. 多角色泛化

   • 能否在一个模型中学习多个角色的技能？
   • 如何实现形态学迁移？

9.2 未来方向

论文提到的未来工作：

• 扩展到更复杂的技能
• 与高层任务规划结合
• 改进世界模型准确性

十、关键公式总结

十一、代码与资源

• 项目主页: https://github.com/HeyuanYao/ControlVAE
• 代码: GitHub 开源
• 视频: 项目主页提供演示视频

笔记说明：ControlVAE 提出了一种基于模型的学习框架，结合 VAE 和世界模型实现高效的生成式控制。理解本文有助于学习基于物理的角色控制中的生成模型方法，与 AMP、ASE 等工作形成对比和互补。

Trace and Pace: Controllable Pedestrian Animation via Guided Trajectory Diffusion

论文信息: CVPR 2024, Davis Rempe et al., NVIDIA/Stanford/CMU/SFU/Toronto

Link: CVF Open Access

一、核心问题

1.1 研究背景

行人动画是自动驾驶、城市规划和建筑设计等领域的核心问题。一个完整的行人动画系统需要生成真实的 2D 轨迹和全身动作。

现有方法的局限：

1.2 核心问题

如何构建一个行人动画系统，能够：

1. 在测试时通过用户指定的目标（如路径点、速度、社交组）进行控制
2. 生成真实自然的轨迹和全身动作
3. 适应不同地形（楼梯、斜坡、不平整地面）
4. 支持不同体型的人物角色
5. 避免碰撞（障碍物之间、行人之间）

1.3 本文方法

论文提出了 Trace and Pace 框架，包含两个核心组件：

1. TRACE (TRAjectory Diffusion Model for Controllable PEdestrians)

• 基于扩散模型的轨迹生成器
• 测试时通过 guidance 实现控制
• 支持路径点、避障、社交组等控制目标

2. PACER (Pedestrian Animation ControllER)

• 基于强化学习的物理控制器
• 使用对抗运动先验学习真实动作
• 支持不同体型和地形

系统架构：

TRACE (高层规划器)
    ↓ (2D 轨迹)
PACER (底层控制器)
    ↓ (关节控制)
物理仿真环境
    ↓ (状态反馈)
TRACE (重新规划)

二、核心贡献

1. TRACE：可控制的轨迹扩散模型

   • 使用 classifier-free sampling 实现测试时控制
   • 提出 clean guidance 公式，在干净轨迹上操作
   • 支持多种分析性引导目标（路径点、避障、社交组）

2. PACER：通用行人动画控制器

   • 从少量动作数据学习真实步态
   • 地形感知：楼梯、斜坡、不平整地面
   • 社交感知：避免与其他行人碰撞
   • 体型感知：支持不同身体形态

3. 闭环行人动画系统

   • TRACE 和 PACER 独立训练，运行时闭环集成
   • 使用 PACER 的价值函数指导 TRACE 去噪
   • 支持大规模人群仿真

三、大致方法

3.1 框架概述

┌─────────────────────────────────────────────────────────────────┐
│                  Trace and Pace System                           │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │  TRACE: 轨迹扩散模型 (高层规划器)                        │   │
│  │  - 输入：过去轨迹 + 邻居轨迹 + 语义地图                    │   │
│  │  - 输出：未来 5 秒 2D 轨迹 (x, y, θ, v)                    │   │
│  │  - 控制：测试时 guidance (路径点、避障、社交组)           │   │
│  └─────────────────────────────────────────────────────────┘   │
│                              ↓                                  │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │  PACER: 物理控制器 (底层执行器)                          │   │
│  │  - 输入：2D 轨迹 + 环境特征 + 体型参数                     │   │
│  │  - 输出：PD 控制器目标 (关节角度/速度)                    │   │
│  │  - 学习：对抗运动先验 + PPO                               │   │
│  └─────────────────────────────────────────────────────────┘   │
│                              ↓                                  │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │  物理仿真 (Isaac Gym)                                    │   │
│  │  - 地形：楼梯、斜坡、障碍物                              │   │
│  │  - 反馈：角色状态 + 高度图                               │   │
│  └─────────────────────────────────────────────────────────┘   │
│                                                                 │
│  闭环：每 2 秒重新规划，PACER 状态反馈给 TRACE                    │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘

3.2 核心组件

(1) TRACE：轨迹扩散模型

问题定义：

• 输入：ego 行人过去轨迹 \(x_{ego} = [s_{t-T_p}, ..., s_t]\)
• 输入：邻居行人过去轨迹 \(X_{neigh} = {x_i}_{i=1}^N\)
• 输入：语义地图 \(M \in \mathbb{R}^{H \times W \times C}\)
• 输出：未来轨迹 \(\tau = [\tau^s; \tau^a]\)
  • 状态 \(\tau^s = [s_{t+1}, ..., s_{t+T_f}]\)，\(s = [x, y, \theta, v]^T\)
  • 动作 \(\tau^a = [a_{t+1}, ..., a_{t+T_f}]\)，\(a = [\dot{v}, \dot{\theta}]^T\)

扩散过程：

• 前向：添加高斯噪声 \(\epsilon \sim \mathcal{N}(0, I)\) $$\tau^k = \sqrt{\bar{\alpha}_k} \tau^0 + \sqrt{1-\bar{\alpha}_k} \epsilon$$
• 反向：学习去噪分布 $$p_\phi(\tau^{k-1} | \tau^k, C) := \mathcal{N}(\tau^{k-1}; \mu_\phi(\tau^k, k, C), \Sigma_k)$$

训练目标： $$\mathcal{L} = \mathbb{E}_{\epsilon, k, \tau^0, C} \left[ ||\tau^0 - \hat{\tau}^0||^2 \right]$$

(2) Classifier-Free Sampling

目的：提高测试时对条件输入的遵循能力

训练：随机丢弃条件输入（10% 概率）

• 同时学习条件模型 \(\mu_\phi(\tau^k, k, C)\)
• 同时学习无条件模型 \(\mu_\phi(\tau^k, k)\)

测试时组合： $$\tilde{\epsilon}\phi = \epsilon\phi(\tau^k, k, C) + w \left( \epsilon_\phi(\tau^k, k, C) - \epsilon_\phi(\tau^k, k) \right)$$

• \(w > 0\)：增强条件影响
• \(w < 0\)：减弱条件影响
• \(w = 0\)：纯条件模型
• \(w = -1\)：纯无条件模型

(3) Clean Guidance

问题：传统 guidance 在噪声轨迹上评估损失函数，需要训练噪声鲁棒的损失函数

解决方案：在干净轨迹预测 \(\hat{\tau}^0\) 上操作

传统方法 (Noisy Guidance)： $$\tilde{\mu} = \mu - \alpha \Sigma_k \nabla_\mu \mathcal{J}(\mu)$$

本文方法 (Clean Guidance)： $$\tilde{\tau}^0 = \hat{\tau}^0 - \alpha \Sigma_k \nabla_{\tau^k} \mathcal{J}(\hat{\tau}^0)$$

优点：

• 可以直接使用分析性损失函数
• 不需要训练噪声鲁棒的损失函数
• 样本质量更好，目标遵循度更高

(4) 引导目标函数

路径点引导： $$\mathcal{J}{waypoint}(\tau) = ||(x{target}, y_{target}) - (x_T, y_T)||^2$$

障碍物避免： $$\mathcal{J}{obs}(\tau) = \sum_t \max(0, r{ped} + r_{obs} - ||p_t - p_{obs}||)^2$$

行人避免： $$\mathcal{J}{agent}(\tau) = \sum_t \max(0, 2r{ped} - ||p_t - p_{neighbor}||)^2$$

社交组： $$\mathcal{J}{group}(\tau) = \sum_t ||(x_t, y_t) - (x{group}, y_{group})||^2$$

3.3 PACER：物理控制器

状态空间

$$s_t = [h_t, o_t, \beta, \tau^s]$$

• \(h_t\): 角色状态（关节位置/速度/旋转）
• \(o_t \in \mathbb{R}^{64 \times 64 \times 3}\): 局部高度图和速度图
• \(\beta\): SMPL 体型参数
• \(\tau^s\): 目标 2D 轨迹

动作空间

$$a_t = \text{PD 控制器目标}$$

• 目标关节旋转
• 目标关节速度

奖励函数

$$r_t = r^{amp}_t + r^{\tau}_t + r^{energy}_t$$

• \(r^{amp}_t\): 对抗运动奖励（来自判别器）
• \(r^{\tau}_t\): 轨迹跟踪奖励
• \(r^{energy}_t\): 能量惩罚

对称性损失

问题：RL 训练可能产生不对称步态（如跛行）

解决方案：运动对称性损失

$$\mathcal{L}{sym}(\theta) = ||\pi{PACER}(h_t, o_t, \beta, \tau^s) - \Phi_a(\pi_{PACER}(\Phi_s(h_t, o_t, \beta, \tau^s)))||^2$$

• \(\Phi_s\): 沿矢状面镜像状态
• \(\Phi_a\): 沿矢状面镜像动作

3.4 价值函数引导

目的： tighter coupling between TRACE and PACER

方法：使用 PACER 的 RL 价值函数 \(V(s)\) 作为引导

$$\mathcal{J}{value}(\tau) = -V(s{follow}(\tau))$$

• \(s_{follow}(\tau)\): 跟随轨迹 \(\tau\) 的状态
• \(V(s)\): 预测未来期望奖励

优点：

• 价值函数感知身体姿态、地形、其他行人
• 引导 TRACE 生成更容易跟随的轨迹
• 不需要额外训练奖励函数

四、训练细节

4.1 TRACE 训练

训练技巧：

• 混合数据集训练（有地图 + 无地图）
• Classifier-free sampling 权重 \(w \in [-0.5, 0]\)

4.2 PACER 训练

训练技巧：

• 对抗运动先验（AMP）
• 对称性损失
• 碰撞终止（学习避障）

4.3 数据集

五、实验与结论

5.1 评估指标

控制能力：

• 引导误差：目标达成程度（如路径点误差）
• 碰撞率：障碍物碰撞、行人碰撞

真实性：

• EMD (Earth Mover's Distance)：生成分布与真实分布的差异
• 平均加速度：假设行人运动平滑

5.2 主要结果

ORCA 数据集对比（合成数据）

结论：

• TRACE 优于 VAE 潜在空间优化
• Clean guidance 优于 Noisy guidance
• 多样本采样 + 选择 (Filtering) 提升性能

nuScenes 结果（真实数据）

结论：

• 混合数据训练提升 OOD 泛化
• \(w < 0\) 提升多样性

5.3 完整系统评估

5.4 消融实验

Clean vs Noisy Guidance：

• Clean guidance 在引导误差和真实性上都更好

TRACE-Filter vs Full Guidance：

• Filtering（多样本选择）有效但有限
• Full guidance 进一步提升性能

Mixed Training：

• 混合数据集训练提升多样性
• Classifier-free sampling 权重 \(w < 0\) 提升 OOD 控制

六、局限性

1. 开环 vs 闭环

   • 长时间闭环操作可能积累误差
   • 每 2 秒重新规划缓解但未完全解决

2. 计算成本

   • 扩散模型需要 100 步去噪
   • 虽然支持实时，但比单次前向传播慢

3. 地形泛化

   • TRACE 不直接感知地形（通过 PACER 价值函数间接感知）
   • 极端地形可能需要额外训练

4. 人群密度

   • 高密度人群仿真时计算成本增加
   • 需要为每个行人运行扩散模型

5. 动作多样性

   • 依赖 AMASS 数据集的多样性
   • 数据集中没有的动作难以生成

七、启发

7.1 方法学启发

1. 两阶段范式：规划 + 控制

   高层规划 (TRACE) → 低层控制 (PACER) → 物理仿真
         ↑_____________反馈_______________↓
   

   • 独立训练，运行时集成
   • 模块化设计便于调试和扩展

2. Diffusion Guidance 的力量

   • 测试时控制无需重新训练
   • 分析性损失函数直接可用
   • 多个目标可以组合

3. 价值函数作为引导

   • RL 价值函数包含丰富信息
   • 可用于指导扩散模型生成
   • 实现规划器和控制器的双向耦合

7.2 工程实践启发

1. Classifier-Free Sampling

   • 训练时随机丢弃条件
   • 测试时灵活调整条件权重
   • 支持混合数据集训练

2. Clean Guidance 公式

   • 在干净预测上操作
   • 避免噪声鲁棒性训练
   • 样本质量更高

3. 对称性损失

   • 简单有效防止不对称步态
   • 无需额外监督信号

7.3 与相关工作对比

八、遗留问题

8.1 开放性问题

1. 更高效的扩散采样

   • 能否用一致性模型减少采样步数？
   • 能否用蒸馏加速推理？

2. 更长视野规划

   • 当前预测 5 秒未来
   • 能否扩展到更长时序？

3. 多模态条件

   • 能否结合语言指令？
   • 能否结合视觉输入？

4. 在线适应

   • 能否在测试时适应新地形？
   • 能否学习新的避障策略？

8.2 未来方向

1. 统一扩散模型

   • 同时生成轨迹和动作
   • 端到端训练

2. 世界模型集成

   • 学习可微物理引擎
   • 在 latent space 规划

3. 大规模预训练

   • 类似 ASE 的预训练范式
   • 通用行人行为模型

九、关键公式总结

十、代码与资源

• 项目主页: https://trace-pace.github.io/
• 代码: 项目主页提供
• 视频: 项目主页提供演示视频

十一、与 Locomotion 控制的关系

Trace and Pace 是 locomotion 控制的一个特例，专注于行人导航场景：

1. 高层规划：TRACE 生成 2D 轨迹（位置 + 朝向 + 速度）
2. 低层控制：PACER 跟踪轨迹并生成物理真实的动作
3. 闭环反馈：环境状态反馈给规划器重新规划

这种两阶段架构是 locomotion 控制的经典范式：

• 优点：模块化、可解释、便于调试
• 缺点：需要协调两个组件

与 ASE、AMP 等工作的区别：

• Trace and Pace 专注于行人场景
• 强调测试时控制（guidance）
• 集成地形和社交感知

笔记说明：本文是 CVPR 2024 关于行人动画的工作，结合了扩散模型和强化学习。理解本文有助于学习 diffusion 在 locomotion 控制中的应用，以及两阶段规划 - 控制架构的设计。

[2025.10.15] UniPhys Unified Planner and Controller with Diffusion for Flexible

摘要

本文提出了一种统一的规划与控制框架，使用扩散模型同时处理运动规划和控制任务。

核心方法

跟 [2024.11.19]Maskedmimic: Unified physics-based character control through masked motion 非常类似，这两篇文章都是输入用户控制信号，生成 PD 控制的目标。

这两篇文章的区别在于训练生成模型时所使用的 PD 控制目标的来源不同。在这篇文章中，在训练生成模型之前会对 mocap 数据做一个预处理。它会让 mocap 数据过一遍 PD 控制让数据强行变成一个物理合力，但是可能比较僵硬的动作数据。这个物理合理，但是动作僵硬的数据就是生成模型的 GT。所以这个方法所生成出来的动作也是物理合理，但是会有点僵硬的。

优点

这篇文章的好处是它不需要强化学习和蒸馏学习，训练会更简单，在推断的时候不需要轨迹优化，只需要一个模型就可以完成推理。

[2025.8.5] Diffuse-CLoC: Guided Diffusion for Physics-based Character Look-ahead

核心方法

这篇文章通过扩散模型直接生成物理引擎所需的力与力矩，因此在生成完成后不再需要轨迹优化或 PD 控制等额外步骤。

为什么以前的方法不直接生成力和力矩？

因为力与力矩非常难学。主要原因有三点：

1. 没有真值（GT）：动捕无法直接采集关节力矩
2. 高频、剧烈变化：力矩帧间差异大，包含快速、不稳定的信号
3. 容错率极低：微小偏差都会导致仿真崩溃、角色摔倒

技术贡献

为了成功学习力矩，本文采用了特殊的扩散模型架构和训练策略。

[2024.12.4]PDP: Physics-Based Character Animation via Diffusion Policy

核心方法

两阶段训练流程

阶段 1：RL 专家策略预训练

• 先训多个针对特定任务的小规模 RL 专家策略
• 每个 RL 专家输入当前物理状态，直接输出未来多帧 PD 控制目标（关节角度/旋转）
• 策略：指状态到 PD 目标的映射函数，网络参数是其存储形式

阶段 2：离线行为克隆蒸馏

• 将所有 RL 专家的控制知识通过离线行为克隆（BC）蒸馏到一个 Diffusion Policy 中
• Diffusion 输入：当前状态序列 + 任务条件标签
• Diffusion 输出：未来多帧 PD 目标序列，直接驱动 PD 控制器

与相关工作的核心区别

与 [2024.11.19]Maskedmimic 的核心区别

与 [2025.10.15]UniPhys 的核心区别

核心贡献

• 提出了基于 Diffusion Policy 的多任务角色动画框架
• 通过离线行为克隆将多个 RL 专家的知识蒸馏到单一模型中
• 支持任务条件控制，实现灵活的多任务切换

有效性

• 能够生成物理合理的角色动画
• 支持多任务控制，无需为每个任务单独训练

缺陷

• 依赖 RL 预训练，训练流程复杂
• 需要多个专家策略，计算成本较高
• 纯控制器设计，缺乏显式的长时序规划能力

验证

在 locomotion 任务上进行验证，通过生成 + PD + 仿真的流程评估性能。

启发

PDP 提供了一种将多个专家知识蒸馏到单一 Diffusion 模型的有效方法，但与 Maskedmimic 和 UniPhys 相比，其训练流程更为复杂，且缺乏长时序规划能力。

遗留问题

• 如何减少对 RL 预训练的依赖？
• 如何实现更高效的单阶段训练？
• 如何扩展模型到更复杂的任务（如跳跃、翻滚等）？

相关工作

• [2024.11.19]Maskedmimic: Unified physics-based character control through masked motion
• [2025.10.15]UniPhys: Unified Planner and Controller with Diffusion for Flexible

[2024.4.30] DiffuseLoco: Real-Time Legged Locomotion Control with Diffusion from Offline Datasets

摘要

DiffuseLoco 提出了一种纯离线多专家 RL 蒸馏的扩散步态控制方法，能够从离线数据集中学习实时腿式运动控制。该方法预先训练多个单技能稳定 RL 专家，直接采集闭环离线数据，无需在线训练或微调，用单个扩散模型统一拟合所有专家技能，实现多步态、多速度、转向一体化策略。

核心创新

创新一：纯离线多专家 RL 蒸馏的扩散步态控制

• 预先训练多个单技能稳定 RL 专家
• 直接采集闭环离线数据，不在线训练、不微调
• 用单个扩散模型统一拟合所有专家技能
• 实现多步态、多速度、转向一体化策略

创新二：扩散模型直接输出 PD 参考目标，不输出力矩

• 不直接预测扭矩，只输出关节位置目标 q_des
• 底层硬件 PD 控制器跟踪执行
• 解决直接学力矩难收敛、不稳定问题

技术优势

1. 纯离线训练：无需在线交互，数据效率高
2. 多技能统一：单个模型处理多种步态和速度
3. 物理稳定：通过 PD 控制器保证执行稳定性
4. 实时控制：扩散模型推理速度快，满足实时需求

与相关方法对比

基本信息

• 论文: arXiv:2404.xxxx (2024.4.30)
• 会议: 待确认
• 领域: 腿式机器人 locomotion, 扩散模型，离线 RL

启发

DiffuseLoco 提供了一种高效的离线训练范式，通过蒸馏多个 RL 专家到单个扩散模型中，实现了多技能统一控制。与 PDP 类似，都采用输出 PD 目标而非力矩的策略，保证了控制的稳定性。

笔记来源: 滴答清单
创建时间: 2026-03-22

[2023.5.10] Perpetual Humanoid Control for Real-time Simulated Avatars

基本信息

• 会议: ICCV 2023（国际计算机视觉大会）
• arXiv: arXiv:2305.06456（2023-05-10）
• 作者: Zhengyi Luo, Jinkun Cao, Alexander W. Winkler, Kris Kitani, Weipeng Xu
• 单位: Meta Reality Labs Research, Carnegie Mellon University
• 项目页: https://perpetual-human.github.io/

摘要

Perpetual 提出了一个实时虚拟化身控制系统，能够从任意输入（如视频、动捕数据）生成物理稳定的全身人形机器人运动。该系统支持实时交互，能够响应外部扰动并生成自然流畅的动画。

核心方法

系统架构

• 输入: 视频/动捕/用户控制信号
• 处理: 实时运动生成 + 物理跟踪
• 输出: 物理稳定的全身关节控制

关键技术

1. 实时运动生成: 从输入信号生成参考运动
2. 物理跟踪控制器: 在物理仿真中稳定跟踪参考运动
3. 扰动恢复: 能够从外部干扰中恢复平衡

应用场景

• 虚拟化身动画: 实时驱动虚拟角色
• VR/AR 交互: 响应用户输入的实时动画
• 游戏角色控制: 物理真实的 NPC 动画

与相关工作对比

技术特点

1. Meta 出品: 面向 VR/AR 应用场景
2. 实时优先: 优化推理速度，满足交互需求
3. 通用输入: 支持多种输入源
4. 物理感知: 保证生成运动的物理可行性

启发

Perpetual 展示了如何将运动生成与物理控制结合，实现实时虚拟化身驱动。与 PARC、CLOSD 等工作相比，Perpetual 更侧重于实时交互应用，而非复杂的运动技能学习。

笔记来源: 滴答清单
创建时间: 2026-03-22

[2023.5.2] Calm: Conditional Adversarial Latent Models for Directable Virtual Characters

摘要

CALM 提出了条件对抗潜模型，用于生成可定向的虚拟角色运动。该方法采用两阶段训练策略：首先预训练动作自编码器学习动作本身的结构，然后通过对抗训练加入控制条件，实现灵活的运动控制。

核心方法

两阶段训练流程

阶段 1：预训练动作自编码器（Motion AE）

• 只用运动捕捉数据，先不管控制条件 c
• 训练 Encoder + Decoder
• 目标：学会把动作 x 编码成 z，再重建回来
• 作用：先学会动作本身的结构

阶段 2：对抗训练，加入条件 c（CALM 核心）

• 加入控制条件 c（方向、速度、动作类型等）
• 加入 Discriminator（判别器）
• 条件生成：根据 c 生成对应的动作
• 对抗学习：判别器区分真假动作，生成器骗过判别器

技术架构

阶段 1: Motion AE
动作 x → Encoder → 潜变量 z → Decoder → 重建动作 x'

阶段 2: Conditional GAN
条件 c + 噪声 → Generator → 动作 x
动作 x → Discriminator → 真/假判断

核心优势

1. 解耦表示：潜变量 z 编码动作结构，条件 c 控制运动属性
2. 灵活控制：可以指定方向、速度、动作类型等
3. 高质量生成：对抗训练保证生成动作的自然性
4. 两阶段稳定：先学结构再学控制，训练更稳定

与相关方法对比

基本信息

• 论文: arXiv:2305.xxxx (2023.5.2)
• 会议: 待确认
• 领域: 角色动画，对抗生成，条件控制

启发

CALM 展示了对抗生成在角色动画中的应用，通过两阶段训练实现了稳定的条件控制。与扩散模型相比，GAN 的优势在于推理速度快，适合实时应用；劣势在于训练稳定性较差。CALM 的两阶段策略有效缓解了这一问题。

笔记来源: 滴答清单
创建时间: 2026-03-22

[2023.10.1]Universal Humanoid Motion Representations for Physics-Based Control

Link: [2310.04582] Universal Humanoid Motion Representations for Physics-Based Control

核心本质

这篇论文的核心本质，是建立了一套业界通用的成熟运动控制范式（Pipeline），用以解决动画数据与物理控制之间的巨大鸿沟（Gap）。

1. 核心目标

• 构建一个统一的运动表示（Unified Motion Representation）：使用隐变量 z 作为通用语言，同时支撑动作的自然多样性与物理的稳定性。

2. 核心困境（为什么需要这套范式）

• MoCap 生成模型（如 CVAE）：动作自然、丰富、像人，但物理不稳定，仿真里会摔倒。
• 纯轨迹优化（TO/MPC）：物理极其稳定、可控制，但动作单调死板，无法覆盖 MoCap 里的复杂动作，且计算缓慢。
• 矛盾：追求多样性就不稳，追求稳定就不多样。

3. 解决方案与关键流程（取其精华）

作者没有抛弃任何一方，而是用三级跳的策略，完善了一套成熟范式：

第一阶段：建立动作先验（Motion Prior）

• 手段：利用大规模 MoCap 数据（如 AMASS）训练 CVAE。
• 作用：让网络从无标签数据中自动学习动作的隐语义 z。这一步决定了智能体能做的动作广度与多样性。

第二阶段：成熟的轨迹优化与蒸馏（Distillation）

• 手段：作者自研了一套非常成熟、高质量的全身轨迹优化器。它虽然慢，但能在物理仿真里算出稳定、自然、物理正确的参考轨迹。
• 关键操作：利用这套优化器作为"老师"，对 CVAE 的解码器（Decoder）进行知识蒸馏。
• 目的：在不破坏统一表示 z 的前提下，把物理稳定性灌进网络。

第三阶段：高层强化学习（High-level RL）

• 手段：固定蒸馏好的 Decoder 作为底层执行器，训练上层 RL 策略。
• 作用：RL 只负责输出指令 z，实现简单、灵活的高层语义控制。

4. 最终成果与贡献

• 统一表示 z：现在的 z 既代表了 MoCap 里的丰富动作语义，也代表了物理上的可执行状态。
• 范式确立：这篇论文真正的历史贡献，是定型并普及了这套 Prior（先验）+ Distillation（蒸馏）+ RL（高层控制） 的标准流水线。后来所有人做基于物理的角色控制，基本都在沿用这套成熟的框架。

5. 不可回避的局限性（因果真相）

• 虽然动作变稳了，但天花板依然被轨迹优化器锁死。
• 因为依赖轨迹优化生成数据，所以该系统能做的动作，依然仅限简单的 Locomotion（走路、跑步、转向等）。
• 复杂的跳跃、翻滚、交互动作，受限于优化器的求解能力，这套框架暂时无法覆盖。

详细技术流程

阶段 1：Motion Prior（动作先验）—— CVAE 训练

作用：从动作捕捉数据学习统一、丰富的语义隐空间 z

• 网络：Conditional VAE（CVAE）
• 训练数据：原始 MoCap 动作数据（AMASS），无标签，包含走路、跑、蹲、转身等大量人类动作
• 输入：动画姿态序列：当前帧姿态 \(s_t\)
• 输出：
  • 预测下一帧动画姿态 \(\hat{s}_{t+1}\)
  • 同时输出隐变量 z（动作语义表示）
• 目标：重建动画姿态，学习自然动作规律，z 代表动作风格/类型

阶段 2：Motion Distillation（动作蒸馏）—— Decoder 微调

作用：把物理稳定性灌进网络，保留 z 不变

• 用到的关键模块：作者自研的成熟、高质量、全身轨迹优化器（Trajectory Optimizer）
• 轨迹优化器的作用：以 MoCap 为参考，在物理仿真中计算出稳定、不摔倒、符合动力学的姿态序列
• 蒸馏训练数据：轨迹优化器生成的物理稳定姿态序列（不是原始 MoCap）
• 网络：只使用阶段 1 训练好的 CVAE Decoder（解码器）
• Decoder 输入：当前物理状态 \(s_t\) + 隐变量 z
• Decoder 输出：下一帧目标姿态（直接作为 PD 控制器的目标）
• 训练目标：让 Decoder 输出尽量逼近轨迹优化器的稳定姿态
• 注意：这一步只微调 Decoder，不改变 z 的语义空间。

阶段 3：High-level Control（高层强化学习）

作用：学习用 z 控制角色完成任务

• 底层网络：蒸馏后的 Decoder 被完全固定，当作控制器，不再训练
• 上层网络：RL 策略网络（Policy Network）
• RL 输入：环境观测（角色状态、目标位置、速度等）
• RL 输出：隐变量 z（送给 Decoder）
• 训练数据：强化学习与物理仿真交互产生的交互数据
• 目标：让 RL 学会输出合适的 z，使角色完成导航、避障、稳定运动等高层任务

6. 与论文199（ASE）的对比

6.1 它们是不是都在解决"通用性"？

是，但不是同一种通用性。

两篇论文都在回答同一个大问题：

如何让物理角色控制摆脱"一个任务训一个策略"、"一个动作写一套跟踪器"的低通用性困境？

但它们切入的是这个问题的不同侧面：

• 论文199（ASE）：主攻任务通用性 / 技能复用性。目标是先预训练出一个可复用的技能库，再让上层策略在新任务里调用这些技能。
• 论文191（UHMP）：主攻动作通用性 / 运动表示统一性。目标是用统一隐变量 z 覆盖丰富的动作语义，同时通过蒸馏把这些动作变成物理可执行的控制表示。

所以更准确地说：

• ASE 在解决：学到的能力能不能跨任务复用？
• UHMP 在解决：大量动作能不能被统一表示，并稳定落地到物理控制？

6.2 两者的共同点

1. 都引入了隐变量 z 作为高层控制接口

   • 都不是直接让 RL 输出低层关节控制，而是先输出一个更抽象的 latent code。
   • 这意味着高层决策与低层动作生成被解耦。

2. 都采用分层控制结构

   • 高层策略负责选择 latent 指令。
   • 低层模块负责把 latent 指令变成物理动作。

3. 都试图摆脱传统逐动作跟踪、逐任务手工设计的范式

   • 都代表了从"手工指定控制逻辑"转向"学习统一运动先验"的趋势。

6.3 两者最关键的差异

6.4 最重要的一点：它们都用了 z，但 z 不是同一种东西

这是最容易混淆、但也是最关键的区别。

ASE 的 z："技能索引"

• z 更像一个人为构造的技能地址空间。
• 论文通过互信息最大化，强迫不同 z 对应不同行为模式。
• 因此 z 的目标是：让系统拥有一组可区分、可调用、可复用的技能。

可以理解为：

• z1 可能对应走路
• z2 可能对应跑步
• z3 可能对应转身或攻击

所以 ASE 的 z 首先服务的是技能复用。

UHMP 的 z："动作语义码"

• z 是从大量动作数据中通过 CVAE 自动学出的连续语义表示。
• 它不是先验定义好的技能编号，而是 MoCap 分布压缩后的连续表达。
• 随后作者再用轨迹优化蒸馏，把这个语义空间变成物理稳定、可执行的控制空间。

所以 UHMP 的 z 首先服务的是统一表示大量动作。

一句话概括：

ASE 的 z 是"给高层策略调用技能用的地址"； UHMP 的 z 是"从动作数据中学出来的统一语义表示"。

6.5 从研究脉络上看，它们是什么关系？

它们不是简单的谁替代谁，而是同一研究脉络中两条互补路线：

• ASE 强调：先把大量技能学出来，并让它们能迁移到不同任务。
• UHMP 强调：先把大量动作压缩进统一表示，再通过蒸馏获得物理上稳定、易控的执行器。

如果把"通用物理角色控制"看作最终目标，那么：

• ASE 更像是在回答：如何做出一个可复用的技能库？
• UHMP 更像是在回答：如何做出一个统一且稳定的运动表示层？

两者合起来，才更接近真正的通用角色控制系统。

[2019.11.13] DReCon: data-driven responsive control of physics-based characters

核心架构

1. 生成 = Motion Matching（"传统版生成模型"）

• Motion Matching 本质：从数据库里"生成"连续、自然、可控的参考轨迹
• 作用：给出高质量目标姿态/轨迹

2. RL = 训练策略，输出 PD 控制目标

• RL 不直接出力，而是输出：
  • 目标角度
  • 目标姿态
  • 目标速度
• 让物理角色去追参考轨迹
• 奖励函数 = 跟踪准 + 站得稳 + 动作自然

3. PD = 底层执行器（关节马达）

• RL 给出目标
• PD 控制器真正输出力矩
• 稳定、平滑、仿真友好

4. 仿真 = 物理引擎闭环

• Mujoco / Bullet / PhysX
• 接受 PD 力矩 → 更新状态 → 反馈给 RL
• 形成闭环控制

整体结构

Motion Matching（生成） → RL（规划） → PD（执行） → 物理仿真（环境）

技术分析

架构特点

• 分层控制：高层规划（Motion Matching + RL）与底层执行（PD）分离
• 数据驱动：利用动作捕捉数据库生成参考轨迹
• 物理感知：通过物理仿真确保动作的可执行性和稳定性
• 响应式控制：能够实时响应用户输入和环境变化

与相关方法对比

关键贡献

1. 将 Motion Matching 与 RL 结合，实现数据驱动的响应式控制
2. RL 输出控制目标而非直接力矩，提高稳定性和可解释性
3. 分层架构便于模块化设计和调试

标签

locomotion | 生成+RL+PD+仿真 | 强化学习 | Motion Matching

基本信息

• 作者: Kevin Bergamin, Simon Clavet, Daniel Holden, James Richard Forbes
• 会议/期刊: ACM SIGGRAPH Asia 2019 / ACM Transactions on Graphics (TOG)
• 年份: 2019
• 卷期: Vol. 38, No. 6, Article 206
• DOI: https://doi.org/10.1145/3355089.3356536
• 页面: 1-11

[2025.5.6] PARC: Physics-based Augmentation with Reinforcement Learning for Character Controllers

摘要

人类在多样复杂的环境中展现出卓越的敏捷运动技能，例如跑酷运动员能够执行攀爬墙壁和跨越间隙等动态动作。在模拟角色中重现这些敏捷动作仍然具有挑战性，部分原因是缺乏用于敏捷地形穿越行为的动作捕捉数据，且获取此类数据的成本很高。

在本研究中，我们提出了PARC（基于物理增强与强化学习的角色控制器框架），该框架利用机器学习和基于物理的仿真技术来迭代扩充动作数据集并扩展地形穿越控制器的能力。

PARC首先在一个包含核心地形穿越技能的小型数据集上训练动作生成器，然后使用该生成器为新地形生成合成数据。然而，这些生成的动作通常会出现伪影，如接触错误或不连续性。

为纠正这些伪影，我们训练了一个基于物理的跟踪控制器在仿真中模仿这些动作。校正后的动作随后被添加到数据集中，用于在下一次迭代中继续训练动作生成器。

PARC的迭代过程共同扩展了动作生成器和跟踪器的能力，创建出能够与复杂环境交互的敏捷且多功能的模型。PARC为开发敏捷地形穿越控制器提供了一种有效方法，弥合了动作数据稀缺性与多功能角色控制器需求之间的差距。

核心方法与关键技术

要解决的问题

用于敏捷地形穿越行为的动捕数据极度稀缺

核心框架：基于物理仿真的迭代数据扩增框架

• Motion Generator（扩散模型）：从少量初始 mocap + 地形信息，学习地形感知的运动分布，生成新地形的合成轨迹
• Motion Tracker（RL 追踪控制器）：在物理仿真中模仿生成轨迹，通过物理约束修正不可信部分，输出稳定可执行的轨迹
• 迭代循环：修正后的可信轨迹回炉训练生成器 → 生成器能力提升 → 生成更难地形的轨迹 → 再次物理修正 → 数据集与控制器能力同步扩张

核心挑战

如何在不断加入合成数据时，避免原始 mocap 分布漂移与动作风格异化？

PARC 的四项关键机制防止性能退化

1. 固定采样比例：训练时始终保留原始 mocap 作为监督锚点，避免分布被稀释
2. 物理约束修正：RL 控制器在物理约束下执行模仿，将生成轨迹修正为物理可信的稳定运动
3. 质量筛选机制：仅保留控制器能成功跑完、无摔倒/穿模/滑步的高质量样本，失败样本直接丢弃
4. 小步迭代策略：采用微调策略，每次仅扩增少量新数据，防止分布剧烈漂移

额外质量保障

新增数据需通过平滑性指标（关节速度/加速度/力矩变化幅度）过滤，仅保留自然流畅、无僵硬突变的样本。

基本信息

• 作者: Michael Xu, Yi Shi, KangKang Yin, Xue Bin Peng
• 会议: SIGGRAPH Conference Papers 2025
• 提交日期: Tue, 6 May 2025
• arXiv: arXiv:2505.04002
• DOI: 10.1145/3721238.3730616
• 分类: Graphics (cs.GR); Artificial Intelligence (cs.AI); Machine Learning (cs.LG); Robotics (cs.RO)

[2025.5.13] CLOSD: CLOSING THE LOOP BETWEEN SIMULATION AND DIFFUSION FOR MULTI-TASK CHARACTER CONTROL

摘要

运动扩散模型和基于强化学习（RL）的物理仿真控制在人体运动生成方面具有互补优势。前者能够生成多样化的运动，并遵循文本等直观控制，而后者提供物理上合理的运动和与环境的直接交互。在这项工作中，我们提出了一种结合各自优势的方法。CLoSD是一个文本驱动的RL物理控制器，由扩散生成指导完成各种任务。我们的关键见解是，运动扩散可以作为稳健RL控制器的实时通用规划器。为此，CLoSD在两个模块之间保持闭合循环交互——扩散规划器（DiP）和跟踪控制器。DiP是一个快速响应的自回归扩散模型，由文本提示和目标位置控制，而控制器是一个简单而稳健的运动模仿器，持续接收来自DiP的运动计划并提供环境反馈。CLoSD能够无缝执行一系列不同任务，包括导航到目标位置、按照文本提示用手或脚击打物体、坐下和起身。

技术分析

这篇文章使用diffusion生成模型作为规划器，使用强化学习进行轨迹跟踪，最后接pd控制器。这是locomotion动力学方法的经典架构。

CLOSD 是优秀的工程系统论文，不是开创范式的革命性论文。

CLOSD 的核心不是理论创新，而是工程整合：

1. 用最简单的扩散做实时局部规划 ​
2. 用最朴素的闭环做在线重规划 ​
3. 把文本+目标双条件一起做稳定 ​
4. 直接搭载PHC 这种超强鲁棒控制器

它的贡献是： 把已有的成熟零件，拼成一个完整、能打、多任务、实时跑的系统。

[2025.5.30] MotionPersona: Characteristics-aware Locomotion Control

摘要

我们提出了MotionPersona，一个新颖的实时角色控制器，允许用户通过指定属性（如身体特征、心理状态、人口统计学特征）来刻画角色，并将这些属性投射到生成的运动中来动画化角色。与现有的深度学习控制器（通常产生针对单一预定义角色的同质化动画）不同，MotionPersona考虑了现实世界中各种特征对人类运动的影响。为此，我们开发了一个基于SMPLX参数、文本提示和用户定义的运动控制信号的块自回归运动扩散模型。我们还整理了一个包含广泛运动类型和演员特征的综合数据集，以支持这种特征感知控制器的训练。与之前的工作不同，MotionPersona是首个能够生成忠实反映用户指定特征（例如老年人的蹒跚步态）的运动的方法，同时能够实时响应动态控制输入。此外，我们引入了一种小样本特征化技术作为补充条件机制，当语言提示不足时，可以通过短视频片段进行定制。通过大量实验，我们证明了MotionPersona在特征感知的运动控制方面优于现有方法，实现了卓越的运动质量和多样性。

论文：arXiv:2506.00173（2025.5.30） 项目页：https://motionpersona25.github.io/

一、核心定位

首个实时、统一、多条件的角色运动控制器，能让虚拟角色的行走/跑步等运动，精准反映用户指定的人物特征（体型、年龄、情绪、性格），同时实时响应方向/速度控制 。

二、解决的痛点

现有方法的三大问题：

• 数据集缺人物特征多样性（多为单一演员）
• 数据标准化抹平体型-运动关联（高矮胖瘦步态被统一）
• 模型无法解耦运动内容与人物特质（只能生成同质化动作）

三、核心贡献

1. MotionPersona 数据集

   • 7种 locomotion（走/跑/侧移/后退/转向）
   • 标注：SMPL‑X体型参数 + 自然语言描述人物特质

2. 多条件自回归扩散模型

   • 输入三要素：
     • 运动控制：根节点轨迹、方向、速度
     • 体型：SMPL‑X 向量
     • 特质：文本描述（如"年迈、开心、微胖"）
   • 架构：扩散模型 + 自回归，实时生成未来运动序列

3. 小样本定制（Few‑shot Characterization）

   • 用少量示例动作片段微调模型，提取独特风格
   • 解决语言难以描述的细微动作特征

[2025.8.5] Diffuse-CLoC Guided Diffusion for Physics-based Character Look-ahead

摘要

我们提出了Diffuse-CLoC，一个用于基于物理的前瞻控制的引导扩散框架，能够实现直观、可操控和物理真实的运动生成。现有的基于扩散模型的运动学运动生成虽然在推理时通过条件控制提供了直观的操控能力，但往往无法产生物理上可行的运动。相比之下，最近基于扩散的控制策略在生成物理可实现的运动序列方面显示出潜力，但缺乏运动学预测限制了其可操控性。Diffuse-CLoC通过一个关键洞察解决了这些挑战：在单个扩散模型中对状态和动作的联合分布进行建模，使得动作生成可以通过对预测状态进行条件控制而变得可操控。这种方法使我们能够利用运动学运动生成中已建立的条件控制技术，同时产生物理真实的运动。因此，我们无需高级规划器就能实现规划能力。我们的方法通过单一预训练模型处理多样化的未见过的长视界下游任务，包括静态和动态障碍物避让、运动插值和任务空间控制。实验结果表明，我们的方法显著优于传统的高级运动扩散和低级跟踪的分层框架。

文章要解决的问题

• 传统方法需要轨迹优化或PD控制等额外步骤
• 直接生成力与力矩非常困难

主要技术点

这篇文章通过扩散模型直接生成物理引擎所需的力与力矩，因此在生成完成后不再需要轨迹优化或 PD 控制等额外步骤。

为什么以前的方法不直接生成力和力矩？

因为力与力矩非常难学。主要原因有三点：

1. 没有真值（GT）：动捕无法直接采集关节力矩
2. 高频、剧烈变化：力矩帧间差异大，包含快速、不稳定的信号
3. 容错率极低：微小偏差都会导致仿真崩溃、角色摔倒

为成功学习力矩采用的关键技术：

1. 联合建模未来状态与未来力矩的分布

   • 将状态与力矩统一输入扩散模型，一起学习
   • 让状态协助力矩保持物理稳定

2. 使用专家控制器（如MPC）生成含真值力矩的仿真数据

   • 通过高性能控制器在仿真中滚出轨迹
   • 得到包含状态与力矩真值的数据集，为模型提供监督信号

3. 一次性预测未来多帧（Look-ahead）

   • 让模型提前感知长期物理后果
   • 提升长序列仿真的稳定性

4. 在每一步去噪后进行梯度引导修正

   • 利用预测状态与目标状态之间的差距计算引导梯度
   • 同时修正预测的状态与力矩
   • 确保生成结果满足任务目标与物理约束

[2025.9.15] Gait-Conditioned Reinforcement Learning with Multi-Phase Curriculum for Humanoid Locomotion

摘要

我们提出了一个统一的步态条件强化学习框架，使人形机器人能够在单一递归策略内执行站立、行走、奔跑以及平滑的步态转换。紧凑的奖励路由机制基于独热编码的步态 ID 动态激活特定步态目标，缓解奖励干扰并支持稳定的多步态学习。受人类启发的奖励项促进了生物力学上自然的运动，如直膝站立和协调的手臂 - 腿部摆动，而无需运动捕捉数据。结构化的课程在多个阶段逐步引入步态复杂性和扩展命令空间。在仿真中，该策略成功实现了稳健的站立、行走、奔跑和步态转换。在真实的 Unitree G1 人形机器人上，我们验证了站立、行走和行走 - 站立转换，展示了稳定和协调的运动能力。这项工作为在不同模式和环境中实现多功能和自然的人形控制提供了一个可扩展的、无需参考的解决方案。

核心技术点

强化学习加 PD 控制，通过强化学习生成 PD 控制的目标轨迹，然后通过控制跟踪这些目标轨迹输出动画数据。生成 PD 控制的目标轨迹，这一步采用的是纯强化学习的方案，不需要任何训练数据。纯强化学习的方案非常难训，所以这篇文章主要是要解决这个问题。

它用"分步课程学习"降低难度， 用"步态条件 + 奖励路由"避免任务冲突， 用"RNN 记忆"自动学周期步态， 用"稠密细粒度奖励"提供稳定学习信号， 再靠"并行仿真 + 随机化"加速收敛、增强鲁棒性。 最终把原本不可能训动的纯 RL，变得能稳、能收敛、能走能跑能切换。

相关链接

• 项目页面：https://caterpillarstudygroup.github.io/ReadPapers/185.html

[2025.10.15]UniPhys: Unified Planner and Controller with Diffusion for Flexible

摘要

生成自然且物理上合理的角色运动仍然具有挑战性，特别是在需要处理多样化引导信号的长时程控制场景中。虽然先前的工作结合了基于扩散的高层运动规划器和低层物理控制器，但这些系统存在域间差距，会降低运动质量并需要针对特定任务进行微调。为了解决这个问题，我们提出了 UniPhys，这是一个基于扩散的行为克隆框架，将运动规划和控制统一到单一模型中。UniPhys 能够基于多模态输入（如文本、轨迹和目标）生成灵活、富有表现力的角色运动。为了应对长序列中累积的预测误差，UniPhys 采用扩散强制（Diffusion Forcing）范式进行训练，学习对噪声运动历史进行去噪并处理物理模拟器引入的差异。这种设计使 UniPhys 能够稳健地生成物理上合理、长时程的运动。通过引导采样，UniPhys 能够泛化到各种控制信号（包括未见过的信号），而无需针对特定任务进行微调。实验表明，UniPhys 在运动自然性、泛化能力和鲁棒性方面均优于先前的方法。

核心问题是什么？

输入用户控制信号，生成PD控制的目标。

相关工作

跟[2024.11.19]Maskedmimic: Unified physics-based character control through masked motion非常类似，这两篇文章都是输入用户控制信号，生成pd控制的目标。

核心贡献是什么？

这两篇文章的区别在于训练生成模型时所使用的pd控制目标的来源不同。

大致方法是什么？

在这篇文章中，在训练生成模型之前会对mocap数据做一个预处理。他会让mocap数据过一遍pd控制让数据强行变成一个物理合力，但是可能比较僵硬的动作数据。这个物理合理，但是动作僵硬的数据就是生成模型的GT。

有效性

所以这个方法所生成出来的动作也是物理合理，但是会有点僵硬的。

缺陷

验证

启发

这篇文章的好处是它不需要强化学习和蒸馏学习训练会更简单，在推断的时候不需要轨迹优化，只需要一个模型就可以完成推理。

遗留问题

Maskedmimic: Unified physics-based character control through masked motion

摘要

创建一个能够为各种场景中的交互式角色注入生命力的单一、多功能物理基础控制器，代表了角色动画领域的一个令人兴奋的前沿。理想的控制器应该支持多样化的控制模态，例如稀疏目标关键帧、文本指令和场景信息。虽然先前的工作提出了物理模拟的、场景感知的控制模型，但这些系统主要集中在开发专门针对狭窄任务集和控制模态的控制器。本文提出了 MaskedMimic，这是一种将基于物理的角色控制表述为通用运动修复问题的新方法。我们的关键洞察是训练一个统一的模型，从部分（掩码）运动描述中合成运动，例如掩码关键帧、对象、文本描述或其任意组合。这是通过利用运动跟踪数据并设计可扩展的训练方法来实现的，该方法能够有效利用多样化的运动描述来产生连贯的动画。通过这一过程，我们的方法学习了一个物理基础控制器，提供了直观的控制界面，而无需为所有感兴趣的行为进行繁琐的奖励工程。所得到的控制器支持广泛的控制模态，并能够在不同任务之间实现无缝过渡。通过运动修复统一角色控制，MaskedMimic 创造了多功能的虚拟角色。这些角色可以动态适应复杂场景并按需组合多样化运动，从而实现更具交互性和沉浸感的体验。

基本信息

• 作者: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng
• 发表时间: 2024 年 9 月 22 日
• arXiv 编号: arXiv:2409.14393 [cs.AI]
• 期刊: ACM Transactions on Graphics (Proc. SIGGRAPH Asia 2024)
• 项目页面: https://research.nvidia.com/labs/par/maskedmimic/

文章要解决的问题：

• 多模态输入的运动实时控制

主要技术点：

1. CVAE 生成模型架构：以条件变分自编码器 (CVAE) 作为核心生成模型，输入多模态控制信号，输出物理一致的控制结果
2. 掩码运动修复机制：CVAE 的输入使用掩码方式，能够兼容各种任务的输入需求（关键帧、对象、文本描述等任意组合），通过运动补全达到统一多模态输入的目的
3. 轨迹优化蒸馏：将轨迹优化功能蒸馏到生成模型中，输出的是 PD 控制的目标而不是动画数据，这使得控制器可以直接驱动物理仿真
4. 训练数据预处理：为了让生成模型直接学到轨迹跟踪目标，先用轨迹跟踪算法处理 mocap 数据，得到 PD 控制目标作为 CVAE 的训练真值 (GT)

创新点总结

• 统一控制框架：通过运动修复范式统一了多种控制模态
• 无需奖励工程：避免了为每个行为设计复杂奖励函数的需求
• 实时响应能力：支持交互式应用场景的实时控制需求
• 无缝任务切换：能够在不同任务之间实现平滑过渡

相关对比：

• 与 [2025.10.15]UniPhys Unified Planner and Controller with Diffusion for Flexible 非常相似，两篇文章都是输入用户控制信号，生成 PD 控制的目标

补充说明

• 目标工程技术（Goal-Engineering）：用"稀疏多模态目标"替代"复杂奖励工程"，让统一控制器灵活完成各类任务

Regional Time Stepping for SPH

摘要

针对经典弱可压缩光滑粒子流体动力学（WCSPH）方法，本文提出一种新颖高效的策略，可根据自由表面流的局部动力学特性，在空间上自适应分配计算量。该方法采用便捷且易于并行化的分块策略，为流体不同区域分配不同的时间步长并以不同速率求解，从而最大限度降低计算成本。实验表明，即便在高动态场景中，该方法的运算速度也较标准方法提升约一倍。

主要方法

适用于（WCSPH）的区域时间步长法（RTS），首个考虑不同区域的时间自适用算法。

怎样管理粒子的仿真步长？

将模拟域划分为虚拟网格，以分块为单位计算各区域的时间步长，而非以单个粒子为单位。

怎样计算一个粒子的适合的步长？

[TODO] 图1

1. 所有粒子计算自身的速度和总受力；
2. 粒子将自身属性传递至所属分块，分块根据内部粒子的最大受力和最大速度，计算该分块的最小时间步长；
3. 各分块将计算得到的时间步长分配至内部所有粒子。

怎样算是合适的步长？

1. CFL条件

2. 考虑时间步长内的突发加速度

[TODO] 公式2

3. 根据粒子在一个时间步长内以当前速度移动的距离占其支撑半径的比例，为每个粒子分配对应的时间步长(本文新增)

[TODO] 公式3

判定条件 公式 作用 系数设置 CFL 条件（经典） Δtn​≤cs​λv​r​ 限制粒子在一个步长内的移动距离，避免穿透 λv​≤0.4，cs​为介质声速 加速度条件（经典） Δtn​≤λf​Fmax​rm​​ 应对突发加速度，保证动力学稳定性 λf​≤0.25，Fmax​为分块最大受力，m为粒子质量 速度分区条件（新增） rΔtn​Vmax​​≤αβn​ 根据粒子速度占支撑半径的比例分区，实现步长的空间梯度 α=0.4；β1​=∞，βn​=0.4(0.2)n−2(n≥2)

不同仿真步长对仿真过程有什么影响？

粒子新增了两个属性变量：

• 有效性（validity）：表示粒子最新计算的属性的有效最小时间步长数（即距离其实际时间步长结束剩余的子步数）；
• 计算标记（compute）：布尔变量，标记粒子当前是否为活动粒子（即是否需要重新计算加速度，并在步长结束时校正位置和速度），当validity≤0 时，该标记为真。

若粒子为活动粒子，则计算其邻近粒子集合，并求解局部密度和受力；否则跳过上述计算步骤。在每次循环结束时，更新所有粒子的位置和速度，并按照塞尔纳的策略 [SRS03] 对活动粒子的速度和位置进行校正（算法 1 第 25-30 行）。

1. 若粒子为活动粒子，则计算其邻近粒子集合，并求解局部密度和受力。否则跳过这一步。
2. 所有粒子更新速度和位置。
3. 若粒子为活动粒子，按照塞尔纳的策略对活动粒子的速度和位置进行校正

不同仿真步长之间的切换？

粒子可在其有效性属性过期前更改时间步长。这一设计使方法能在流体遭遇边界碰撞等突发加速度的情况下，保持模拟的稳定性。

不同仿真粒子表现的跳变？

定位不同时间步长区域的边界，并确定大时间步长一侧的分块集合，将该区域分配为其相邻区域的较小时间步长。

局限性

1. 仅适用于WCSPH（弱可压缩 SPH），未拓展至更主流的不可压缩 SPH（如 PCISPH、IISPH）；
2. 分块的支撑半径固定为2s，未考虑自适应分块（如高动态区域细划分块，低动态区域粗划分块）；
3. 步长判定的系数为经验值，未给出自适应调优策略。

FreeGave: 3D Physics Learning from Dynamic Videos by Gaussian Velocity

本文旨在仅从多视角视频中建模 3D 场景的几何结构、外观及底层物理规律。现有方法通常通过将各种控制方程 (PDE) 作为物理信息神经网络 (PINN) 损失函数，或将物理模拟引入神经网络来实现。然而，这些方法往往难以学习边界处的复杂物理运动，或者需要依赖物体先验信息（如掩码或类型）。本文提出 FreeGave 方法，能够在无需任何物体先验信息的情况下学习复杂动态 3D 场景的物理规律。我们方法的关键在于引入一个物理编码 (physics code)，并辅以一个精心设计的无散度模块 (divergence-free module)，用于估计每个高斯点的速度场，而无需依赖低效的 PINN 损失函数。在三个公开数据集和一个新收集的高难度真实世界数据集上进行的大量实验表明，我们的方法在未来帧外推和运动分割任务上具有优越性能。尤为值得注意的是，我们对学习到的物理编码的研究表明，在训练中完全未使用任何人工标注的情况下，它们确实学习到了有意义的 3D 物理运动模式。我们的代码和数据可在 https://github.com/vLAR-group/FreeGave 获取。

Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations

我们提出一种物理信息神经网络——这类网络在训练过程中不仅解决监督学习任务，同时严格遵循由通用非线性偏微分方程描述的物理定律。我们围绕两类核心问题的求解展开研究：偏微分方程的数据驱动求解与数据驱动发现。根据可用数据的性质与组织形式，我们设计出连续时间模型与离散时间模型两类不同算法框架。由此构建的神经网络形成了一类新型数据高效型通用函数逼近器，能够自然地将底层物理定律编码为先验信息。

在第一部分研究中，我们展示如何利用这类网络推断偏微分方程的解，并获得物理信息代理模型——该模型对所有输入坐标和自由参数均具备完全可微性。第二部分研究则聚焦于偏微分方程的数据驱动发现问题。

ParticleGS: Particle-Based Dynamics Modeling of 3D Gaussians for Prior-free Motion Extrapolation

本文旨在根据视觉观测数据建模三维高斯分布的动力学特性，以支持时间外推。

现有的动态三维重建方法通常难以有效学习潜在的动力学规律，或者严重依赖手动定义的物理先验，这限制了它们的外推能力。为解决这一问题，我们提出了一种新颖的、基于粒子动力学系统的、无需先验的动态三维高斯溅射运动外推框架。

我们方法的核心优势在于其能够学习描述三维高斯分布动力学的微分方程，并在未来帧外推过程中遵循这些方程。与简单地拟合观测到的视觉帧序列不同，我们的目标是更有效地建模高斯粒子动力学系统。为此，我们在标准高斯核中引入了一个动力学隐状态向量，并设计了一个动力学隐空间编码器来提取初始状态。随后，我们引入了一个基于神经常微分方程（Neural ODEs）的动力学模块，该模块在动力学隐空间中建模高斯分布的时间演化。最后，使用一个高斯核空间解码器将特定时间步的隐状态解码为形变。

实验结果表明，所提出的方法在重建任务中达到了与现有方法相当的渲染质量，并在未来帧外推方面显著优于现有方法。我们的代码公开在：https://github.com/QuanJinSheng/ParticleGS。

Animate3d: Animating any 3d model with multi-view video diffusion

当前四维生成领域的研究进展主要集中在通过蒸馏预训练的文本或单视图图像条件模型来生成四维内容。这类方法难以有效利用现有具有多视图属性的三维资源，且由于监督信号固有的模糊性，其生成结果常出现时空不一致问题。本研究提出Animate3D——一个可为任意静态三维模型生成动画的创新框架。其核心设计包含两个关键部分：1）我们提出基于静态三维对象多视图渲染的新型多视图视频扩散模型（MV-VDM），该模型在我们构建的大规模多视图视频数据集（MV-Video）上训练完成；2）基于MV-VDM，我们结合重建技术与四维分数蒸馏采样（4D-SDS），构建了利用多视图视频扩散先验实现三维对象动画的完整框架。具体而言，针对MV-VDM，我们设计了新颖的时空注意力模块，通过融合三维与视频扩散模型来增强时空一致性；同时利用静态三维模型的多视图渲染作为条件输入以保持其身份特征。在三维模型动画生成方面，我们提出有效的两阶段流程：首先直接从生成的多视图视频中重建运动序列，随后通过4D-SDS同步优化外观与运动表现。得益于精确的运动学习机制，我们能够实现直接的网格动画生成。定性与定量实验表明，Animate3D在各方面性能均显著超越现有方法。相关数据、代码与模型将全面开源。

研究背景与问题

任务

输入：3DGS静态模型 输出：t时刻相对于静态GS的位移、旋转、缩放。

本文方法及优势

主要贡献

1）多视角视频扩散模型（MV-VDM）
2）大规模多视图视频数据集（MV-Video）
3）基于MV-VDM，我们引入结合重建技术与4D分数蒸馏采样（4D-SDS）的框架，利用多视图视频扩散先验实现3D对象动画。

主要方法

多视角视频扩散模型（MV-VDM）

3D扩散模型(MVDream) + 视频扩散模型(AnimateDiff) + 结合图像条件化方法的高效即插即用时空注意力模块

Particle-Grid Neural Dynamics for Learning Deformable Object Models from RGB-D Videos

由于可变形物体多样的物理特性以及难以从有限的视觉信息中估计其状态，建模其动力学具有挑战性。我们通过一个神经动力学框架来解决这些挑战，该框架在混合表示中结合了物体粒子 (object particles) 和空间网格 (spatial grids)。我们的粒子-网格模型 (particle-grid model) 既能捕捉全局形状和运动信息，又能预测密集的粒子运动，从而能够建模具有不同形状和材料的物体。粒子代表物体形状，而空间网格则将三维空间离散化，以确保空间连续性并提高学习效率。结合用于视觉渲染的高斯泼溅 (Gaussian Splatting) 技术，我们的框架实现了完全基于学习的可变形物体数字孪生模型 (fully learning-based digital twin)，并生成动作条件的三维视频 (3D action-conditioned videos)。

通过实验，我们证明了我们的模型能够从机器人-物体交互的稀疏视角RGB-D记录 (sparse-view RGB-D recordings) 中学习各种物体（如绳索、布料、毛绒玩具和纸袋）的动力学，同时还能在类别层面 (category level) 上泛化到未见过的实例。我们的方法优于最先进的基于学习的模拟器 (learning-based simulators) 和基于物理的模拟器 (physics-based simulators)，尤其是在相机视角有限 (limited camera views) 的场景下。此外，我们展示了所学模型在基于模型的规划 (model-based planning) 中的实用性，使其能够在一系列任务中实现目标条件的物体操作 (goal-conditioned object manipulation)。

项目页面位于：https://kywind.github.io/pgnd

研究背景与问题

任务

输入：3DGS场景的静态模型、交互操作
输出：预测GS球未来运动

主要方法

本文中仿真全过程使用的粒子是点云粒子。GS球只是最后渲染使用。

粒子-网格神经动力学

状态表示

控制表示

\(A_t\) 表示机器人在时刻 \(t\) 对物体施加的外部作用。

$$ A_t = (y, T_t, \dot{T}_t, o_t), $$

动力学函数

$$ V_{t+1} = f_\theta(X_{(t-h):t}, V_{(t-h):t}, A_t) \\ X_{t+1} = X_t + V_{t+1} $$

粒子-网格模型

**使用端到端神经网络学习神经动力学参数 θ 通常会导致累积误差，进而引发预测不稳定。**因此同样采用particle-grid表示，以融入与空间连续性及局部信息集成相关的归纳偏置。

定义一个均匀分布的网格：

$$ G_{l_x, l_y, l_z, \delta} = { (k_x \delta, k_y \delta, k_z \delta) \mid k_i \in [l_i], \forall i \in {x, y, z} }. $$

末端执行器及每个粒子必定属于某个网格。

Grid用于学习上文提到的\(f_\theta\)函数。具体包含以下模块：

• \(f^{feature}_\phi\) 是基于神经网络的点编码器，用于从输入粒子中提取特征（第 III-B1 节）；
• \(f^{field}_\psi\) 是基于神经网络的函数，用于根据提取的特征参数化神经速度场（第 III-B2 节）；
• \(g^{grid}\) 是网格速度编辑控制方法，用于编码碰撞表面和机器人夹爪的运动（第 III-B4 节）；
• \(h^{G2P}\) 是网格到粒子的积分函数，用于从基于网格的速度场计算粒子速度（第 III-B3 节）。

基于网格来学习速度场比直接学习每个粒子的速度更稳定。

网格模块

点编码器

输入：粒子位置与速度
输出：粒子的潜在特征

$$ Z_t = f^{feature}\phi (X{(t-h):t}, V_{(t-h):t}). $$

模型结构： PointNet
特征编码器必须提取对遮挡鲁棒的特征，以供后续速度解码使用。

神经速度场

输入：网格点g的位置x、网格点g的部感知特征z
输出：网格点g的速度向量

$$ \hat{v}{g,t} = f^{field}\psi (\gamma(x_g), z_{g,t}), $$

其中 \(\gamma\) 为正弦位置编码，局部感知特征 \(z_{g,t}\) 定义为网格位置邻域内粒子特征的平均池化：

$$ z_{g,t} = \frac{\sum_{p \in N_r(X_t, x_g)} z_{p,t}}{|N_r(X_t, x_g)|}, $$

半径 \(r\) 是一个超参数 (r)，用于控制一个网格点所关注的粒子特征数量，从而促使网络预测依赖于局部几何的速度。

网格到粒子速度传递

遵循物质点法(MPM)的思路，采用连续的B样条核函数将网格速度 (\hat{v}{g,t}) 传递至粒子速度 (\hat{v}{p,t})：

$$ \hat{v}{p,t} = \sum{g \in G} \hat{v}{g,t} w{pg,t}, $$

预测值 \(\hat{V} \in \mathbb{R}^{3 \times n}\) 作为动力学函数 \(f_\theta\) 的最终输出，并用于更新粒子的位置。

变形控制

通过与外部物体交互来控制变形

网格速度编辑GVE

改变网格上的速度以匹配物理约束：

1. 对于地面接触从接触面回推速度并加入摩擦项
2. 定义刚性抓取点的运动，计算抓取中心点 \(x_{grasp,t}\) 附近的点，按如下方式修改其速度：

$$ v_{g,t} = \omega_t \times (x_g - x_{grasp,t}) + \dot{x}_{grasp,t}, $$

其中 \(\omega_t\) 和 \(\dot{x}{grasp,t}\) 分别为时刻 \(t\) 时夹爪的角速度和线速度，\(x_g\) 和 \(v{g,t}\) 分别为网格点 \(g\) 的位置和速度。

机器人粒子法

用于非抓取式动作建模，例如推动箱子。

用携带夹爪动作信息的额外粒子表示机器人夹爪，并将其融合到物体点云中

并在增广后的点云上建模粒子-网格动力学函数。

这便将动作信息注入粒子特征中，但不会显式强制粒子按指定速度运动，从而支持非抓取式操控。

数据收集与训练

数据收集

1. 通过真实交互记录多视角的RGB-D视频，捕捉机器人-物体的随机交互过程。
2. 用Segment-Anything [18, 39] 提取视频中物体的持续掩码。
3. 将分割出的物体进行裁剪，并使用CoTracker [15] 对其进行跨帧跟踪，从而得到2D轨迹。
4. 借助深度信息，通过逆投影将这些2D速度映射至3D空间，生成具有持续粒子跟踪信息的多视角融合点云。

训练

损失函数定义为预测粒子位置与实际粒子位置之间的均方误差位置。

渲染与动作条件视频预测

首先对点云集合 \(X\) 应用动力学模型，得到下一帧的预测 \(\hat{X}\)。点集 \(\hat{X}\) 可以来自对 \(X_{GS}\) 的采样，或从与 \(X_{GS}\) 处于同一坐标系内的额外点云观测中获取。
将 \(X\) 视为控制点，并对其预测运动进行插值，从而更新 \(X_{GS}\) 和 \(R_{GS}\)，生成新的高斯中心与旋转。
假设高斯泼溅的颜色、尺度和不透明度保持不变。

HAIF-GS: Hierarchical and Induced Flow-Guided Gaussian Splatting for Dynamic Scene

基于单目视频的动态三维场景重建始终是三维视觉领域的核心难题。尽管三维高斯溅射(3DGS)技术在静态场景中实现了实时渲染，但其在动态场景的应用仍面临挑战——这源于学习结构化且时间一致的运动表征存在困难。现有方法通常表现为三方面局限：高斯更新冗余、运动监督不足，以及对复杂非刚性形变的建模能力薄弱。这些问题共同阻碍了连贯高效的动态重建。

为突破这些限制，我们提出HAIF-GS——一个通过稀疏锚点驱动形变实现结构化一致动态建模的统一框架。该框架首先通过锚点过滤器识别运动相关区域，抑制静态区域的冗余更新；随后利用自监督诱导流引导变形模块，通过多帧特征聚合驱动锚点运动，无需显式光流标签；为处理细粒度形变，分层锚点传播机制能依据运动复杂度提升锚点分辨率，并传播多级变换关系。在合成与真实数据集上的大量实验表明，HAIF-GS在渲染质量、时间一致性和重建效率上均显著超越现有动态3DGS方法。

PIG: Physically-based Multi-Material Interaction with 3D Gaussians

3D高斯溅射技术在静态与动态3D场景重建领域取得了显著成功。然而，在由3D高斯基元表征的场景中，物体间的交互存在三大缺陷：三维分割精度不足、异质材质形变失准及严重渲染伪影。为应对这些挑战，我们提出PIG：基于物理的多材质3D高斯交互技术——这是一种融合三维物体分割与高精度交互仿真的创新方法。

首先，本方法实现了从二维像素到三维高斯基元的快速精准映射，从而达成精确的物体级三维分割。其次，我们为场景中分割后的物体赋予独特物理属性，以实现多材质耦合交互。最后，我们创新性地将约束尺度嵌入变形梯度，通过钳制高斯基元的缩放与旋转属性消除渲染伪影，达成几何保真度与视觉一致性。

实验结果表明，我们的方法不仅在视觉质量上显著超越现有最优方案(SOTA)，更为物理真实感场景生成领域开辟了全新研究方向与技术路径。

研究背景与问题

任务

在由3D高斯基元表征的场景中的物体间的交互

现有方法及局限性

基于3D高斯泼溅的分割方法

1. 从CLIP等二维预训练模型中提取特征，并将其蒸馏至3D高斯基元以进行点级分割。
2. LangSplat训练自编码器在特征蒸馏前降维，将低维CLIP特征嵌入高斯模型中；
3. Segment Any 3D Gaussians利用2D SAM掩码作为先验信息，训练场景专属特征
4. Semantic Gaussians则借助高斯属性作为输入，训练具有二维预训练模型特征的3D语义特征；
5. Feature Splatting通过渲染DINOv2与CLIP特征图，训练每个高斯基元的语义特征。

三维分割精度不足

驱动及渲染方法

1. PhysGaussian提出将MPM与3DGS结合，在选定区域内生成单材料物理场景。这是首个将MPM引入3DGS的方法，但由于缺乏分割能力，难以在三维空间中精确定位仿真物体的包围盒。此外，当物体发生大变形时，直接使用MPM空间中粒子的变形梯度来调整对应高斯基元的协方差矩阵效果不佳。
2. PhysDreamer通过集成生成模型来估计物理参数，再借助MPM进行仿真。该方法高度依赖生成模型的物理先验，且忽视了仿真与渲染间的差异——具体而言，它忽略了变形过程中高斯基元间相对位置的变化，导致渲染物体出现显著伪影。

异质材质形变失准及严重渲染伪影

本文方法及优势

本方法实现了从二维像素到三维高斯基元的快速精准映射，从而达成精确的物体级三维分割。
其次，我们为场景中分割后的物体赋予独特物理属性，以实现多材质耦合交互。
最后，我们创新性地将约束尺度嵌入变形梯度，通过钳制高斯基元的缩放与旋转属性消除渲染伪影，达成几何保真度与视觉一致性。

物体级三维分割

3.2.2 表面深度图渲染

为将掩码 \(M\) 中的 ID 映射到高斯场景 \(G\) 上，我们需要识别掩码中每个像素所对应的物体表面高斯元，并获取其深度信息，进而渲染成表面深度图。

对于任意像素 \(p_{i,j}^t\)，我们将其转换为齐次坐标 \(P_{i,j}^t\)。利用相机内参 \(K\) 和外参 \(E\)，得到相机坐标系下的射线方程：

$$ r_{i,j}^t(d) = C + d E^{-1} K^{-1} P_{i,j}^t, $$

其中 (C) 为相机在世界坐标系中的位置，(d) 表示深度。

射线与物体表面相交处，公式(1)中的透射率 (T) 会急剧下降。当 (T) 低于我们设定的透射率阈值 (\tau_T) 时，即表明已找到该像素对应的物体表面，此时将深度值 \(d_{i,j}^t\) 记录到深度图 \(D_t \in \mathbb{R}^{H \times W}\) 中。

EnliveningGS: Active Locomotion of 3DGS

本文提出了一种名为 EnliveningGS 的全新流程，它使得用 3D 高斯溅射(3DGS)表示的 3D 模型能够实现主动运动。我们的灵感来源于现实世界中生物通过压缩或拉伸其体内嵌入的肌纤维，以自然且符合物理规律的方式摆出身体姿态。EnliveningGS 旨在为 3DGS 模型复制类似的功能，从而使 3DGS 场景中的物体表现得如同活物，而非静态形状——它们在肌肉激活驱动的运动轨迹下，能够在场景中行走、跳跃和扭转。

尽管概念直观，但其中涉及许多需要解决的技术挑战。合成 3DGS 模型的逼真运动体现了一个非常高维度的逆向物理问题。核心挑战在于如何高效且鲁棒地建模“活化模型”与环境之间的摩擦接触，因为正是由肌肉激活引发的接触/碰撞/摩擦力共同作用，才最终生成了物体的运动。我们提出了一种混合数值方法，结合了线性互补问题(LCP)求解和惩罚法，以鲁棒地解决这个 NP 难题。

此外，我们的流程也解决了现有 3DGS 形变算法的局限性，并能够在模型移动时修复缺失的信息。

SplineGS: Learning Smooth Trajectories in Gaussian Splatting for Dynamic Scene Reconstruction

针对动态变形物体的复杂场景重建以实现新视角合成是一项极具挑战性的任务。近期研究通过引入三维高斯泼溅技术(3D Gaussian Splatting)，在静态场景的高质量快速重建方面取得了显著进展，其核心在于为高斯斑点的形变设计了专用模块。然而，如何设计一个能够有效融入适当时空归纳偏置的形变模块仍是一个亟待解决的问题。为此，本文提出SplineGS方法，通过采用非均匀有理B样条(NURBS)——B样条的扩展形式——来表征时间维度上的平滑形变。该方法基于NURBS学习一组代表性轨迹，并通过这些轨迹的线性组合来表达各高斯斑点的个体运动轨迹，从而确保空间平滑性。组合权重的优化则依托于以高斯斑点位置为键值的多分辨率哈希表和MLP网络协同完成。得益于这种创新设计，本方法无需对运动轨迹施加正则化约束即可实现高效训练。实验结果表明，所提方法在保持训练时间大幅缩短的同时，其性能较现有方法具有显著竞争力。

PAMD: Plausibility-Aware Motion Diffusion Model for Long Dance Generation

计算舞蹈生成在艺术、人机交互、虚拟现实和数字娱乐等众多领域至关重要，尤其是在生成连贯且富有表现力的长舞蹈序列方面。基于扩散模型的音乐到舞蹈生成已取得显著进展，但现有方法仍难以生成物理上合理的运动。为解决此问题，我们提出了合理性感知运动扩散模型 (PAMD)，这是一个用于生成既与音乐对齐又物理逼真的舞蹈框架。

PAMD的核心在于合理运动约束 (PMC)，它利用神经距离场 (NDFs) 来建模真实的姿态流形，并将生成的运动引导至物理上有效的姿态流形。为了在生成过程中提供更有效的引导，我们引入了先验运动引导 (PMG)，它将站立姿态作为辅助条件，与音乐特征一起使用。为了进一步增强复杂运动的真实感，我们提出了基于足地接触的运动优化 (MRFC) 模块，该模块通过弥合关节线性位置空间中的优化目标与非线性旋转空间中的数据表示之间的差距，来解决脚滑伪影问题。

大量实验表明，PAMD显著提高了音乐对齐度，并增强了生成运动的物理合理性。本项目页面地址为：https://mucunzhuzhu.github.io/PAMD-page/。

PMG: Progressive Motion Generation via Sparse Anchor Postures Curriculum Learning

在计算机动画、游戏设计以及人机交互领域，如何生成符合用户意图的人体运动始终是一项重大挑战。现有方法存在显著局限性：基于文本描述的方法能够提供高层语义指导，但难以准确描述复杂动作；基于轨迹的技术虽然能直观控制全局运动方向，却常无法生成精确或定制化的角色动作；而锚点姿态引导的方法通常仅限于生成简单运动模式。

为实现更高控制精度和更精细的运动生成，我们提出ProMoGen（渐进式运动生成框架） —— 一种将轨迹引导与稀疏锚点动作控制相结合的全新框架。全局轨迹保证了空间方向与位移的连贯性，而稀疏锚点动作仅传递精确的动作指导（不含位移信息）。这种解耦设计使得两者能够独立优化，从而实现更高可控性、高保真度与复杂运动合成。ProMoGen在统一训练流程中支持双控制范式（轨迹+锚点）与单控制范式（仅轨迹或仅锚点）的灵活切换。

此外，针对稀疏动作直接学习存在固有不稳定性的问题，我们提出SAP-CL（稀疏锚姿态课程学习策略）。该课程学习方法通过渐进式调整引导锚点数量，实现了更精准稳定的收敛效果。大量实验表明，ProMoGen在预定义轨迹与任意锚点帧的引导下，能够生成生动多样的运动。我们的方法将个性化动作与结构化引导无缝融合，在多种控制场景下显著优于当前最先进的方法。

LengthAware Motion Synthesis via Latent Diffusion

合成人体运动的时长是一个关键属性，需要对运动动力学和风格进行建模控制。加速动作执行并不仅仅是简单的快进播放。然而，目前最先进的人类行为合成技术在目标序列长度控制方面存在局限。我们提出了从文本描述生成长度感知的3D人体运动序列这一新课题，并提出了一种新颖模型来合成可变目标时长的运动，称之为"长度感知潜在扩散"(LADiff)。LADiff包含两个新模块：1）长度感知变分自编码器，通过长度相关的潜在代码学习运动表征；2）长度顺应潜在扩散模型，其生成运动的细节丰富度会随着所需目标序列长度的增加而提升。在HumanML3D和KIT-ML两个权威基准测试中，LADiff在大多数现有运动合成指标上显著超越了当前最先进技术。

IKMo: Image-Keyframed Motion Generation with Trajectory-Pose Conditioned Motion Diffusion Model

现有基于轨迹与姿态输入的人体运动生成方法通常对这两种模态进行全局处理，导致输出结果次优。本文提出 IKMo（基于图像关键帧的运动生成方法），这是一种基于扩散模型的运动生成方法，其核心在于解耦轨迹与姿态输入。轨迹和姿态输入经过一个两阶段条件化框架进行处理：

1. 第一阶段：应用专门的优化模块对输入进行精细化处理。
2. 第二阶段：轨迹和姿态并行通过一个轨迹编码器（Trajectory Encoder）和一个姿态编码器（Pose Encoder）进行编码。随后，一个运动控制网络（ControlNet）处理融合后的轨迹与姿态数据，引导生成具有高空间保真度与语义保真度的运动。

基于 HumanML3D 和 KIT-ML 数据集的实验结果表明，在轨迹-关键帧约束下，所提方法在所有指标上均优于现有最优方法。此外，我们实现了基于多模态大语言模型（MLLM）的智能体来预处理模型输入。给定用户提供的文本和关键帧图像，这些智能体能够提取运动描述、关键帧姿态和轨迹作为优化后的输入，输入到运动生成模型中。我们进行了包含 10 名参与者的用户研究，实验结果证明，基于 MLLM 的智能体预处理使生成的运动更符合用户预期。我们相信，所提出的方法显著提升了扩散模型在运动生成方面的保真度与可控性。

UniMoGen: Universal Motion Generation

动作生成是计算机图形学、动画、游戏和机器人技术的基石，能够实现逼真且多样化的角色动作创作。现有方法的一个显著局限是它们依赖于特定的骨骼结构，这限制了它们在不同角色间的通用性。

为克服此局限，我们提出了 UniMoGen，一种新颖的、基于 UNet 架构的扩散模型，专为骨架无关的动作生成而设计。UniMoGen 可训练来自不同角色(如人类和动物)的动作数据，且无需预定义最大关节数量。通过仅动态处理每个角色必需的关节，我们的模型同时实现了骨架无关性和计算高效性。

UniMoGen 的关键特性包括：通过风格和轨迹输入实现可控性，以及从过往帧延续动作的能力。我们在 100style 数据集上验证了 UniMoGen 的有效性，其在多样化角色动作生成方面优于最先进的方法。此外，当在使用了不同骨骼的 100style 和 LAFAN1 数据集上联合训练时，UniMoGen 在两种骨骼上都实现了高性能和更高的效率。

这些结果突显了 UniMoGen 的潜力：通过为广泛的角色动画提供灵活、高效且可控的解决方案，推动动作生成技术的进步。

AMD: Anatomical Motion Diffusion with Interpretable Motion Decomposition and Fusion

根据文本描述生成逼真的人体运动序列是一项具有挑战性的任务，需要同时捕捉自然语言和人体运动的丰富表现力。尽管扩散模型的最新进展推动了人体运动合成领域的重大突破，但现有方法在处理描述复杂或长时间运动的文本输入时仍存在困难。本文提出可适应运动扩散（AMD）模型，通过利用大语言模型（LLM）将输入文本解析为一系列与目标运动相对应的简洁可解释的解剖学脚本。该过程充分发挥了LLM为复杂运动合成提供解剖学指导的能力。我们设计了一种双分支融合方案，在反向扩散过程中平衡输入文本与解剖学脚本的影响，自适应地确保合成运动的语义保真度与多样性。我们的方法能有效处理包含复杂或长序列运动描述的文本，而现有方法在此类场景中往往表现不佳。在包含相对复杂运动的数据集（如CLCD1和CLCD2）上的实验表明，AMD模型显著优于现有最先进方法。

Flame: Free-form language-based motion synthesis & editing

Human Motion Diffusion as a Generative Prior

最近研究表明，去噪扩散模型在人体运动生成（包括文本驱动运动生成）方面具有巨大潜力。然而，现有方法受限于标注运动数据匮乏、仅关注单人动作生成以及缺乏精细控制能力。本文基于扩散先验提出三种组合模式：序列组合、并行组合与模型组合。通过序列组合，我们解决了长序列生成难题，提出DoubleTake推理方法——仅通过短片段训练的扩散先验，即可生成由提示区间及其过渡组成的长动画序列。借助并行组合，我们在双人生成任务上取得突破性进展：基于两个固定先验及少量双人训练样本，我们开发了轻量级通信模块ComMDM，用于协调两个生成动作间的交互。通过模型组合，我们首先训练独立先验模型以生成符合指定关节约束的动作，进而提出DiffusionBlending插值机制，有效融合多个此类模型，实现灵活高效的关节级与轨迹级精细控制与编辑。我们采用现成的运动扩散模型对三种组合方法进行评估，并将生成结果与针对特定任务专门训练的模型进行对比验证。

Text-driven Human Motion Generation with Motion Masked Diffusion Model

文本驱动的人体运动生成是一项多模态任务，旨在根据自然语言描述合成人体运动序列。该任务要求模型在多样化条件输入下满足文本描述，同时生成合理逼真且具有高度多样性的人类动作。基于扩散模型的方法在生成的多样性和多模态性方面表现突出，但与在推理前训练运动编码器的自回归方法相比，扩散方法在拟合人体运动特征分布方面存在不足，导致FID评分不理想。一个重要发现是，扩散模型缺乏通过上下文推理学习时空语义间运动关系的能力。为解决这一问题，本文提出运动掩码扩散模型（MMDM），通过新颖的人体运动掩码机制显式增强扩散模型从运动序列上下文关节中学习时空关系的能力。此外，针对人体运动数据具有动态时间特征和空间结构的特点，我们设计了两种掩码建模策略：时间帧掩码和身体部位掩码。在训练过程中，MMDM会对运动嵌入空间中的特定标记进行掩码处理，随后设计的扩散解码器在每个采样步骤中学习从掩码嵌入还原完整运动序列，使模型能够从不完整表征中恢复完整序列。在HumanML3D和KIT-ML数据集上的实验表明，我们的掩码策略能有效平衡运动质量与文本-运动一致性。

ReMoDiffuse: RetrievalAugmented Motion Diffusion Model

三维人体运动生成在创意产业中具有关键作用。基于生成模型与领域知识的文本驱动运动生成技术近年来取得显著进展，在常规动作捕捉方面成效卓著。然而，面对更复杂的多样化动作时，现有方法仍表现欠佳。本研究提出ReMoDiffuse——一种融合检索机制的扩散模型运动生成框架，通过优化去噪过程提升生成效果。ReMoDiffuse通过三项核心设计增强文本驱动运动生成的普适性与多样性：1）混合检索机制从语义相似度与运动学特征相似度双重维度在数据库中寻找合适参考；2）语义调制变换器选择性吸收检索知识，自适应调整检索样本与目标运动序列间的差异；3）条件混合机制在推理阶段更高效利用检索数据库，克服无分类器引导中的尺度敏感问题。大量实验表明，ReMoDiffuse在文本-运动一致性与运动质量之间取得卓越平衡，尤其在多样化运动生成任务上超越现有最优方法。

MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model

本研究提出MotionLCM，将可控运动生成提升至实时水平。现有文本条件运动生成中的时空控制方法存在显著运行效率低下的问题。为解决此问题，我们基于运动潜在扩散模型，首次提出用于运动生成的运动潜在一致性模型（MotionLCM）。通过采用单步（或少步）推理，我们进一步提升了运动潜在扩散模型在运动生成中的运行效率。为确保有效可控性，我们在MotionLCM的潜在空间中引入运动ControlNet，使原始运动空间中的显式控制信号（即初始运动）能够为训练过程提供额外监督。应用这些技术后，我们的方法能够实时生成符合文本和控制信号的人类运动。实验结果表明，MotionLCM在保持实时运行效率的同时，展现出卓越的生成与控制能力。

ReAlign: Bilingual Text-to-Motion Generation via Step-Aware Reward-Guided Alignment

双语文本到运动生成通过双语文本输入合成3D人体运动，在游戏、影视和机器人等跨语言应用领域具有巨大潜力。然而，该任务面临两大关键挑战：缺乏双语运动-语言数据集，以及扩散模型中文本与运动分布的不对齐问题，导致生成运动存在语义不一致或质量低下的情况。为应对这些挑战，我们提出了BiHumanML3D双语人体运动数据集，为双语文本到运动生成模型建立了重要基准。此外，我们开发了双语运动扩散模型(BiMD)，通过跨语言对齐表征捕捉语义信息，实现统一的双语建模。在此基础上，我们提出了奖励引导的采样对齐方法(ReAlign)，包含用于评估采样过程中对齐质量的步态感知奖励模型，以及引导扩散过程向最优对齐分布演进的奖励引导策略。该奖励模型融合步态感知标记，结合保证语义一致性的文本对齐模块和提升真实性的运动对齐模块，通过在每一步优化噪声运动，平衡概率密度与对齐效果。实验表明，相较于现有最优方法，我们的方法在文本-运动对齐质量和运动生成质量上均有显著提升。项目主页：https://wengwanjiang.github.io/ReAlign-page/。

Absolute Coordinates Make Motion Generation Easy

当前最先进的文本到动作生成模型依赖于由 HumanML3D 推广的运动学感知、局部相对动作表示方法。该方法通过相对于骨盆和前一帧对动作进行编码，并带有内置冗余。虽然这种设计简化了早期生成模型的训练，但它却给扩散模型带来了关键限制，并阻碍了其在下游任务中的应用。

在这项工作中，我们重新审视了动作表示方法，并为文本到动作生成提出了一种经过彻底简化且被长期弃用的替代方案：全局空间中的绝对关节坐标。通过对设计选择的系统分析，我们发现，即使仅使用简单的 Transformer 主干网络且无需辅助的运动学感知损失函数，这种表述方式也能实现显著更高的动作保真度、改进的文本对齐能力以及强大的可扩展性。

此外，我们的方法天然支持下游任务，例如文本驱动的动作控制以及时间/空间编辑，无需额外的任务特定工程改造，也无需根据控制信号进行成本高昂的分类器引导生成。

最后，我们展示了其良好的泛化能力，能够直接从文本生成运动中的 SMPL-H 网格顶点，为未来的研究和动作相关应用奠定了坚实基础。

Seamless Human Motion Composition with Blended Positional Encodings

条件式人体运动生成是一个重要的研究课题，在虚拟现实、游戏和机器人技术等领域具有广泛应用。现有研究多集中于基于文本、音乐或场景引导的运动生成，但这些方法通常只能生成短时孤立的运动片段。本文致力于解决根据连续变化的文本描述生成长时间连续运动序列的问题。为此，我们提出了FlowMDM——首个基于扩散模型的、无需后处理或冗余去噪步骤即可生成无缝人体运动组合（HMC）的方法。我们创新性地提出了混合位置编码技术，在去噪链中同时利用绝对位置编码和相对位置编码。具体而言，绝对编码阶段重建全局运动一致性，而相对编码阶段则构建平滑逼真的动作过渡。在Babel和HumanML3D数据集上的实验表明，我们的方法在动作准确性、真实感和流畅度方面均达到了最先进水平。得益于其以动作为核心的交叉注意力机制，FlowMDM在仅使用单个描述训练的情况下，仍能有效应对推理时多变的文本输入。最后，针对现有HMC评估指标的局限性，我们提出了两个新指标：峰值加加速度和加加速度曲线下面积，用以检测运动中的突变转换。

FineMoGen: Fine-Grained Spatio-Temporal Motion Generation and Editing

随着扩散模型的出现，文本驱动动作生成已取得显著进展。然而，现有方法在生成符合细粒度描述的复杂动作序列时仍存在困难——这些描述需要描绘精确的时空动作细节。这种精细可控性的缺失限制了动作生成技术向更广泛受众的推广。为解决这些挑战，我们提出FineMoGen，这是一个基于扩散模型的运动生成与编辑框架，能够根据用户指令进行时空组合，生成细粒度动作。具体而言，FineMoGen在扩散模型基础上构建了名为时空混合注意力（SAMI）的新型Transformer架构。SAMI从两个角度优化全局注意力模板的生成：1）显式建模时空组合的约束条件；2）利用稀疏激活的专家混合机制自适应提取细粒度特征。为促进这一新型细粒度动作生成任务的大规模研究，我们构建了HuMMan-MoGen数据集，包含2,968个视频和102,336条细粒度时空描述。大量实验证明，FineMoGen在动作生成质量上显著优于现有最优方法。值得注意的是，借助现代大语言模型（LLM），FineMoGen进一步实现了零样本动作编辑能力，能够通过细粒度指令精准操控动作序列。项目页面：https://mingyuan-zhang.github.io/projects/FineMoGen.html

Fg-T2M: Fine-Grained Text-Driven Human Motion Generation via Diffusion Model

基于文本的人体动作生成在计算机视觉领域兼具重要性与挑战性。然而，现有方法仅能生成确定性或不够精确的动作序列，难以有效控制时空关系以契合给定文本描述。本研究提出一种细粒度条件生成方法，可依据精准文本描述生成高质量人体运动序列。我们的方案包含两个核心组件：1）语言结构辅助模块——通过构建精准完整的语言特征以充分挖掘文本信息；2）上下文感知渐进推理模块——借助浅层与深层图神经网络分别学习局部与全局语义语言学特征，实现多步推理。实验表明，本方法在HumanML3D和KIT测试集上超越现有文本驱动动作生成方法，并能根据文本条件生成视觉表现更优的运动序列。

Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation

基于文本引导的人体动作生成技术因其在动画与机器人领域的广泛应用而备受关注。近年来，扩散模型在动作生成中的应用显著提升了生成动作的质量。然而，现有方法受限于对较小规模动作捕捉数据的依赖，导致在面对多样化真实场景提示时表现不佳。本文提出Make-An-Animation这一文本条件化人体动作生成模型，通过从大规模图文数据集中学习更丰富的姿态与提示信息，实现了性能上的重大突破。

该模型采用两阶段训练策略：首先利用从图文数据集中提取的（文本，静态伪姿态）配对数据进行大规模预训练，随后在动作捕捉数据上通过新增时序建模层进行微调。与现有基于扩散模型的动作生成方法不同，Make-An-Animation采用类似最新文生视频模型的UNet架构。在动作真实性与文本契合度的人工评估中，本模型达到了文本驱动动作生成领域的最先进水平。生成样本可访问https://azadis.github.io/make-an-animation 查看。

StableMoFusion: Towards Robust and Efficient Diffusion-based Motion Generation Framework

得益于扩散模型强大的生成能力，人体动作生成领域近年来发展迅速。现有的基于扩散模型的方法采用了各不相同的网络架构和训练策略，各个组件设计的具体影响尚不明确。此外，迭代去噪过程需要消耗大量计算资源，这对虚拟角色和人形机器人等实时应用场景而言难以承受。为此，我们首先对网络架构、训练策略及推理过程进行了全面研究，基于深入分析为高效高质量的人体动作生成量身优化每个组件。尽管优化后的模型表现出色，但仍存在脚部滑动现象——这是基于扩散的解决方案中普遍存在的问题。为消除脚部滑动，我们通过识别足地接触关系并在去噪过程中修正脚部运动，将这些精心设计的组件有机整合，提出了稳健高效的人体动作生成框架StableMoFusion。大量实验结果表明，我们的StableMoFusion在性能上优于当前最先进方法。项目页面：https://h-y1heng.github.io/StableMoFusionpage/。

EMDM: Efficient Motion Diffusion Model for Fast and High-Quality Motion Generation

本文提出高效运动扩散模型（EMDM），旨在实现快速、高质量的人体运动生成。当前最先进的生成式扩散模型虽能产生令人印象深刻的结果，但在保持质量的同时难以实现快速生成。一方面，诸如运动潜在扩散等方法为提升效率在潜在空间中进行扩散，但学习此类潜在空间本身需要大量计算资源；另一方面，若直接采用增大采样步长的方式（如DDIM）加速生成，则因难以逼近复杂的去噪分布往往导致质量下降。为解决这些问题，我们提出的EMDM模型能够在扩散模型的多步采样过程中有效捕捉复杂分布，从而大幅减少采样步骤并显著加速生成过程。该模型通过条件去噪扩散GAN技术，在任意（可能更大）步长条件下根据控制信号捕捉多模态数据分布，实现高保真度、多样化的少步数运动采样。为减少不良运动伪影，我们在网络学习过程中引入几何约束损失。实验表明，EMDM可实现实时运动生成，在保证高质量运动生成的同时，较现有方法显著提升了运动扩散模型的效率。研究成果发表后代码将开源发布。

Motion Mamba: Efficient and Long Sequence Motion Generation

摘要：人体运动生成是生成式计算机视觉领域的重要研究方向，然而实现长序列且高效的运动生成仍面临挑战。近年来，状态空间模型（SSMs）尤其是Mamba的进展，通过硬件感知的高效设计在长序列建模中展现出巨大潜力，这为构建运动生成模型指明了重要方向。然而，由于缺乏针对运动序列建模的专用架构，将SSMs应用于运动生成仍存在障碍。为此，我们提出Motion Mamba——一种简单高效的方法，率先构建了基于SSMs的运动生成模型。具体而言，我们设计了分层时序Mamba（HTM）模块，通过在对称U-Net架构中集成不同数量的独立SSM模块来处理时序数据，以保持帧间运动一致性；同时开发了双向空间Mamba（BSM）模块，通过双向处理潜在姿态来增强时序帧内的运动生成精度。在HumanML3D和KIT-ML数据集上的实验表明，本方法相较于现有最佳扩散模型方法，FID指标提升最高达50%，推理速度提升达4倍，充分证明了其在高质量长序列运动建模与实时人体运动生成方面的强大能力。

状态空间模型SSN和Mamba

首先，需要区分两个概念：经典控制论中的状态空间模型 和 深度学习新模型（如Mamba）所指的状态空间模型。它们思想同源，但设计和目标不同。

1. 经典状态空间模型（控制论/时序分析）

在传统意义上，SSM是一个用于描述动态系统的数学模型，它由两个方程组成：

• 状态方程（过程模型）：描述系统内部状态如何随时间演变。 x(t) = A * x(t-1) + B * u(t) + w(t)
• 观测方程（测量模型）：描述我们如何从外部观测到系统的状态。 y(t) = C * x(t) + D * u(t) + v(t)

其中：

• x(t)：系统在时刻 t 的内部状态（通常无法直接观测）。
• u(t)：在时刻 t 的输入/控制信号。
• y(t)：在时刻 t 的观测/输出信号。
• A：状态转移矩阵，描述状态如何自行演变。
• B：输入矩阵，描述输入如何影响状态。
• C：输出矩阵，描述状态如何被我们观测到。
• D：直通矩阵，描述输入如何直接影响输出（通常可忽略）。
• w(t), v(t)：过程噪声和观测噪声。

应用场景：卡尔曼滤波、目标跟踪、经济预测、机器人导航等。其核心思想是通过嘈杂的观测数据，来估计一个动态系统的内部真实状态。

2. 深度学习中的状态空间模型（如Mamba, S4）

您论文中提到的SSM，特指的是一类近年来在深度学习领域复兴的序列模型。它们从经典SSM中汲取了核心思想，但将其重新设计为适用于通用序列建模（如自然语言、音频、运动）的可训练神经网络模块。

核心思想：

将这些模型看作一个将输入序列 u(t) 映射到输出序列 y(t) 的系统。它们通过一个隐含状态 x(t) 来记忆和整合过去的信息。

关键特点与优势：

1. 连续系统离散化：

   • 经典的SSM是定义在连续时间上的。为了处理离散的序列数据（如文本、运动帧），需要将其离散化。这会引入两个关键参数 ∆（步长）和 Ā, B̄（离散化后的状态矩阵）。
   • Mamba的贡献之一是让 ∆ 和 B, C 成为输入依赖的，使得模型能够根据当前输入动态调整行为，从而更关注相关信息。

2. 循环模式 vs. 卷积模式：

   • 循环模式：按照时间步一步步计算，状态 x(t) 依赖于 x(t-1)。这非常高效（固定计算量/步），类似于RNN，但无法并行训练。
   • 卷积模式：通过数学推导，可以将整个序列的输出 y 表示为输入 u 和一个卷积核 K 的卷积结果。这允许高效并行训练，但卷积核长度受限于训练长度，无法直接推广到更长的序列。

3. 核心优势：

   • 长序列建模：由于隐含状态的存在，理论上它可以记住非常长的上下文信息，避免了Transformer在长序列上的二次复杂度问题。
   • 计算效率：无论是循环模式的高效推理，还是卷积模式的高效训练，SSM在计算和内存上都比Transformer更轻量。
   • 硬件感知设计（Mamba的核心）：Mamba模型通过其选择性扫描机制，避免了 materializing 巨大的中间矩阵，实现了比其前身（S4模型）更快的速度，并保持了处理长序列的能力。

总结对比

简单来说，在论文语境中：

状态空间模型（SSM）是一种新兴的深度学习架构，它通过一个可学习的、不断演变的“内部状态”来理解和处理序列信息。这种设计让它特别擅长处理像长序列运动数据这样的任务，因为它既能捕捉长距离依赖，又比传统的Transformer模型更高效。Mamba则是目前该系列中最先进的模型之一。

M2D2M: Multi-Motion Generation from Text with Discrete Diffusion Models

摘要：本文提出多动作离散扩散模型（M2D2M），这是一种利用离散扩散模型优势、从多动作文本描述生成人体运动的新方法。该方法巧妙解决了生成多动作序列的挑战，能确保动作间流畅过渡及系列动作的连贯性。M2D2M的核心优势在于其离散扩散模型中的动态转移概率机制——该机制根据运动标记的邻近性自适应调整转移概率，有效促进不同模态间的混合。结合包含独立去噪与联合去噪的两阶段采样策略，M2D2M仅需使用单动作生成训练的模型，即可有效生成长期、平滑且上下文连贯的人体运动序列。大量实验表明，M2D2M在文本描述生成运动任务上超越了当前最先进的基准模型，其在语言语义解析与动态逼真运动生成方面的效能得到了充分验证。

T2LM: Long-Term 3D Human Motion Generation from Multiple Sentences

本文致力于解决长期3D人体运动生成这一挑战性难题，重点研究如何从多语句（即段落）输入中生成平滑衔接的连续动作序列。现有的长期运动生成方法多基于循环神经网络架构，以前序生成的运动片段作为后续输入。然而该方法存在双重缺陷：1）依赖成本高昂的序列化数据集；2）逐步生成的运动片段间存在失真间隙。为应对这些问题，我们提出了一种简洁高效的T2LM框架——无需序列化数据即可训练的连续长期生成系统。该框架包含两个核心组件：训练用于将运动压缩为潜在向量序列的一维卷积VQVAE，以及基于Transformer的文本编码器（可根据输入文本预测潜在序列）。在推理阶段，语句序列被转换为连续的潜在向量流，经由VQVAE解码器重构为运动序列；通过采用具有局部时间感受野的一维卷积，有效避免了训练与生成序列间的时间不一致性。这种对VQ-VAE的简易约束使其仅需短序列训练即可实现更平滑的过渡效果。T2LM不仅显著优于现有长期生成模型并突破序列数据依赖的局限，在单动作生成任务上也达到了与当前最优模型相媲美的性能。

AttT2M:Text-Driven Human Motion Generation with Multi-Perspective Attention Mechanism

基于文本描述生成三维人体运动一直是近年来的研究热点。该任务要求生成的运动兼具多样性、自然性，并符合文本描述。由于人体运动固有的复杂时空特性，以及文本与运动间跨模态关系学习的难度，文本驱动运动生成仍是一个具有挑战性的问题。为解决这些难题，我们提出AttT2M——一种融合多视角注意力机制的双阶段方法：身体部位注意力与全局-局部运动-文本注意力。前者从运动嵌入视角出发，通过在VQ-VAE中引入身体部位时空编码器，学习更具表现力的离散潜在空间；后者基于跨模态视角，用于学习句子层级和词汇层级的运动-文本跨模态关联。最终通过生成式变换器实现文本驱动运动的合成。在HumanML3D和KIT-ML数据集上的大量实验表明，本方法在定性与定量评估上均优于当前最优成果，实现了细粒度合成和动作到运动的精准生成。代码详见：https://github.com/ZcyMonkey/AttT2M。

自回归模型通过施加因果约束，在序列依赖关系建模方面表现出色，但其单向特性导致难以捕捉复杂的双向模式。相比之下，基于掩码的模型能利用双向上下文实现更丰富的依赖关系建模，但其预测过程常假设标记相互独立，这削弱了对序列依赖关系的刻画能力。此外，通过掩码或吸收操作对序列进行的破坏可能引入不自然的失真，增加学习难度。为应对这些挑战，我们提出双向自回归扩散模型（BAD），这一创新方法融合了自回归与基于掩码的生成模型优势。BAD采用基于排列的序列破坏技术，在通过随机排序保持因果依赖的同时维护自然序列结构，从而有效捕捉序列与双向关系。综合实验表明，BAD在文本到动作生成任务中优于自回归和基于掩码的模型，为序列建模提供了创新的预训练策略。BAD代码库已发布于https://github.com/RohollahHS/BAD。

MMM: Generative Masked Motion Model

基于扩散模型与自回归模型的文本驱动动作生成技术近期取得显著进展，但其性能往往难以兼顾实时性、高保真度与动作可编辑性。为突破这一局限，我们提出MMM——一种基于掩码动作模型的全新简易动作生成范式。该框架包含两个核心组件：（1）动作分词器：将三维人体动作转换为潜空间中的离散标记序列；（2）条件掩码动作变换器：基于预计算文本标记，学习预测随机掩码的动作标记。通过全方位感知动作与文本标记的关联，MMM显式捕获了动作标记间的内在依赖性及动作-文本标记间的语义映射关系。在推理阶段，这种机制支持并行迭代解码生成与细粒度文本描述高度契合的多个动作标记，从而同步实现高保真与高速率的动作生成。此外，MMM具备天然的动作编辑能力：只需在待编辑位置设置掩码标记，模型即可自动填充内容，并确保编辑与非编辑片段间的平滑过渡。在HumanML3D和KIT-ML数据集上的大量实验表明，MMM生成的动作质量超越当前主流方法（其FID分数分别达到0.08和0.429），同时支持身体局部编辑、动作插帧及长序列生成等高级功能。在单块中端GPU上，MMM的运算速度比可编辑动作扩散模型快两个数量级。项目页面详见：https://exitudio.github.io/MMM-page/

Priority-Centric Human Motion Generation in Discrete Latent Space

文本驱动动作生成是一项极具挑战的任务，其目标是生成既符合输入文本描述，又遵循人体运动规律与物理定律的人类动作。尽管扩散模型已取得显著进展，但其在离散空间中的应用仍待深入探索。现有方法往往忽视不同动作的重要性差异，对其进行均等处理。需要认识到的是，并非所有动作都与特定文本描述具有同等关联度——某些更具显著性和信息量的动作应在生成过程中被优先考虑。为此，我们提出了以优先级为核心的动作离散扩散模型（M2DM）：该模型采用基于Transformer的VQ-VAE架构，通过全局自注意力机制与正则化项构建紧凑的离散动作表示，有效防止代码坍塌；同时设计了一种创新的运动离散扩散模型，通过分析动作令牌在整体序列中的重要性来制定噪声调度策略。这种方法在逆向扩散过程中保留最显著的动作特征，从而生成语义更丰富、多样性更强的动作序列。此外，我们融合文本与视觉指标提出两种动作令牌重要性评估策略。在HumanML3D和KIT-ML数据集上的综合实验表明，本模型在生成真实性与多样性方面均超越现有技术，尤其对于复杂文本描述场景具有显著优势。

AvatarGPT: All-in-One Framework for Motion Understanding, Planning, Generation and Beyond

大型语言模型（LLM）在统一几乎所有自然语言处理任务方面展现出卓越的涌现能力。然而在与人体运动相关的研究领域，学者们仍在为每个任务开发孤立模型。受InstructGPT[16]与Gato[27]通用智能理念的启发，我们提出AvatarGPT——一个集运动理解、规划、生成以及中间帧合成等任务于一体的全能框架。该框架将各类任务视为基于共享大语言模型进行指令微调的不同变体，所有任务通过语言这一通用接口无缝衔接，形成闭环系统。

具体实现包含三个关键步骤：首先将人体运动序列编码为离散标记，作为大语言模型的扩展词汇表；随后开发无监督流程，从真实场景视频中自动生成人体动作序列的自然语言描述；最终进行多任务联合训练。大量实验表明，AvatarGPT在底层任务上达到顶尖水平，在高层任务中亦展现出良好性能，验证了所提一体化框架的有效性。更值得注意的是，AvatarGPT首次通过闭环系统内任务的迭代遍历，实现了无限长序列运动合成的理论突破。项目主页：https://zixiangzhou916.github.io/AvatarGPT/

MotionGPT: Human Motion as a Foreign Language

尽管预训练大语言模型不断发展，但如何构建一个能够统一处理语言与运动等多模态数据的模型至今仍是一个尚未探索的挑战性课题。值得庆幸的是，人类运动与人类语言具有相似的语义耦合特性，常被视为一种身体语言形式。通过将语言数据与大规模运动模型相融合，能够提升运动相关任务性能的运动-语言预训练技术已成为可能。受此启发，我们提出MotionGPT——一个统一、通用且用户友好的运动语言模型，用于处理多种运动相关任务。具体而言，我们采用离散向量量化技术将人体运动转化为运动标记，其生成过程类似于文本标记的生成。基于该"运动词汇表"，我们以统一的方式对运动和文本进行语言建模，将人体运动视为特殊形式的语言。此外受提示学习启发，我们采用运动-语言混合数据对MotionGPT进行预训练，并基于提示问答任务进行微调。大量实验表明，MotionGPT在文本驱动运动生成、运动描述、运动预测及运动补全等多个任务上均达到了领先水平。

Action-GPT: Leveraging Large-scale Language Models for Improved and Generalized Action Generation

本文提出Action-GPT——一种即插即用框架，旨在将大语言模型（LLM）融入基于文本的动作生成模型。当前运动捕捉数据集中的动作短语通常只包含最精简的核心信息。通过为大语言模型精心设计提示模板，我们能够生成更丰富、更细粒度的动作描述。研究证明，使用这些详细描述替代原始动作短语可有效提升文本空间与动作空间的对齐效果。我们提出了一种通用方法，可同时兼容随机性（如基于VAE）与确定性（如MotionCLIP）的文生动作模型，并支持使用多个文本描述进行生成。实验结果表明：（1）合成动作质量在定性与定量评估中均有显著提升；（2）使用多个LLM生成描述具有增益效应；（3）提示函数设计合理有效；（4）所提方法具备零样本生成能力。相关代码、预训练模型及示例视频将发布于https://actiongpt.github.io。

PoseGPT: Quantization-based 3D Human Motion Generation and Forecasting

本文研究动作条件引导下的人体运动序列生成问题。现有研究主要分为两类：基于观测历史运动的预测模型，或仅依赖动作标签与时长的生成模型。与此不同，我们实现了任意观测长度（包括零观测）条件下的运动生成。针对这一广义问题，我们提出PoseGPT——一种基于自回归变换器的模型，其内部通过量化潜在序列对人体运动进行压缩编码。我们首先通过自编码器将人体运动映射至离散空间的潜在索引序列，并实现反向重构。受生成式预训练变换器（GPT）启发，我们训练了适用于该离散空间的类GPT模型进行索引预测，使PoseGPT能够输出未来运动的概率分布，且无需依赖历史运动观测。潜在序列的离散压缩特性使类GPT模型能聚焦长期运动特征，有效消除输入信号中的低频冗余。离散索引预测还规避了连续值回归中常见的“平均姿态”预测陷阱——因为离散目标的平均值本身并非有效目标。实验结果表明，我们所提方法在HumanAct12（标准小规模数据集）、BABEL（新兴大规模运动捕捉数据集）及GRAB（人物交互数据集）上均达到了最先进水平。

Incorporating Physics Principles for Precise Human Motion Prediction

众多现实应用都依赖于基于历史观察数据对三维人体运动进行精确预测。虽然现有方法已取得显著进展，但其在亚秒级时间跨度内的预测误差仍可能达到数厘米级别。本文提出，要实现精确的人体运动预测，必须深入理解支配人体运动的基础物理原理。我们创新性地引入了PhysMoP——一个融合物理原理的人体运动预测框架。该框架通过求解欧拉-拉格朗日方程（一组描述物理运动规律的常微分方程）来估计下一帧的人体姿态。为缓解随时间累积的固有误差问题，PhysMoP采用数据驱动模型，并通过融合模块对基于物理的预测进行迭代修正。大量实验表明，PhysMoP在亚秒级预测区间内显著优于现有方法。例如在80毫秒的预测区间上，PhysMoP相较传统数据驱动方法的误差降低幅度达到10倍以上。

PIMNet: Physics-infused Neural Network for Human Motion Prediction

摘要：人体运动预测（HMP）旨在根据历史姿态序列预测未来人体姿态序列。近年来，该技术在计算机视觉和机器人领域备受关注，因其能帮助机器理解人类行为、规划目标动作并优化交互策略。现有HMP方法主要基于纯物理模型或统计模型，但二者均存在局限性：物理模型计算复杂且易产生误差，统计方法则需要大量数据且缺乏物理一致性。为克服这些缺陷，我们提出一种物理融合神经网络（PIMNet），将物理模型与统计方法相结合。我们首先通过基于物理的人体动力学模型计算每个姿态的接触力与关节力矩，随后将其输入编码器-解码器机器学习架构中以预测未来运动。该方法使PIMNet同时具备计算高效性与物理一致性。在Human 3.6M数据集上的大量实验表明，所提出的PIMNet在短期和长期预测中均能准确预测人体运动。即使采用基础LSTM作为机器学习模型，其预测精度仍达到或超越了最先进水平。

PhysDiff: Physics-Guided Human Motion Diffusion Model

去噪扩散模型在生成多样且逼真的人体动作方面前景广阔。然而，现有动作扩散模型在生成过程中普遍忽略物理规律，常产生存在明显物理异常的动作——如身体漂浮、脚步滑动、地面穿透等问题。这不仅严重影响生成动作的质量，更限制了其在实际场景中的应用。为解决这一难题，我们提出了一种新型物理引导动作扩散模型（PhysDiff），将物理约束融入扩散过程。具体而言，我们设计了一个基于物理的动作投影模块，通过物理仿真器中的动作模拟，将每个扩散步骤去噪后的动作投影至符合物理规律的状态。经物理修正的动作将在后续扩散步骤中引导去噪过程。从机理上看，这种物理机制的引入能持续将动作迭代牵引至物理合理的空间，这是传统后处理方法无法实现的。基于大规模人体动作数据集的实验表明，我们的方法在动作质量上达到最优水平，并将物理合理性全面提升（所有数据集提升幅度>78%）。

NRDF: Neural Riemannian Distance Fields for Learning Articulated Pose Priors

对关节空间进行精确建模是一项关键任务，它既能实现真实姿态的恢复与生成，也始终是公认的难题。为此，我们提出了神经黎曼距离场（NRDF）——一种数据驱动的先验模型，通过高维四元数积空间中的神经场零水平集来表征合理关节空间。为仅基于正样本训练NRDF，我们提出一种新型采样算法，确保测地距离遵循目标分布，从而构建理论严密的距离场学习范式。继而设计投影算法，通过自适应步长黎曼优化器将任意随机姿态映射至水平集，并始终遵循关节旋转构成的产品流形。NRDF可通过反向传播计算黎曼梯度，通过数学类比与新兴生成模型黎曼流匹配建立理论关联。我们在姿态生成、图像姿态估计和逆运动学求解等多类下游任务中，对NRDF与其他姿态先验模型展开系统评估，结果凸显了NRDF的卓越性能。除人体姿态外，NRDF的通用性更延伸至手部与动物关节建模，因其能有效表征任意关节系统。

Riemannian Motion Generation: A Unified Framework for Human Motion Representation and Generation via Riemannian Flow Matching

论文信息: arXiv:2603.15016v1 [cs.CV], 16 Mar 2026, Fangran Miao et al., The Hong Kong Polytechnic University / Southern University of Science and Technology

Link: arXiv:2603.15016

一、核心问题

1.1 研究背景

人体运动生成的几何表示问题：

现有方法大多在欧几里得空间中学习运动生成，但有效的运动遵循结构化的非欧几何。

现有表示方法的问题：

其中：

• \(T\): 全局平移 (Translation)
• \(R_{ori}\): 全局朝向 (Orientation)
• \(R_{joint}\): 每关节旋转 (Joint Rotation)
• \(P\): 关节位置 (Position)
• \(d\cdot\): 时间差分 (Temporal Difference)

核心观察：

• 对于 \(J\) 个关节的骨骼，关节姿态的内在自由度约为 \(3J\)
• 常见编码方式串联多个相关视图，占据更高维的 ambient 空间
• 模型在 \(\mathbb{R}^D\) 中训练，但物理有效的运动位于更低维的流形上

1.2 核心问题

如何在一个统一的几何感知框架中表示和生成人体运动？

具体来说：

1. 能否将运动分解为多个低维因子，每个因子有自己的自然几何？
2. 能否在乘积流形上直接学习生成动力学，而非在欧氏空间？
3. 能否实现尺度无关的表示，无需额外的数据归一化？

1.3 本文方法

论文提出了 Riemannian Motion Generation (RMG)，一个基于黎曼流形匹配的统一运动生成框架。

核心思想：

1. 运动分解：将运动分解为多个流形因子（平移、旋转、姿态）
2. 黎曼流形匹配：在乘积流形上学习动力学，使用黎曼流匹配 (Riemannian Flow Matching)
3. 测地线插值：使用测地线进行插值和采样，保持流形约束

关键创新：

• 第一个将黎曼流匹配扩展到大规模数据集和高容量架构的工作
• 紧凑的 T + R 表示（平移 + 旋转），无需额外的时间差分或姿态因子
• 在 HumanML3D 上达到 SOTA FID (0.043)，在 MotionMillion 上超越所有基线

二、核心贡献

1. Riemannian Motion Generation (RMG) 框架

   • 在乘积流形上建模运动
   • 使用黎曼流匹配学习动力学
   • 几何一致性内置到表示和生成过程中

2. 紧凑的黎曼表示

   • \(\mathcal{M}_{RMG} = \mathbb{R}^3 \times (S^3)^J\)
   • 仅需 \(4J+3\) 维（最紧凑）
   • 尺度无关，无需数据归一化

3. 大规模扩展验证

   • 第一个证明黎曼流匹配可扩展到大规模数据集的工作
   • 在 MotionMillion (100 万动作片段) 上验证有效性

4. SOTA 性能

   • HumanML3D: FID = 0.043 (新 SOTA)
   • MotionMillion: FID = 5.6, R@1 = 0.86

三、大致方法

3.1 框架概述

flowchart TB
    subgraph Representation["运动表示"]
        T["全局平移 T: R³"]
        R["全局朝向 + 关节旋转 R: S³ᴶ"]
        manifold["乘积流形 M = R³ × S³ᴶ"]
    end

    subgraph Prior["先验分布"]
        prior["黎曼高斯分布 RN(μ, Σ)"]
        ref["参考点：零平移 + 单位旋转"]
    end

    subgraph RFM["黎曼流匹配"]
        geo["测地线插值 xt = Exp_x0(t·Log_x0(x1))"]
        vel["目标速度 vt = Log_xt(x1)/(1-t)"]
        proj["投影到切空间 Π_TxtM"]
    end

    subgraph Network["神经网络"]
        dit["Diffusion Transformer"]
        text["Qwen 文本编码"]
    end

    subgraph Inference["推理"]
        sample["x0 ~ p0"]
        ode["黎曼 ODE 积分 dxt/dt = Π_TxtM vθ(xt, t)"]
        out["生成运动 x1"]
    end

    T --> manifold
    R --> manifold
    manifold --> Prior
    Prior --> RFM
    RFM --> Network
    Network --> Inference
    Inference --> out

    style Representation fill:#e1f5fe
    style Prior fill:#fff3e0
    style RFM fill:#e8f5e9
    style Network fill:#fce4ec
    style Inference fill:#f3e5f5

3.2 运动表示与流形

因子分解：

RMG 将每个运动帧分解为以下因子，每个因子位于其自然流形上：

紧凑表示（通过消融研究验证）：

RMG 采用最紧凑的 T + R 表示，省略局部姿态和时间差分：

$$\mathcal{M}_{RMG} = \mathcal{M}_T \times \mathcal{M}_R = \mathbb{R}^3 \times (S^3)^J$$

单位四元数的优势（相比连续 6D 旋转）：

• 无冗余表示 SO(3)
• 在 \(S^3\) 上诱导平滑测地线
• 改进插值和采样稳定性
• 无需重新正交化
• 维度从 6 降至 4，具有一致的距离度量

3.3 先验分布

黎曼高斯分布：

在黎曼流形 \(\mathcal{M}\) 上定义高斯分布：

1. 在嵌入欧氏空间 \(\mathbb{R}^n\) 中采样高斯噪声：\(\xi \sim \mathcal{N}(0, \Sigma)\)
2. 投影到切空间：\(v = \Pi_{T_\mu\mathcal{M}}(\xi) \in T_\mu\mathcal{M}\)
3. 使用指数映射"包裹"到流形：\(z = \text{Exp}_\mu(v) \in \mathcal{M}\)

记作：\(z \sim \mathcal{RN}(\mu, \Sigma)\)

参考点选择：

对于运动生成，设置参考点为静止姿态（零平移 + 单位旋转）：

• 平移：\(\mu_T = 0 \in \mathbb{R}^3\)
• 旋转：\(\mu_R = [1, 0, 0, 0] \in S^3\)（单位四元数）

这确保先验样本对应合理的静态姿态。

3.4 黎曼流匹配 (Riemannian Flow Matching)

核心思想：

流匹配学习一个时间依赖的速度场，将源分布 \(p_0\) 传输到目标分布 \(p_1\)。在黎曼流形上，使用测地线替代欧氏空间中的线性插值。

测地线插值：

对于 \(t \sim \mathcal{U}[0, 1]\)，构造从 \(x_0\) 到 \(x_1\) 的插值状态：

$$x_t = \text{Exp}{x_0}\left(t \cdot \text{Log}{x_0}(x_1)\right)$$

在乘积流形上，Exp 和 Log 按因子逐元素应用。

目标速度场：

$$v_t(x_t | x_1) = \frac{1}{1-t} \text{Log}{x_t}(x_1) \in T{x_t}\mathcal{M}$$

当 \(\mathcal{M} = \mathbb{R}^n\) 时，退化为标准欧氏流匹配目标。

训练损失：

$$\mathcal{L}(\theta) = \mathbb{E}{x_1 \sim p{data}, x_0 \sim p_0, t \sim \mathcal{U}[0,1]} \left| v_t(x_t | x_1) - \Pi_{T_{x_t}\mathcal{M}} v_\theta(x_t, t) \right|^2$$

其中 \(\Pi_{T_{x_t}\mathcal{M}}\) 是将神经网络输出投影到切空间的算子。

推理（ODE 积分）：

从 \(t=0\) 到 \(t=1\) 积分黎曼 ODE：

$$\frac{dx_t}{dt} = \Pi_{T_{x_t}\mathcal{M}} v_\theta(x_t, t), \quad x_0 \sim p_0$$

使用一阶黎曼欧拉更新（步长 \(h\)）：

$$x_{t+h} = \text{Exp}{x_t}\left(h \cdot \Pi{T_{x_t}\mathcal{M}} v_\theta(x_t, t)\right)$$

这通过构造保持流形约束。

3.5 网络架构

四、训练细节

4.1 数据集

HumanML3D:

• 14,616 个运动片段
• 44,970 条文本描述
• 基于 AMASS 数据集
• 标准 text-to-motion 基准

MotionMillion:

• 100 万运动片段
• 400 万文本描述
• 大规模预训练数据集
• 评估泛化能力

4.2 训练配置

4.3 损失函数

流匹配损失：

$$\mathcal{L}(\theta) = \mathbb{E}{x_1, x_0, t} \left| \frac{1}{1-t}\text{Log}{x_t}(x_1) - \Pi_{T_{x_t}\mathcal{M}} v_\theta(x_t, t) \right|^2$$

关键实现细节：

• 在乘积流形上逐因子计算 Exp/Log
• 平移因子使用欧氏运算
• 旋转因子使用 \(S^3\) 流形运算
• 神经网络输出需投影到切空间

五、实验与结论

5.1 主要结果

HumanML3D 基准（Text-to-Motion）：

关键发现：

• FID = 0.043，超越之前的 SOTA MoMask (0.045)
• R@1 = 0.525，文本 - 运动一致性优秀（仅次于 MotionCLR 的 0.542）
• 多样性和多模态性保持高水平
• 在质量、对齐和多样性之间实现更平衡的改进

MotionStreamer 格式：

MotionMillion 基准（大规模）：

关键发现：

• FID = 5.6，比最强基线 MotionMillion-7B (10.3) 提升近一半
• R@1 从 0.81 提升至 0.86（guidance scale 从 2.0 增至 3.0）
• 证明 RMG 框架的可扩展性和泛化能力

5.2 消融研究

RQ1: 哪些因子对运动质量和引导稳定性重要？

结论：T + R 表示已足够，添加局部姿态 (P) 不会带来改进。

RQ2: 时间差分建模是否改进运动质量？

结论：时间差分不会改进质量，T + R 表示已捕捉足够动态信息。

5.3 应用场景

1. 文本到运动生成

   • 根据文本描述生成自然运动
   • 游戏 NPC 动画
   • VR/AR 化身驱动

2. 运动编辑

   • 在流形上进行运动插值
   • 风格转换

3. 大规模运动合成

   • 利用 MotionMillion 等大规模数据集
   • 预训练通用运动生成器

六、局限性

1. 单位四元数的双覆盖问题

   • \(q\) 和 \(-q\) 表示相同旋转
   • 可能需要额外的符号一致性处理

2. 计算复杂度

   • 黎曼流形运算（Exp/Log）比欧氏运算计算量大
   • 推理速度可能慢于欧氏方法

3. 足部接触未显式建模

   • 当前表示不包含足部接触指示器
   • 可能需要后处理 IK 减少滑动

4. 仅限于运动生成

   • 未涉及物理仿真
   • 生成的运动可能需要进一步验证物理合理性

七、启发

7.1 方法学启发

几何感知建模的重要性：

• 人体运动本质上是非欧的，应在其自然流形上建模
• 黎曼流匹配提供了一个通用框架，可扩展到各种流形

表示设计的关键洞察：

• 紧凑表示（T + R）已足够，无需冗余因子
• 单位四元数比 6D 旋转更适合流形建模
• 尺度无关表示简化了训练流程（无需归一化）

与 Diffusion 的比较：

7.2 与相关工作对比

7.3 技术细节启发

黎曼流匹配的实现：

1. 选择合适的流形结构（\(S^3\) 用于旋转）
2. 实现 Exp/Log 映射（可使用几何库如 geomstats）
3. 切空间投影确保有效动力学
4. 测地线插值替代线性插值

网络设计：

• DiT 作为主干，适合处理流形值数据
• Qwen 等现代 LLM 用于文本编码
• Classifier-free guidance 用于条件生成

八、遗留问题

8.1 开放性问题

1. 扩展到更复杂的流形

   • 能否加入局部姿态因子（Kendall 预形状空间）？
   • 能否建模更复杂的骨骼约束？

2. 物理一致性

   • 如何将物理约束（如足部接触、碰撞）整合到流形框架？
   • 能否与物理仿真器结合？

3. 多模态条件

   • 除文本外，能否处理图像、音频等其他条件？
   • 如何实现细粒度的运动控制？

4. 推理速度

   • 黎曼流匹配需要 ODE 积分，推理较慢
   • 能否使用一致性模型或蒸馏加速？

5. 单位四元数的双覆盖

   • 如何处理 \(q\) 和 \(-q\) 的符号不一致问题？
   • 是否需要特殊的损失函数或约束？

九、补充：黎曼几何基础

9.1 流形 (Manifold)

定义：流形 \(\mathcal{M}\) 是一个拓扑空间，局部类似于欧氏空间 \(\mathbb{R}^n\)，允许进行微积分运算。

例子：

• \(\mathbb{R}^3\): 欧氏空间（平坦流形）
• \(S^2\): 球面（弯曲流形）
• \(S^3\): 单位四元数流形
• \(SO(3)\): 旋转群（等价于 \(\mathbb{R}P^3\)）

9.2 黎曼度量 (Riemannian Metric)

定义：黎曼度量 \(g\) 是在每个切空间 \(T_p\mathcal{M}\) 上定义的内积，记作 \(g_p(u, v)\)。

作用：

• 测量向量长度
• 测量向量夹角
• 诱导测地线距离（最短路径）