Locomotion

任务：实时控制虚拟角色进行高效、真实、可控且自适应的行走、奔跑、跳跃等基础位移运动。

mindmap
    Locomotion
        多
            更多的动作类型
                适配不同地形（平地、楼梯、斜坡）
                适配不同角色
                    二足/四足
                    不同体型
                不同的动作
                不同的风格
            更多的应用场景
                路径引导
                风格控制
                动作类型切换
                动作插帧
                实时运动输入（如动捕、VR 追踪数据）
        快
            满足交互式场景的帧率要求
            快速地数据准备
        好
            动作具有物理真实感
                运动轨迹、肢体姿态、步态节奏符合生物力学规律
                无穿模、僵硬、浮空等失真现象
            动作具有生物真实感
                还原人类 / 生物自然运动特征
            符合用户控制
                支持用户高层指令（速度、方向、动作风格、启停）的精准响应
                实现细粒度运动调节
            稳定性
                具备外力扰动下的稳定性
        省
            计算开销低
            更少的数据
            更少的人工参与
            更少的预处理
                在适配不同泛化性问题时，无需重新设计运动逻辑

直接使用“下一帧参考动画”作为角色动作数据的方法称为基于运动学的方法。 由力/力矩产生的“下一帧动画”作为角色动作数据的方法称为基于动力学的方法。

mindmap
Locomotion
    基于运动学
        数据库匹配
            状态机
            动作匹配
        监督学习
            基于相位
            不基于相位
        生成模型
            基于当前帧的生成 + <br>结合控制目标的策略
            diffusion
    基于动力学
         目标优化
         策略优化

基于运动学的方法：直接控制每个关节的动画数据，不考虑其物理合理性，其效果上限受制于数据。

基于动力学的方法：不直接提供动画数据，而是提供关节受力，让每个关节在力的作用下运动。

说明：

• 轨迹跟踪：下一帧参考动画 → 下一帧动画
• 轨迹优化：下一帧参考动画 → PD控制目标

实际的动力学算出过程，不一定会显式地出现每个步骤，可能是几个步骤统一到一个步骤中的。

基于匹配的方法

graph TD
    A[当前帧 frame] --> B{是否匹配？}
    B -- N --> C[下一帧 frame]
    B -- Y --> D[提取特征]
    D --> E[当前特征]
    F[获取数据] --> D
    G["(5) 角色状态"] --> D
    D --> H[最近邻搜索]
    H --> I[当前帧 frame]
    J[控制目标] --> H
    H --> K["(3) 下一帧动作"]
    L["(6) 角色的动作数据集"] --> M[提取特征]
    M --> N[特征集]

Motion Graph / Motion Matching / Motion Field

flowchart LR
A([当前帧frame]) --> B("是否重新匹配(1)")
    B -->|"N"|C([当前帧frame])
    C --> D["(3)取下一帧动作"]
    D --> E([下一帧frame])
    E --> A
    F --> G(["(5)角色状态"])
    H([控制目标])
    G --> I["(4)提取特征"]
    H --> I
    I --> N([当前特征])
    N -->J["(2)最近邻搜索"]
    J -->C
    B --> F["(5)取数据"]
    K(["(6)角色的动作数据集"])
    K --> L["(4)<br>提取特征"]
    L --> M(["特征集"])
    M --> J
    K --> D

通过检索、拼接、插值实现运动生成，是工业界长期主流方案。

优势：

1. 实现简单：基于准备好的数据库，即可以与角色进行实时控制
2. 可控性高

缺点：

1. 依赖特定角色的海量数据
2. 最近邻搜索成本高
3. 内存占用大
4. 对不同地形泛化性差
5. 随着数据集规模增大，扩展性较差

基于监督学习的方法

非相位方法

基于相位的方法

flowchart LR
    C([NN2])-->A
    D([NN3]) -->A
    E([NN4]) -->A
    B([NN1]) -->A[专家混合]
    A-->F([混合专家模型])
    F-->G[模型推理]
    H(["控制目标<br>(轨迹、标签)"])-->G
    J([当前状态])-->G
    G -->K([相位变化量])-->P([相位])-->O([当前相位])
    G -->L([触地信息])-->R[IK]-->N
    G -->Q([未来轨迹])-->N
    G -->M([下一帧状态])-->N([动作输出])-->J 
    O -->A

优势：

1. 能对用户输入做出稳定实时的响应。

局限性：

1. 依赖精心的设计
2. 用高度可变的运动数据进行训练，会产生平均化的结果。
3. 难以泛化到数据以外的动作。

基于生成的方法

生成 + 控制

(1) 无控制自回归生成模型

flowchart LR
 A([数据集])-->|"预训练"|C[先验模型]
 B([当前状态])--> C-->D([下一帧状态])

(2) 引入控制策略

flowchart LR
 A([控制目标])-->B([策略])--> D[先验模型]--> E([下一帧状态])
 C([当前状态])--> D

flowchart LR
 A([当前状态])-->B[先验模型]
 B--> C([生成1])--> F
 B--> D([生成2])--> F
 B--> E([⋮])--> F
 B--> G([生成n])--> F
 F([选出下一帧])

条件生成

flowchart LR
 A([当前状态])--> C
 B([控制目标])--> C
 C([条件])--> F[Diffusion]--> G([latent code]) --> H[Decoder]--> I([下一帧状态])
 D([噪声])--> F
 E([t])-->F

1. 难以在各种控制信号间进行泛化。
2. 难以泛化到数据以外的动作。
3. 支持多模态条件信号和任意损失引导。
4. 能够实现更长期的目标和复杂任务。

基于动力学的方法

核心特征：输出为关节力矩或 PD 控制目标，需要物理仿真器执行。

与运动学方法的区别：

mindmap
基于动力学的方法
    参考学习
        运动生成 + 运动模仿/sim2real
        运动先验 + 下游控制
    无参考的强化学习
        设计规则作为先验
        纯强化学习无先验

无参考的强化学习

优势：
(1) 能够生成新颖且符合物理规律的动作
(2) 数据依赖少

局限性：
(1) 开销问题
(2) 可扩展性问题
(3) 需要大量手工调优奖励函数，收敛速度慢，在步态切换、跳跃等复杂机动动作上难以实现稳定表现。

基于参考的学习，例如APM、模仿学习，动作空间还是来自于数据，物理只是一种动作合理化的方法。 优势：

1. 物理的方法与数据的方法相结合，利用两种范式的优势，提升运动质量、多样性的泛化能力。
   局限性：
2. 依赖高质量数据
3. 存在数据角色与被驱动角色之间的形态不匹配
4. 难以泛化到数据分布之外

运动先验 + 下游控制

类似于“生成 + 控制”

1. 每个任务都需要单独训练策略

运动规划器 + 运动控制器 + 运动执行器(PD控制)

运动规划器：当前状态 + 控制目标 → 下一帧参考动画
运动控制器：下一帧参考动画 + 当前状态 → PD 控制目标

类似“可控生成 + 动作优化” 。
局限性：

1. 规划器和控制器之间存在GAP，导致动作质量下降
2. 控制策略难以准确跟踪规划的运动，需要微调，限制了其泛化能力

(规划器, 控制器)+PD

由于规划器与控制器之间的 GAP，此文章开始尝试把它们统一到一个模型中

或者更直接一点，把PD也整合进一个模型，生成模型直接出力/力矩

控制 + 转移 + PD

与生成模型一样，数据也可以用于学状态转移，由RL来指导角色的控制性

运动执行器：

运动执行器可以是PD、PID等，图形学习里用的几乎都是PD。
所谓PD控制，实际不是控制器而是执行器。

PD控制器是传统方法，需要调 \(k_d\)、\(k_s\) 两个参数。用LQR可以计算出最能贴合目标的PD效果。

优点：

1. 同“可控生成”

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/GAMES105_mdbook/