轨迹优化方法对比与分类

✅ 本章定位：全面梳理轨迹优化领域的知识体系，通过多维度分类、方法对比和关系图谱，建立对各种优化方法的整体认知。

⭐ 重要概念区分：框架 vs. 求解器

在轨迹优化领域，需要区分控制框架和具体求解器：

MPC 框架 + 不同求解器

MPC 框架（滚动时域优化）
    │
    ├─ 结合 LQR 求解器     →  LQR-MPC（仅限线性系统）
    │
    ├─ 结合 iLQR 求解器    →  iLQR-MPC（适用于平滑非线性问题）⭐最常用
    │
    ├─ 结合 DDP 求解器     →  DDP-MPC（适用于高精度需求）
    │
    ├─ 结合 CMA-ES        →  Sampling-MPC（适用于不可微问题）
    │
    ├─ 结合 SAMCON        →  粒子滤波 MPC（适用于角色控制）
    │
    └─ 结合凸优化         →  Convex-MPC（适用于凸问题）

关键理解：

• MPC 不是算法，是框架 —— 它定义了"每帧优化、只执行第一步"的思想
• 求解器是具体实现 —— 它实际计算最优控制序列
• 同一个 MPC 框架，换不同求解器，适用于不同问题

一、方法全景图（Mind Map）

mindmap
  root((轨迹优化方法))
    按优化时机
      离线优化
        CMA-ES
        iLQR
        DDP
        :: icon(fa fa-clock-o)
        一次性计算
        适用于动作生成
      在线优化
        MPC
        SAMCON
        :: icon(fa fa-refresh)
        每帧重新计算
        适用于实时控制
    按求解方法
      解析法
        LQR
        :: icon(fa fa-check)
        闭式解
        仅限线性系统
      数值法
        基于梯度
          iLQR 一阶
          DDP 二阶
        无梯度
          CMA-ES
          SAMCON
      学习法
        DeepMimic
        AMP
        :: icon(fa fa-brain)
        训练一次推理多次
    按控制方式
      开环控制
        纯轨迹跟踪
        :: icon(fa fa-chain)
        无反馈
      闭环控制
        PD 控制
        MPC
        :: icon(fa fa-sync)
        状态反馈
    按力矩来源
      前馈控制
        逆动力学
        轨迹优化输出
        :: icon(fa fa-forward)
      反馈控制
        PD 控制
        :: icon(fa fa-undo)
      复合控制
        前馈 + 反馈
        :: icon(fa fa-plus)
    典型应用场景
      动作生成
        iLQR DDP CMA-ES
      实时控制
        MPC SAMCON
      通用策略
        DeepMimic AMP

二、三组核心分类概念

轨迹优化领域有三组分类概念，它们经常被混用，但实际上是三个不同维度的分类：

维度 1：离线优化 vs. 在线优化（Optimization Timing）

代表方法：

优缺点对比：

直观类比：

维度 2：开环控制 vs. 闭环控制（Control Architecture）

框图对比：

开环控制：

初始状态 → 控制器 → 动作序列 → 执行 → 结果

闭环控制：

              ┌──────────────┐
              │              │
              ▼              │
目标状态 → (+) → 控制器 → 执行 → 当前状态
              ▲              │
              │              │
              └─────传感器───┘
                （状态反馈）

优缺点对比：

维度 3：前馈控制 vs. 反馈控制（Torque Source）

公式对比：

前馈控制： $$ \tau_{\text{feedforward}} = \text{InverseDynamics}(q^, \dot{q}^, \ddot{q}^*) $$

反馈控制（PD）： $$ \tau_{\text{feedback}} = k_p (q^* - q) + k_d (\dot{q}^* - \dot{q}) $$

复合控制（前馈 + 反馈）： $$ \tau = \underbrace{\tau_{\text{feedforward}}}{\text{前馈}} + \underbrace{k_p (q^* - q) + k_d (\dot{q}^* - \dot{q})}{\text{反馈}} $$

优缺点对比：

四、四种维度分类法

轨迹优化方法可以从四个维度进行分类：

维度 1：按优化时机（输入信息）

维度 2：按求解方法

维度 3：按是否需要梯度

维度 4：按优化变量

维度 5：按是否需要模型（Model-based vs. Model-free）

Model-based 方法的局限：

Model-based 方法要求动力学函数 \(f(s,a)\) 是已知的，但实际情况可能是：

✅ 注意：Model-free 不是完全不需要「模型」——它通过采样直接从 \(s_t\) 得到 \(s_{t+1}\)，只是不需要显式的动力学函数。

方法选择建议：

• 模型精确 + 平滑问题 → Model-based（iLQR/DDP）
• 模型未知/接触复杂 → Model-free（CMA-ES/RL）

四、完整方法对比表

数值优化方法详细对比

五、方法详解

1. LQR - Linear Quadratic Regulator

核心思想：线性系统 + 二次代价 → 闭式解

2. iLQR - Iterative LQR

核心思想：迭代线性化 + LQR 求解

3. DDP - Differential Dynamic Programming

核心思想：基于二阶泰勒展开的动态规划

4. CMA-ES

核心思想：进化策略，通过采样和选择迭代优化

5. SAMCON

核心思想：采样模型预测控制，结合 CMA-ES 和 MPC

6. MPC - Model Predictive Control

核心思想：滚动时域优化，每帧基于当前状态重新规划未来 N 步，只执行第一步

7. DeepMimic/AMP

核心思想：学习策略生成轨迹

六、轨迹优化 vs. 策略优化

重要区分：轨迹优化和策略优化是两种不同的优化范式。

用采样方法学习策略（CMA-ES）

CMA-ES 既可以优化轨迹，也可以优化策略参数：

用 CMA-ES 学习线性反馈策略：

1. 参数化策略：a = M·δs + â
   - M: 反馈矩阵
   - â: 前馈项

2. 用 CMA-ES 优化参数 (M, â)
   - 采样候选参数 {θᵢ}
   - 仿真评估每个候选策略
   - 更新高斯分布的均值和方差

3. 输出最优策略参数 θ*

工程实践要点（Liu et al. 2012 - Terrain Runner）：

✅ 注意：这里的策略优化仍然是离线优化，不同于强化学习的在线学习。

七、常见组合方案

方案 1：离线优化 + 前馈 + 反馈（最常用）

离线轨迹优化 → 目标轨迹 (q*, q̇*) + 控制轨迹 (τ*)
                        ↓
              在线 PD 控制：τ = τ* + k_p·e + k_d·ė
                        ↓
              闭环控制（前馈 + 反馈）

优点：

• 前馈提供主要驱动力（60-80%）
• 反馈负责抗扰动和纠偏（20-40%）
• 计算成本低（离线优化一次）

适用场景：动捕跟踪、预先制作的动作

方案 2：在线优化 + 前馈 + 反馈（MPC）

每帧：
  1. 测量当前状态 x
  2. 在线优化 → 新目标轨迹 + 新控制轨迹 (τ*)
  3. PD 控制：τ = τ* + k_p·e + k_d·ė

优点：

• 可应对动态变化的环境
• 可处理突发扰动

缺点：

• 计算成本高
• 需要高效求解器

适用场景：实时交互、复杂地形行走

方案 3：纯反馈（DeepMimic）

RL 策略 → 目标轨迹 (q*, q̇*)
              ↓
PD 控制：τ = k_p·e + k_d·ė（无前馈）

优点：

• 无需轨迹优化
• 策略可泛化

缺点：

• 需要大量训练
• 稳态误差较大

适用场景：通用角色控制、游戏 AI

完整对比表

七、轨迹优化 vs. 强化学习

关系：

• 轨迹优化结果可作为 RL 的参考轨迹
• RL 可学习模仿轨迹优化的行为

八、方法选择建议

问题类型 → 推荐方法
─────────────────────────
线性系统 → LQR
平滑非线性 → iLQR/DDP
接触频繁/不可微 → CMA-ES
实时控制 → MPC/SAMCON
需要泛化 → DeepMimic/AMP
离线制作动作 → iLQR/DDP/CMA-ES

选择流程图

flowchart TD
    A[开始：选择优化方法] --> B{系统是否线性？}
    B -->|是 | C[LQR]
    B -->|否 | D{是否可微/平滑？}
    D -->|是 | E{需要实时控制吗？}
    D -->|否 | F[CMA-ES]
    E -->|否 | G{精度要求？}
    G -->|高 | H[DDP]
    G -->|一般 | I[iLQR]
    E -->|是 | J[MPC/SAMCON]
    D -->|需要泛化 | K[DeepMimic/AMP]
    
    style C fill:#90EE90
    style F fill:#FFE4B5
    style H fill:#87CEEB
    style I fill:#87CEEB
    style J fill:#DDA0DD
    style K fill:#FFB6C1

九、关键要点总结

三组概念是不同维度的分类

• 离线/在线：什么时候计算
• 开环/闭环：是否用反馈
• 前馈/反馈：力矩从哪里来

四种分类维度

• 按优化时机：离线优化 vs. 在线优化
• 按求解方法：解析法 (LQR) vs. 数值法 (iLQR/DDP/CMA-ES) vs. 学习法 (DeepMimic/AMP)
• 按梯度需求：基于梯度 (iLQR/DDP) vs. 无梯度 (CMA-ES/SAMCON)
• 按优化变量：状态优化 vs. 控制优化 vs. 同时优化

常见组合方案

• 最佳实践：离线优化 + 闭环控制 + 前馈 + 反馈
• 实时应用：在线优化（MPC）+ 闭环控制
• 学习方法：离线训练 + 闭环控制 + 纯反馈

概念关系

• 离线/在线优化 → 输出前馈力矩
• 开环/闭环 → 决定是否使用反馈
• 前馈/反馈 → 力矩的两个来源，可以组合使用

选择建议

• 需要抗扰动 → 闭环 + 反馈
• 需要精确跟踪 → 加前馈
• 计算资源有限 → 离线优化
• 环境动态变化 → 在线优化（MPC）

📚 深入学习：

• 轨迹优化主页面 - 轨迹优化的整体介绍
• 数学形式化描述 - 轨迹优化的数学描述
• LQR - 线性二次调节器
• iLQR - 迭代 LQR
• DDP - 微分动态规划
• CMA-ES - 协方差矩阵自适应进化策略
• SAMCON - 采样模型预测控制
• MPC - 模型预测控制
• 最优控制与强化学习 - 最优控制理论基础

本文出自 CaterpillarStudyGroup，转载请注明出处。 https://caterpillarstudygroup.github.io/GAMES105_mdbook/