[2023.5.10] Perpetual Humanoid Control for Real-time Simulated Avatars
基本信息
- 会议: ICCV 2023（国际计算机视觉大会）
- arXiv: arXiv:2305.06456（2023-05-10）
- 作者: Zhengyi Luo, Jinkun Cao, Alexander W. Winkler, Kris Kitani, Weipeng Xu
- 单位: Meta Reality Labs Research, Carnegie Mellon University
- 项目页: https://perpetual-human.github.io/
摘要
Perpetual 提出了一个实时虚拟化身控制系统，能够从任意输入（如视频、动捕数据）生成物理稳定的全身人形机器人运动。该系统支持实时交互，能够响应外部扰动并生成自然流畅的动画。
核心方法
系统架构
- 输入: 视频/动捕/用户控制信号
- 处理: 实时运动生成 + 物理跟踪
- 输出: 物理稳定的全身关节控制
关键技术
- 实时运动生成: 从输入信号生成参考运动
- 物理跟踪控制器: 在物理仿真中稳定跟踪参考运动
- 扰动恢复: 能够从外部干扰中恢复平衡
应用场景
- 虚拟化身动画: 实时驱动虚拟角色
- VR/AR 交互: 响应用户输入的实时动画
- 游戏角色控制: 物理真实的 NPC 动画
与相关工作对比
| 方法 | 实时性 | 物理稳定 | 输入类型 | 应用定位 |
|---|---|---|---|---|
| Perpetual | ✅ | ✅ | 视频/动捕/控制 | 实时虚拟化身 |
| PARC | ⚠️ | ✅ | 地形 + 动捕 | 敏捷地形穿越 |
| CLOSD | ✅ | ✅ | 文本 + 目标 | 多任务角色控制 |
| UniPhys | ⚠️ | ✅ | 动捕序列 | 统一规划 + 控制 |
技术特点
- Meta 出品: 面向 VR/AR 应用场景
- 实时优先: 优化推理速度，满足交互需求
- 通用输入: 支持多种输入源
- 物理感知: 保证生成运动的物理可行性
启发
Perpetual 展示了如何将运动生成与物理控制结合，实现实时虚拟化身驱动。与 PARC、CLOSD 等工作相比，Perpetual 更侧重于实时交互应用，而非复杂的运动技能学习。
笔记来源: 滴答清单
创建时间: 2026-03-22