SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds

研究背景与问题

目的

解决机器人操作中变形体(布料、绳子、袋子等)的 sim-to-real 泛化问题。

现有方法及局限性

  • 真实世界数据采集成本高昂且难以规模化
  • 纯仿真数据存在 sim-to-real gap
  • 变形体的物理行为复杂(弹性、摩擦、接触非线性),传统仿真器难以精确建模

本文方法

提出 SIM1 —— 一个 physics-aligned 的 real-to-sim-to-real 数据引擎:

  1. 使用弹性建模校准变形动力学,使仿真器的物理行为与真实观测对齐
  2. 通过 diffusion model 进行轨迹扩展(trajectory generation),从有限的真实演示生成大量仿真数据
  3. 形成 real-to-sim-to-real 的闭环:真实数据 → 物理对齐仿真 → 扩展训练 → 零样本迁移

在机器人变形体操作任务上达到 90% 零样本成功率,相比基线有 50% 泛化增益。

核心贡献

  1. Physics-Aligned Simulator

    • 弹性建模用于校准变形体的物理参数
    • 使仿真器的动力学输出与真实世界观测对齐
  2. Diffusion-based Trajectory Generation

    • 从有限的真值轨迹通过扩散模型扩展生成大量多样化训练数据
    • 保持物理一致性同时增加数据多样性
  3. Real-to-Sim-to-Real Pipeline

    • 端到端的数据增强管线
    • 零样本泛化能力验证

技术特点

特征描述
对象类型变形体(deformable objects)
核心方法弹性建模 + Diffusion 轨迹扩展
数据流Real → Sim(物理对齐) → Diffusion扩展 → Real
应用领域机器人操作
零样本成功率90%
泛化增益+50% vs baseline

主要方法

Pipeline 概览

真实世界演示数据
    ↓
[物理对齐模块] — 弹性建模校准仿真器参数
    ↓
[仿真器] — 生成初始轨迹
    ↓
[Diffusion Trajectory Generator] — 轨迹扩展/增强
    ↓
大规模仿真训练数据 → 训练策略网络 → 零样本部署

实验

关键结果

  • 零样本成功率: 90%
  • 相比纯仿真基线泛化增益: +50%
  • 在多种变形体任务上验证(布料操作、绳索操纵等)

Reference

  • arXiv: 2604.08544
  • PDF: ReadPapers/221
  • GAMES103 知识库收录: Elastic/SIM1.md