GaussiAnimate: Rethinking Gaussian Splatting for Articulated Models via Skeleton-Aware Representation

研究背景与问题

目的

解决 3D Gaussian Splatting (3DGS) 用于关节模型（articulated models）时的三大核心痛点。

现有方法及局限性

  1. 骨骼绑定依赖 LBS — Linear Blend Skinning 对非线性形变表达差
  2. 高斯球分布冗余 — 缺乏结构感知，大量冗余高斯球
  3. 运动控制信号单一 — 难以处理复杂动作

本文方法

提出 GaussiAnimate，核心是 Scaffold-Skin Rigging System ("Skelebones")：

  1. Bones: 将变形高斯压缩为自由骨骼（free bones）
  2. Skeleton: 提取平均曲率骨架（mean curvature skeleton）
  3. Binding: 通过 PartMM（Part-aware Mixture Model）进行概率加权绑定

PSNR 比 LBS 提升 17.3%，比 BoB 提升 21.7%。

核心贡献

1. PartMM (Part-aware Mixture Model)

替代传统 LBS 的骨骼-高斯绑定方案。PartMM 用距离 softmax 概率替代人工皮肤权重，用 MLP 学习的非线性残差替代刚体变换，突破 LBS 的线性表达上限。

PartMM 详解

核心思想：每个高斯球对每个 part 计算一个部件亲和概率（part affinity probability），用这个概率对各 part 的非线性变换做加权混合，得到最终变形位置。

流程（4 步）：

Step 1: Part Affinity Probability（概率混合分布）

每个高斯球 \(i\) 对每个 part \(j\) 计算亲和概率：

\[p_{ij} = \frac{\exp(-d(\mu_i, G_j)^2 / \sigma^2)}{\sum_k \exp(-d(\mu_i, G_k)^2 / \sigma^2)}\]

  • \(\mu_i\)：高斯球 \(i\) 的中心位置
  • \(G_j\)：part \(j\) 的质心
  • \(d(\mu_i, G_j)\)：高斯球到 part 质心的距离
  • 所有 part 的概率加起来为 1，形成"概率混合分布"
  • 距离 part 质心越近，概率越大

Step 2: Part 的非线性变换（与 LBS 的本质区别）

每个 part \(j\) 不是用刚体变换，而是用带残差的非线性变换：

\[T_j(x) = x + \Delta T_j(x)\]

其中 \(\Delta T_j(x)\) 由一个 MLP 残差网络 预测：

\[\Delta T_j(x) = \text{MLP}j(G, \theta, j, p{ij})\]

输入包括：骨架图 \(G\)、关节角度 \(\theta\)、part 索引 \(j\)、part affinity 概率 \(p_{ij}\)。

Step 3: 高斯球的最终变形

高斯球 \(i\) 的最终位置是所有 part 变换的概率加权和：

\[\mu'i = \sum_j p{ij} \cdot T_j(\mu_i)\]

形式上跟 LBS 的 \(\sum w_i (R_i v + t_i)\) 类似，但关键区别在于变换本身的表达能力。

Step 4: Affinity Loss（训练约束）

\[L_{\text{affinity}} = \sum_i \sum_j p_{ij} \cdot d(\mu_i, G_j)\]

促使高斯球倾向于靠近 part 质心，让概率分布更加集中，避免均匀分布。

和 LBS 的对比：

LBSPartMM
权重来源人工绑定或手动指定空间距离的 softmax（自动学习，可训练）
每个骨骼/Part 的变换刚体变换 \(R_i x + t_i\)（只能旋转+平移）非线性残差 \(x + \Delta T_j(x)\)（MLP 学习）
混合方式线性加权非线性加权
关节处表现面条臂伪影自然形变（MLP 可学习任意复杂形变）

效果：PSNR 比 LBS 高 17.3%，比 BoB 高 21.7%

2. Structure-Guided Initialization

基于提取的骨架结构来初始化高斯球的分布，消除冗余高斯球。

3. 多模态运动驱动

支持文本、视频、动作序列多种输入模态驱动角色动画。

4. Gaussian Splatting Skeleton Compression (GSSC)

高效压缩骨架表示。

技术特点

特征描述
静态高斯模型SMPL / HumanML3D
表达对象人形角色
运动代理类型Skeleton Agent（骨骼）
绑定方式PartMM（替代 LBS）
驱动方式多模态（文本/视频/动作序列）
vs LBS+17.3% PSNR
vs BoB+21.7% PSNR

与知识库的关联

ImportantArticles — 3DGSAnimation

  • 作为新建 "Skeleton Agent（骨骼/角色动画）" 类别的首篇条目
  • 填补了 "无代理" 和 "物理仿真代理" 之间的空白地带
  • PartMM 替代 LBS 的思路可作为该类别的方法论标杆

GAMES105 — Skinning

  • 直接对比并超越 LBS（Skinning 章节核心内容 P31-P33）
  • 应在 Advanced Skinning Methods 章节新增 Skelebones 条目
  • 与 Learning-based.md 的 Motion Matching 章节互补

Reference

  • arXiv: 2604.08547
  • PDF: ReadPapers/220
  • IA 知识库: src/3DGSAnimation/3DGSAnimation.md → Skeleton Agent 类别