显式驱动静态高斯属性

与动态高斯的对比

核心思路： 利用控制点/蒙皮等显式或参数化结构来驱动显式图元（如高斯椭球）的变形，从而表示动态。这比纯隐式 NeRF 更高效且渲染质量更高。
优点：

  • 将静态几何与动态运动解耦。静态部分可以高效优化/表示，动态部分专注于运动。这通常比直接拟合整个时空函数更有效率。

主要缺点：

  • 要解决如何有效控制显式图元随时间的变形以保持时空一致性和高质量。

问题定义

输入：首帧图像或静态3DGS，控制信号
输出：GS的动态属性， 静态3DGS（Optional）

通过控制信号驱动GS，需要先学习到GS的运动方式与控制信号之间的关联。 

flowchart LR

用户 -->|生成| 控制信号 -->|驱动| GS运动

如果控制控制是视频，控制信号与GS运动的关系非常直观，通过Video SDS和视频重建来约束，就可以实现驱动效果。
但如果控制号与GS运动不是那么显性的关系，就需要借助GS的运动代理来驱动GS了。
所以GS的运动方式可以是直接驱动每个高斯点，也可以是借助运动代理驱动高斯点。

flowchart LR

3DGS资产 -->|生成| GS运动代理
用户 -->|生成| 控制信号
控制信号 & GS运动代理 -->|驱动| 变形GS运动代理
变形GS运动代理 & 3DGS资产 --> |带动| 变形GS资产

借助运动代理来驱动GS有这些好处：

  1. 高斯资产中的高斯球数量巨大，简化的代理更容易学习
  2. 邻近的高斯球的运动是相关联的，通过运动代理可以学到high level的运动趋势
  3. 运动代理更方便于运动迁移

因此高斯的驱动可以拆分为以下两个模块：
（1）

flowchart LR
高斯球Motion --> 代理Motion --> 高斯球Motion

可以通过以下方式配置运动代理：

  • 人工配置
  • 基于规则
  • 学习

(2)

flowchart LR
驱动代理 & 交互信号 --> 驱动代理Motion

驱动代理可以是：

  • 原始高斯球（无代理）
  • 点云
  • Mesh
  • Skeleton
  • 物理仿真对象

交互信号驱动驱动代理的方式与具体的驱动代理的形式有关，因此下文使用不同驱动代理的类型作为第一级分类。

技术图谱

mindmap
静态高斯驱动
    静态高斯的构建
        DreamGaussianHD
    表达对象
        场景
        单个3D对象
        人/动物
    控制信号
        单/多视角视频
        文本
        力
    驱动方式
        直接驱动
        Mesh/骨骼代理驱动
        参数化线条驱动
        活物的合理运动特点
        物理属性驱动
        稀疏锚点驱动
        粒子-网格模型
    运动建模方式
        针对单个视频的优化
        前向推理
    监督方式
        Video SDS
        视频重建
    要解决的问题
        时空一致性
        前向式/非优化/跨ID

Video SDS (视频分数蒸馏) 来从视频扩散模型中“蒸馏”运动信息

IDYearName解决了什么痛点主要贡献是什么TagsLink
1762025.6.11HAIF-GS: Hierarchical and Induced Flow-Guided Gaussian Splatting for Dynamic Scene学习结构化且时间一致的运动表征一个通过稀疏锚点驱动形变实现结构化一致动态建模的统一框架。
1. 通过锚点过滤器识别运动相关区域，抑制静态区域的冗余更新；2. 利用自监督诱导流引导变形模块，通过多帧特征聚合驱动锚点运动，无需显式光流标签；
3. 为处理细粒度形变，分层锚点传播机制能依据运动复杂度提升锚点分辨率，并传播多级变换关系。		运动信息来源：?
驱动方式：稀疏锚点驱动
1752025.6.9PIG: Physically-based Multi-Material Interaction with 3D Gaussians由3D高斯基元表征的场景中，物体间的交互存在三大缺陷：三维分割精度不足、异质材质形变失准及严重渲染伪影。1. 从二维像素到三维高斯基元的快速精准映射，从而达成精确的物体级三维分割。
2. 为场景中分割后的物体赋予独特物理属性，以实现多材质耦合交互。
3. 创新性地将约束尺度嵌入变形梯度，通过钳制高斯基元的缩放与旋转属性消除渲染伪影，达成几何保真度与视觉一致性。		运动信息来源：单目视频
驱动方式：物理属性驱动
1742025.6.4EnliveningGS: Active Locomotion of 3DGS3D 高斯溅射(3DGS)表示的 3D 模型能够实现主动运动高效且鲁棒地建模“活化模型”与环境之间的摩擦接触
1732025.5.14SplineGS: Learning Smooth Trajectories in Gaussian Splatting for Dynamic Scene Reconstruction静态场景的高质量快速重建的基础上融入形变模块用Spline来表征时间维度上的平滑形变运动信息来源：单目视频
驱动方式：参数化线条驱动
2024.10.9Dreammesh4d: Video-to-4d generation with sparse-controlled gaussian-mesh hybrid representation时空一致性与表面外观图像->3DMesh->Mesh形状->GS形状运动信息来源：单目视频
驱动方式：Mesh形变驱动		link
20234d gaussian splatting for real-time dynamic scene rendering

子类问题

GS的运动代理：无

无需要代理，直接控制每个高斯球的运动。

控制信号：多/视角视频控制，GS运动代理：无

由视频直接驱动每个高斯点的运动控制信号与GS运动的关系非常直观，通过Video SDS和视频重建来约束，就可以实现驱动效果。
这实际上是一个基于3DGS的4D重建的问题。

控制信号：文本，GS运动代理：无

先用文本和首帧生成视频，再用视频驱动GS，即：

TI2V + 基于3DGS的4D重建

IDYearName解决了什么痛点主要贡献是什么TagsLink
2024.9.9Animate3d: Animating any 3d model with multi-view video diffusion充分利用现有具有多视图属性的3D资产，解决生成结果存在时空不一致问题1）多视角视频扩散模型（MV-VDM）
2）大规模多视图视频数据集（MV-Video）
3）基于MV-VDM，我们引入结合重建技术与4D分数蒸馏采样（4D-SDS）的框架，利用多视图视频扩散先验实现3D对象动画。		静态高斯模型：预置
表达对象：单个3D对象
运动信息来源：自己训练的多视角图生视频
驱动方式：直接驱动（HexPlane）
监督方式：4D-SDS，视频重建，ARAP
运动推断方式：先前向，再优化		link
1112023.12Dreamgaussian4d: Generative 4d gaussian splatting隐式表示 (NeRF)的场景重建与驱动都非常低效一个系统性的图像到4D生成框架静态高斯模型：DreamGaussianHD
表达对象：单个3D对象
运动信息来源：图生视频得到的单视角视频
驱动方式：直接驱动（HexPlane）
监督方式：video SDS，视频重建
运动推断方式：优化		link

GS运动代理：物理仿真对象

使用物理仿真对象作为仿真代理，需要：

  • 从静态高斯对象是提取出物理仿真代理。 一个高斯场景中可能包含多个高斯对象，这些对象具有不同的物理属性。这就需要显式或隐式的高斯对象分割。 即使一个具体相同物理属性的高斯对象，高斯球的数量非常多，也需要提取代理。代理通常是由高斯球采样或人工挑选出的粒子。这些粒子可以再重组成Particle或Mesh或Grid或其混合形式进行物理仿真。
  • 物理属性估计 物理属性可能是人工配置或者从视频中学习

控制信号：力，GS运动代理：具有物理属性的GS球/点云

技术一：生成运动代理

  1. 直接使用所有高斯球，无额外代理
  2. 从高斯球中采样出点云

技术二：学习每个粒子（GS球或者由GS采样出的点云）的物理属性。

  1. 对粒子做分割。每一组高斯粒子赋予相似的物理属性。依赖人工标注。
  2. 通过视频，无差别地学习每个高斯粒子的物理属性。依赖于特定的视频。
  3. 一种通用的根据粒子属性估计粒子物理属性的方法。

技术三：通过力来驱动具有物理属性的粒子

  1. 借助物理仿真方法（粒子系统、网格系统）
  2. 神经网络方法

借助物理仿真的方法

IDYearName解决了什么痛点主要贡献是什么TagsLink
1292025.8.13TRACE: Learning 3D Gaussian Physical Dynamics from Multi-view Videos从视频中学习每个高斯点的动力学属性开源link
2024Physgaussian: Physicsintegrated 3d gaussians for generative dynamics
2024Language-driven physics-based scene synthesis and editing via feature splatting.
2024Reconstruction and simulation of elastic objects with spring-mass 3d gaussians
2024Physically embodied gaussian splatting: A realtime correctable world model for robotics

神经网络方法

IDYearName解决了什么痛点主要贡献是什么TagsLink
1772025.6.18Particle-Grid Neural Dynamics for Learning Deformable Object Models from RGB-D Videoslink