ParticleGS: Particle-Based Dynamics Modeling of 3D Gaussians for Prior-free Motion Extrapolation

本文旨在根据视觉观测数据建模三维高斯分布的动力学特性，以支持时间外推。

现有的动态三维重建方法通常难以有效学习潜在的动力学规律，或者严重依赖手动定义的物理先验，这限制了它们的外推能力。为解决这一问题，我们提出了一种新颖的、基于粒子动力学系统的、无需先验的动态三维高斯溅射运动外推框架。

我们方法的核心优势在于其能够学习描述三维高斯分布动力学的微分方程，并在未来帧外推过程中遵循这些方程。与简单地拟合观测到的视觉帧序列不同，我们的目标是更有效地建模高斯粒子动力学系统。为此，我们在标准高斯核中引入了一个动力学隐状态向量，并设计了一个动力学隐空间编码器来提取初始状态。随后，我们引入了一个基于神经常微分方程（Neural ODEs）的动力学模块，该模块在动力学隐空间中建模高斯分布的时间演化。最后，使用一个高斯核空间解码器将特定时间步的隐状态解码为形变。

实验结果表明，所提出的方法在重建任务中达到了与现有方法相当的渲染质量，并在未来帧外推方面显著优于现有方法。我们的代码公开在：https://github.com/QuanJinSheng/ParticleGS。