Template

.
.
.
.

核心问题是什么?

目的

.
.
.
.
.

现有方法及局限性

.
.
.
.
.

本文方法

.
.
.
.
.

效果

.
.
.
.
.

核心贡献是什么？

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

大致方法是什么？

.
.
.
. .
.
.
. .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.

训练

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

数据集

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

loss

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

训练策略

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

实验与结论

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

局限性

.
.
.

Loss

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

有效

.
.
.
.
.
.
.
.
.
.
.
.

局限性

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

启发

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

遗留问题

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

参考材料

Seamless Human Motion Composition with Blended Positional Encodings

条件式人体运动生成是一个重要的研究课题，在虚拟现实、游戏和机器人技术等领域具有广泛应用。现有研究多集中于基于文本、音乐或场景引导的运动生成，但这些方法通常只能生成短时孤立的运动片段。本文致力于解决根据连续变化的文本描述生成长时间连续运动序列的问题。为此，我们提出了FlowMDM——首个基于扩散模型的、无需后处理或冗余去噪步骤即可生成无缝人体运动组合（HMC）的方法。我们创新性地提出了混合位置编码技术，在去噪链中同时利用绝对位置编码和相对位置编码。具体而言，绝对编码阶段重建全局运动一致性，而相对编码阶段则构建平滑逼真的动作过渡。在Babel和HumanML3D数据集上的实验表明，我们的方法在动作准确性、真实感和流畅度方面均达到了最先进水平。得益于其以动作为核心的交叉注意力机制，FlowMDM在仅使用单个描述训练的情况下，仍能有效应对推理时多变的文本输入。最后，针对现有HMC评估指标的局限性，我们提出了两个新指标：峰值加加速度和加加速度曲线下面积，用以检测运动中的突变转换。

FineMoGen: Fine-Grained Spatio-Temporal Motion Generation and Editing

随着扩散模型的出现，文本驱动动作生成已取得显著进展。然而，现有方法在生成符合细粒度描述的复杂动作序列时仍存在困难——这些描述需要描绘精确的时空动作细节。这种精细可控性的缺失限制了动作生成技术向更广泛受众的推广。为解决这些挑战，我们提出FineMoGen，这是一个基于扩散模型的运动生成与编辑框架，能够根据用户指令进行时空组合，生成细粒度动作。具体而言，FineMoGen在扩散模型基础上构建了名为时空混合注意力（SAMI）的新型Transformer架构。SAMI从两个角度优化全局注意力模板的生成：1）显式建模时空组合的约束条件；2）利用稀疏激活的专家混合机制自适应提取细粒度特征。为促进这一新型细粒度动作生成任务的大规模研究，我们构建了HuMMan-MoGen数据集，包含2,968个视频和102,336条细粒度时空描述。大量实验证明，FineMoGen在动作生成质量上显著优于现有最优方法。值得注意的是，借助现代大语言模型（LLM），FineMoGen进一步实现了零样本动作编辑能力，能够通过细粒度指令精准操控动作序列。项目页面：https://mingyuan-zhang.github.io/projects/FineMoGen.html

Fg-T2M: Fine-Grained Text-Driven Human Motion Generation via Diffusion Model

基于文本的人体动作生成在计算机视觉领域兼具重要性与挑战性。然而，现有方法仅能生成确定性或不够精确的动作序列，难以有效控制时空关系以契合给定文本描述。本研究提出一种细粒度条件生成方法，可依据精准文本描述生成高质量人体运动序列。我们的方案包含两个核心组件：1）语言结构辅助模块——通过构建精准完整的语言特征以充分挖掘文本信息；2）上下文感知渐进推理模块——借助浅层与深层图神经网络分别学习局部与全局语义语言学特征，实现多步推理。实验表明，本方法在HumanML3D和KIT测试集上超越现有文本驱动动作生成方法，并能根据文本条件生成视觉表现更优的运动序列。

Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation

基于文本引导的人体动作生成技术因其在动画与机器人领域的广泛应用而备受关注。近年来，扩散模型在动作生成中的应用显著提升了生成动作的质量。然而，现有方法受限于对较小规模动作捕捉数据的依赖，导致在面对多样化真实场景提示时表现不佳。本文提出Make-An-Animation这一文本条件化人体动作生成模型，通过从大规模图文数据集中学习更丰富的姿态与提示信息，实现了性能上的重大突破。

该模型采用两阶段训练策略：首先利用从图文数据集中提取的（文本，静态伪姿态）配对数据进行大规模预训练，随后在动作捕捉数据上通过新增时序建模层进行微调。与现有基于扩散模型的动作生成方法不同，Make-An-Animation采用类似最新文生视频模型的UNet架构。在动作真实性与文本契合度的人工评估中，本模型达到了文本驱动动作生成领域的最先进水平。生成样本可访问https://azadis.github.io/make-an-animation 查看。

StableMoFusion: Towards Robust and Efficient Diffusion-based Motion Generation Framework

得益于扩散模型强大的生成能力，人体动作生成领域近年来发展迅速。现有的基于扩散模型的方法采用了各不相同的网络架构和训练策略，各个组件设计的具体影响尚不明确。此外，迭代去噪过程需要消耗大量计算资源，这对虚拟角色和人形机器人等实时应用场景而言难以承受。为此，我们首先对网络架构、训练策略及推理过程进行了全面研究，基于深入分析为高效高质量的人体动作生成量身优化每个组件。尽管优化后的模型表现出色，但仍存在脚部滑动现象——这是基于扩散的解决方案中普遍存在的问题。为消除脚部滑动，我们通过识别足地接触关系并在去噪过程中修正脚部运动，将这些精心设计的组件有机整合，提出了稳健高效的人体动作生成框架StableMoFusion。大量实验结果表明，我们的StableMoFusion在性能上优于当前最先进方法。项目页面：https://h-y1heng.github.io/StableMoFusionpage/。

EMDM: Efficient Motion Diffusion Model for Fast and High-Quality Motion Generation

本文提出高效运动扩散模型（EMDM），旨在实现快速、高质量的人体运动生成。当前最先进的生成式扩散模型虽能产生令人印象深刻的结果，但在保持质量的同时难以实现快速生成。一方面，诸如运动潜在扩散等方法为提升效率在潜在空间中进行扩散，但学习此类潜在空间本身需要大量计算资源；另一方面，若直接采用增大采样步长的方式（如DDIM）加速生成，则因难以逼近复杂的去噪分布往往导致质量下降。为解决这些问题，我们提出的EMDM模型能够在扩散模型的多步采样过程中有效捕捉复杂分布，从而大幅减少采样步骤并显著加速生成过程。该模型通过条件去噪扩散GAN技术，在任意（可能更大）步长条件下根据控制信号捕捉多模态数据分布，实现高保真度、多样化的少步数运动采样。为减少不良运动伪影，我们在网络学习过程中引入几何约束损失。实验表明，EMDM可实现实时运动生成，在保证高质量运动生成的同时，较现有方法显著提升了运动扩散模型的效率。研究成果发表后代码将开源发布。

Motion Mamba: Efficient and Long Sequence Motion Generation

摘要：人体运动生成是生成式计算机视觉领域的重要研究方向，然而实现长序列且高效的运动生成仍面临挑战。近年来，状态空间模型（SSMs）尤其是Mamba的进展，通过硬件感知的高效设计在长序列建模中展现出巨大潜力，这为构建运动生成模型指明了重要方向。然而，由于缺乏针对运动序列建模的专用架构，将SSMs应用于运动生成仍存在障碍。为此，我们提出Motion Mamba——一种简单高效的方法，率先构建了基于SSMs的运动生成模型。具体而言，我们设计了分层时序Mamba（HTM）模块，通过在对称U-Net架构中集成不同数量的独立SSM模块来处理时序数据，以保持帧间运动一致性；同时开发了双向空间Mamba（BSM）模块，通过双向处理潜在姿态来增强时序帧内的运动生成精度。在HumanML3D和KIT-ML数据集上的实验表明，本方法相较于现有最佳扩散模型方法，FID指标提升最高达50%，推理速度提升达4倍，充分证明了其在高质量长序列运动建模与实时人体运动生成方面的强大能力。

状态空间模型SSN和Mamba

首先，需要区分两个概念：经典控制论中的状态空间模型 和 深度学习新模型（如Mamba）所指的状态空间模型。它们思想同源，但设计和目标不同。

1. 经典状态空间模型（控制论/时序分析）

在传统意义上，SSM是一个用于描述动态系统的数学模型，它由两个方程组成：

• 状态方程（过程模型）：描述系统内部状态如何随时间演变。 x(t) = A * x(t-1) + B * u(t) + w(t)
• 观测方程（测量模型）：描述我们如何从外部观测到系统的状态。 y(t) = C * x(t) + D * u(t) + v(t)

其中：

• x(t)：系统在时刻 t 的内部状态（通常无法直接观测）。
• u(t)：在时刻 t 的输入/控制信号。
• y(t)：在时刻 t 的观测/输出信号。
• A：状态转移矩阵，描述状态如何自行演变。
• B：输入矩阵，描述输入如何影响状态。
• C：输出矩阵，描述状态如何被我们观测到。
• D：直通矩阵，描述输入如何直接影响输出（通常可忽略）。
• w(t), v(t)：过程噪声和观测噪声。

应用场景：卡尔曼滤波、目标跟踪、经济预测、机器人导航等。其核心思想是通过嘈杂的观测数据，来估计一个动态系统的内部真实状态。

2. 深度学习中的状态空间模型（如Mamba, S4）

您论文中提到的SSM，特指的是一类近年来在深度学习领域复兴的序列模型。它们从经典SSM中汲取了核心思想，但将其重新设计为适用于通用序列建模（如自然语言、音频、运动）的可训练神经网络模块。

核心思想：

将这些模型看作一个将输入序列 u(t) 映射到输出序列 y(t) 的系统。它们通过一个隐含状态 x(t) 来记忆和整合过去的信息。

关键特点与优势：

1. 连续系统离散化：

   • 经典的SSM是定义在连续时间上的。为了处理离散的序列数据（如文本、运动帧），需要将其离散化。这会引入两个关键参数 ∆（步长）和 Ā, B̄（离散化后的状态矩阵）。
   • Mamba的贡献之一是让 ∆ 和 B, C 成为输入依赖的，使得模型能够根据当前输入动态调整行为，从而更关注相关信息。

2. 循环模式 vs. 卷积模式：

   • 循环模式：按照时间步一步步计算，状态 x(t) 依赖于 x(t-1)。这非常高效（固定计算量/步），类似于RNN，但无法并行训练。
   • 卷积模式：通过数学推导，可以将整个序列的输出 y 表示为输入 u 和一个卷积核 K 的卷积结果。这允许高效并行训练，但卷积核长度受限于训练长度，无法直接推广到更长的序列。

3. 核心优势：

   • 长序列建模：由于隐含状态的存在，理论上它可以记住非常长的上下文信息，避免了Transformer在长序列上的二次复杂度问题。
   • 计算效率：无论是循环模式的高效推理，还是卷积模式的高效训练，SSM在计算和内存上都比Transformer更轻量。
   • 硬件感知设计（Mamba的核心）：Mamba模型通过其选择性扫描机制，避免了 materializing 巨大的中间矩阵，实现了比其前身（S4模型）更快的速度，并保持了处理长序列的能力。

总结对比

简单来说，在论文语境中：

状态空间模型（SSM）是一种新兴的深度学习架构，它通过一个可学习的、不断演变的“内部状态”来理解和处理序列信息。这种设计让它特别擅长处理像长序列运动数据这样的任务，因为它既能捕捉长距离依赖，又比传统的Transformer模型更高效。Mamba则是目前该系列中最先进的模型之一。

M2D2M: Multi-Motion Generation from Text with Discrete Diffusion Models

摘要：本文提出多动作离散扩散模型（M2D2M），这是一种利用离散扩散模型优势、从多动作文本描述生成人体运动的新方法。该方法巧妙解决了生成多动作序列的挑战，能确保动作间流畅过渡及系列动作的连贯性。M2D2M的核心优势在于其离散扩散模型中的动态转移概率机制——该机制根据运动标记的邻近性自适应调整转移概率，有效促进不同模态间的混合。结合包含独立去噪与联合去噪的两阶段采样策略，M2D2M仅需使用单动作生成训练的模型，即可有效生成长期、平滑且上下文连贯的人体运动序列。大量实验表明，M2D2M在文本描述生成运动任务上超越了当前最先进的基准模型，其在语言语义解析与动态逼真运动生成方面的效能得到了充分验证。

T2LM: Long-Term 3D Human Motion Generation from Multiple Sentences

本文致力于解决长期3D人体运动生成这一挑战性难题，重点研究如何从多语句（即段落）输入中生成平滑衔接的连续动作序列。现有的长期运动生成方法多基于循环神经网络架构，以前序生成的运动片段作为后续输入。然而该方法存在双重缺陷：1）依赖成本高昂的序列化数据集；2）逐步生成的运动片段间存在失真间隙。为应对这些问题，我们提出了一种简洁高效的T2LM框架——无需序列化数据即可训练的连续长期生成系统。该框架包含两个核心组件：训练用于将运动压缩为潜在向量序列的一维卷积VQVAE，以及基于Transformer的文本编码器（可根据输入文本预测潜在序列）。在推理阶段，语句序列被转换为连续的潜在向量流，经由VQVAE解码器重构为运动序列；通过采用具有局部时间感受野的一维卷积，有效避免了训练与生成序列间的时间不一致性。这种对VQ-VAE的简易约束使其仅需短序列训练即可实现更平滑的过渡效果。T2LM不仅显著优于现有长期生成模型并突破序列数据依赖的局限，在单动作生成任务上也达到了与当前最优模型相媲美的性能。

AttT2M:Text-Driven Human Motion Generation with Multi-Perspective Attention Mechanism

基于文本描述生成三维人体运动一直是近年来的研究热点。该任务要求生成的运动兼具多样性、自然性，并符合文本描述。由于人体运动固有的复杂时空特性，以及文本与运动间跨模态关系学习的难度，文本驱动运动生成仍是一个具有挑战性的问题。为解决这些难题，我们提出AttT2M——一种融合多视角注意力机制的双阶段方法：身体部位注意力与全局-局部运动-文本注意力。前者从运动嵌入视角出发，通过在VQ-VAE中引入身体部位时空编码器，学习更具表现力的离散潜在空间；后者基于跨模态视角，用于学习句子层级和词汇层级的运动-文本跨模态关联。最终通过生成式变换器实现文本驱动运动的合成。在HumanML3D和KIT-ML数据集上的大量实验表明，本方法在定性与定量评估上均优于当前最优成果，实现了细粒度合成和动作到运动的精准生成。代码详见：https://github.com/ZcyMonkey/AttT2M。

自回归模型通过施加因果约束，在序列依赖关系建模方面表现出色，但其单向特性导致难以捕捉复杂的双向模式。相比之下，基于掩码的模型能利用双向上下文实现更丰富的依赖关系建模，但其预测过程常假设标记相互独立，这削弱了对序列依赖关系的刻画能力。此外，通过掩码或吸收操作对序列进行的破坏可能引入不自然的失真，增加学习难度。为应对这些挑战，我们提出双向自回归扩散模型（BAD），这一创新方法融合了自回归与基于掩码的生成模型优势。BAD采用基于排列的序列破坏技术，在通过随机排序保持因果依赖的同时维护自然序列结构，从而有效捕捉序列与双向关系。综合实验表明，BAD在文本到动作生成任务中优于自回归和基于掩码的模型，为序列建模提供了创新的预训练策略。BAD代码库已发布于https://github.com/RohollahHS/BAD。

MMM: Generative Masked Motion Model

基于扩散模型与自回归模型的文本驱动动作生成技术近期取得显著进展，但其性能往往难以兼顾实时性、高保真度与动作可编辑性。为突破这一局限，我们提出MMM——一种基于掩码动作模型的全新简易动作生成范式。该框架包含两个核心组件：（1）动作分词器：将三维人体动作转换为潜空间中的离散标记序列；（2）条件掩码动作变换器：基于预计算文本标记，学习预测随机掩码的动作标记。通过全方位感知动作与文本标记的关联，MMM显式捕获了动作标记间的内在依赖性及动作-文本标记间的语义映射关系。在推理阶段，这种机制支持并行迭代解码生成与细粒度文本描述高度契合的多个动作标记，从而同步实现高保真与高速率的动作生成。此外，MMM具备天然的动作编辑能力：只需在待编辑位置设置掩码标记，模型即可自动填充内容，并确保编辑与非编辑片段间的平滑过渡。在HumanML3D和KIT-ML数据集上的大量实验表明，MMM生成的动作质量超越当前主流方法（其FID分数分别达到0.08和0.429），同时支持身体局部编辑、动作插帧及长序列生成等高级功能。在单块中端GPU上，MMM的运算速度比可编辑动作扩散模型快两个数量级。项目页面详见：https://exitudio.github.io/MMM-page/

Priority-Centric Human Motion Generation in Discrete Latent Space

文本驱动动作生成是一项极具挑战的任务，其目标是生成既符合输入文本描述，又遵循人体运动规律与物理定律的人类动作。尽管扩散模型已取得显著进展，但其在离散空间中的应用仍待深入探索。现有方法往往忽视不同动作的重要性差异，对其进行均等处理。需要认识到的是，并非所有动作都与特定文本描述具有同等关联度——某些更具显著性和信息量的动作应在生成过程中被优先考虑。为此，我们提出了以优先级为核心的动作离散扩散模型（M2DM）：该模型采用基于Transformer的VQ-VAE架构，通过全局自注意力机制与正则化项构建紧凑的离散动作表示，有效防止代码坍塌；同时设计了一种创新的运动离散扩散模型，通过分析动作令牌在整体序列中的重要性来制定噪声调度策略。这种方法在逆向扩散过程中保留最显著的动作特征，从而生成语义更丰富、多样性更强的动作序列。此外，我们融合文本与视觉指标提出两种动作令牌重要性评估策略。在HumanML3D和KIT-ML数据集上的综合实验表明，本模型在生成真实性与多样性方面均超越现有技术，尤其对于复杂文本描述场景具有显著优势。

AvatarGPT: All-in-One Framework for Motion Understanding, Planning, Generation and Beyond

大型语言模型（LLM）在统一几乎所有自然语言处理任务方面展现出卓越的涌现能力。然而在与人体运动相关的研究领域，学者们仍在为每个任务开发孤立模型。受InstructGPT[16]与Gato[27]通用智能理念的启发，我们提出AvatarGPT——一个集运动理解、规划、生成以及中间帧合成等任务于一体的全能框架。该框架将各类任务视为基于共享大语言模型进行指令微调的不同变体，所有任务通过语言这一通用接口无缝衔接，形成闭环系统。

具体实现包含三个关键步骤：首先将人体运动序列编码为离散标记，作为大语言模型的扩展词汇表；随后开发无监督流程，从真实场景视频中自动生成人体动作序列的自然语言描述；最终进行多任务联合训练。大量实验表明，AvatarGPT在底层任务上达到顶尖水平，在高层任务中亦展现出良好性能，验证了所提一体化框架的有效性。更值得注意的是，AvatarGPT首次通过闭环系统内任务的迭代遍历，实现了无限长序列运动合成的理论突破。项目主页：https://zixiangzhou916.github.io/AvatarGPT/

MotionGPT: Human Motion as a Foreign Language

尽管预训练大语言模型不断发展，但如何构建一个能够统一处理语言与运动等多模态数据的模型至今仍是一个尚未探索的挑战性课题。值得庆幸的是，人类运动与人类语言具有相似的语义耦合特性，常被视为一种身体语言形式。通过将语言数据与大规模运动模型相融合，能够提升运动相关任务性能的运动-语言预训练技术已成为可能。受此启发，我们提出MotionGPT——一个统一、通用且用户友好的运动语言模型，用于处理多种运动相关任务。具体而言，我们采用离散向量量化技术将人体运动转化为运动标记，其生成过程类似于文本标记的生成。基于该"运动词汇表"，我们以统一的方式对运动和文本进行语言建模，将人体运动视为特殊形式的语言。此外受提示学习启发，我们采用运动-语言混合数据对MotionGPT进行预训练，并基于提示问答任务进行微调。大量实验表明，MotionGPT在文本驱动运动生成、运动描述、运动预测及运动补全等多个任务上均达到了领先水平。

Action-GPT: Leveraging Large-scale Language Models for Improved and Generalized Action Generation

本文提出Action-GPT——一种即插即用框架，旨在将大语言模型（LLM）融入基于文本的动作生成模型。当前运动捕捉数据集中的动作短语通常只包含最精简的核心信息。通过为大语言模型精心设计提示模板，我们能够生成更丰富、更细粒度的动作描述。研究证明，使用这些详细描述替代原始动作短语可有效提升文本空间与动作空间的对齐效果。我们提出了一种通用方法，可同时兼容随机性（如基于VAE）与确定性（如MotionCLIP）的文生动作模型，并支持使用多个文本描述进行生成。实验结果表明：（1）合成动作质量在定性与定量评估中均有显著提升；（2）使用多个LLM生成描述具有增益效应；（3）提示函数设计合理有效；（4）所提方法具备零样本生成能力。相关代码、预训练模型及示例视频将发布于https://actiongpt.github.io。

PoseGPT: Quantization-based 3D Human Motion Generation and Forecasting

本文研究动作条件引导下的人体运动序列生成问题。现有研究主要分为两类：基于观测历史运动的预测模型，或仅依赖动作标签与时长的生成模型。与此不同，我们实现了任意观测长度（包括零观测）条件下的运动生成。针对这一广义问题，我们提出PoseGPT——一种基于自回归变换器的模型，其内部通过量化潜在序列对人体运动进行压缩编码。我们首先通过自编码器将人体运动映射至离散空间的潜在索引序列，并实现反向重构。受生成式预训练变换器（GPT）启发，我们训练了适用于该离散空间的类GPT模型进行索引预测，使PoseGPT能够输出未来运动的概率分布，且无需依赖历史运动观测。潜在序列的离散压缩特性使类GPT模型能聚焦长期运动特征，有效消除输入信号中的低频冗余。离散索引预测还规避了连续值回归中常见的“平均姿态”预测陷阱——因为离散目标的平均值本身并非有效目标。实验结果表明，我们所提方法在HumanAct12（标准小规模数据集）、BABEL（新兴大规模运动捕捉数据集）及GRAB（人物交互数据集）上均达到了最先进水平。

Incorporating Physics Principles for Precise Human Motion Prediction

众多现实应用都依赖于基于历史观察数据对三维人体运动进行精确预测。虽然现有方法已取得显著进展，但其在亚秒级时间跨度内的预测误差仍可能达到数厘米级别。本文提出，要实现精确的人体运动预测，必须深入理解支配人体运动的基础物理原理。我们创新性地引入了PhysMoP——一个融合物理原理的人体运动预测框架。该框架通过求解欧拉-拉格朗日方程（一组描述物理运动规律的常微分方程）来估计下一帧的人体姿态。为缓解随时间累积的固有误差问题，PhysMoP采用数据驱动模型，并通过融合模块对基于物理的预测进行迭代修正。大量实验表明，PhysMoP在亚秒级预测区间内显著优于现有方法。例如在80毫秒的预测区间上，PhysMoP相较传统数据驱动方法的误差降低幅度达到10倍以上。

PIMNet: Physics-infused Neural Network for Human Motion Prediction

摘要：人体运动预测（HMP）旨在根据历史姿态序列预测未来人体姿态序列。近年来，该技术在计算机视觉和机器人领域备受关注，因其能帮助机器理解人类行为、规划目标动作并优化交互策略。现有HMP方法主要基于纯物理模型或统计模型，但二者均存在局限性：物理模型计算复杂且易产生误差，统计方法则需要大量数据且缺乏物理一致性。为克服这些缺陷，我们提出一种物理融合神经网络（PIMNet），将物理模型与统计方法相结合。我们首先通过基于物理的人体动力学模型计算每个姿态的接触力与关节力矩，随后将其输入编码器-解码器机器学习架构中以预测未来运动。该方法使PIMNet同时具备计算高效性与物理一致性。在Human 3.6M数据集上的大量实验表明，所提出的PIMNet在短期和长期预测中均能准确预测人体运动。即使采用基础LSTM作为机器学习模型，其预测精度仍达到或超越了最先进水平。

PhysDiff: Physics-Guided Human Motion Diffusion Model

去噪扩散模型在生成多样且逼真的人体动作方面前景广阔。然而，现有动作扩散模型在生成过程中普遍忽略物理规律，常产生存在明显物理异常的动作——如身体漂浮、脚步滑动、地面穿透等问题。这不仅严重影响生成动作的质量，更限制了其在实际场景中的应用。为解决这一难题，我们提出了一种新型物理引导动作扩散模型（PhysDiff），将物理约束融入扩散过程。具体而言，我们设计了一个基于物理的动作投影模块，通过物理仿真器中的动作模拟，将每个扩散步骤去噪后的动作投影至符合物理规律的状态。经物理修正的动作将在后续扩散步骤中引导去噪过程。从机理上看，这种物理机制的引入能持续将动作迭代牵引至物理合理的空间，这是传统后处理方法无法实现的。基于大规模人体动作数据集的实验表明，我们的方法在动作质量上达到最优水平，并将物理合理性全面提升（所有数据集提升幅度>78%）。

NRDF: Neural Riemannian Distance Fields for Learning Articulated Pose Priors

对关节空间进行精确建模是一项关键任务，它既能实现真实姿态的恢复与生成，也始终是公认的难题。为此，我们提出了神经黎曼距离场（NRDF）——一种数据驱动的先验模型，通过高维四元数积空间中的神经场零水平集来表征合理关节空间。为仅基于正样本训练NRDF，我们提出一种新型采样算法，确保测地距离遵循目标分布，从而构建理论严密的距离场学习范式。继而设计投影算法，通过自适应步长黎曼优化器将任意随机姿态映射至水平集，并始终遵循关节旋转构成的产品流形。NRDF可通过反向传播计算黎曼梯度，通过数学类比与新兴生成模型黎曼流匹配建立理论关联。我们在姿态生成、图像姿态估计和逆运动学求解等多类下游任务中，对NRDF与其他姿态先验模型展开系统评估，结果凸显了NRDF的卓越性能。除人体姿态外，NRDF的通用性更延伸至手部与动物关节建模，因其能有效表征任意关节系统。

Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields

[TODO] 图1

本文提出Pose-NDF——一种基于神经距离场（NDF）的连续型人体姿态概率模型。姿态或运动先验对于生成真实的新姿态，以及从含噪声或局部观测数据中重建精确姿态至关重要。Pose-NDF通过神经隐函数的零水平集学习合理姿态流形，将三维隐式曲面建模思想拓展至高维空间SO(3)^K（人体姿态由K个四元组构成的单数据点定义）。所得高维隐函数可对输入姿态求导，从而通过在三维超球面上执行梯度下降，将任意姿态投影至该流形。与现有基于VAE、将姿态空间转换为高斯分布的方法不同，本方法直接建模真实姿态流形并保持姿态间距离。实验表明，在去噪真实动作捕捉数据、遮挡姿态恢复、图像至三维姿态重建等下游任务中，Pose-NDF作为先验模型均优于当前最优方法。此外，通过随机采样与投影，本方法能比基于VAE的方法生成更多样化的姿态。我们将公开代码与预训练模型以供进一步研究，详见https://virtualhumans.mpi-inf.mpg.de/posendf/。

主要方法

数据定义

θ = {θ1, ..., θK}

其中θk是每个关节在其父坐标系下的四元数表达

距离定义

[TODO] 公式2

训练

---
title: NDF训练过程
---
flowchart LR
    θ[("动作数据")]

    noise["add noise"]

    θ1..k(["每个关节的动作数据"])
    hat_θ(["加噪数据"])
    d_gt(["d_gt"])

    v1..k(["关节1..k Latent Code"])

    d(["Unsigned Distance"])

    Loss(["Loss"])

    θ --> noise --> hat_θ

    hat_θ --> θ1..k -->Encoder1..k --> v1..k --> MLP --> d 

    θ & hat_θ --> 动作距离公式 --> d_gt

    d & d_gt --> Loss
    
    
    Loss e1@-->Encoder1..k
    Loss e2@-->MLP

    e1@{ animation: fast }
    e2@{ animation: fast }

优化

---
title: 基于NDF的推断过程
---
flowchart LR
    θ[("动作数据")]

    θ1..k(["每个关节的动作数据"])

    v1..k(["关节1..k Latent Code"])

    d(["Unsigned Distance"])

    θ --> θ1..k -->Encoder1..k --> v1..k --> MLP --> d
  
    d e1@-->θ

    e1@{ animation: fast }

效果

[TODO] 表1

Geometric Neural Distance Fields for Learning Human Motion Priors

我们提出神经黎曼运动场（NRMF）——一种创新的三维生成式人体运动先验模型，能够实现鲁棒、时序一致且物理合理的三维运动重建。与现有的VAE或扩散模型方法不同，我们提出的高阶运动先验显式地将人体运动建模为对应姿态、转移（速度）和加速度动态的神经距离场（NDF）零水平集。该框架具有严谨的理论基础：我们的NDF构建在关节旋转、角速度及角加速度的乘积空间上，严格遵循底层关节结构的几何特性。我们进一步引入：（1）一种新型自适应步长混合算法，用于在合理运动集合上进行投影计算；（2）一种创新几何积分器，在测试时优化和生成过程中实现真实运动轨迹的"展开"。实验结果表明显著且一致的性能提升：在AMASS数据集上训练后，NRMF能够出色地泛化至多种输入模态，并适应去噪、运动插值、基于部分二维/三维观测的运动拟合等多样化任务。项目页面详见此处。

神经黎曼运动场

Character Controllers Using Motion VAEs

计算机动画的一个基本问题是，在给定足够丰富的运动捕捉片段集合的情况下，如何实现有目的性且逼真的人体运动。我们采用自回归条件变分自编码器（即运动VAE）来学习数据驱动的人体运动生成模型。经过学习的自编码器其潜在变量定义了运动的动作空间，从而控制运动随时间推移的演变。规划或控制算法随后可利用该动作空间来生成期望的运动。特别地，我们运用深度强化学习来训练能够实现目标导向运动的控制器。我们通过多项任务验证了该方法的有效性，进一步评估了系统设计的不同方案，并阐述了当前运动VAE存在的局限性。

构造先验

采用自回归条件变分自编码器（即运动VAE）来学习数据驱动的人体运动模型，作为后续生成模型的先验。

[TODO] 图2

规避后验坍塌。

1. 可以使用单帧姿态作为条件输入，也可采用连续历史姿态序列（即𝑝𝑡−𝑘...𝑝𝑡−1）作为条件。
   实验结论：使用多帧条件能提升MVAE的重构质量，但会降低输出姿态的多样性。极端情况下，解码器可能学会忽略编码器输出，即出现后验坍塌问题。
2. 后验坍塌问题是指，解码器忽略编码器输出，仅复现原始运动捕捉数据。 解决方法：
   （1）使用较少的历史帧作为条件。实验表明，采用一至两帧连续姿态作为条件即可获得良好效果，但最优选择通常需综合考虑运动数据库的多样性与质量。
   （2）将潜变量z输入专家网络的所有层级来强化其重要性。实证研究表明该技巧能有效降低后验坍塌的发生概率。
   （3）其他影响后验坍塌概率的设计决策包括：解码器网络规模、KL散度损失的权重（在𝛽-VAE中）以及潜维度数量。

运动质量与泛化能力的平衡

1. 平衡源自重构损失与KL散度损失的权重分配
   （1）过度侧重运动质量时，系统仅会复现原始运动捕捉序列
   （2）若过度强调运动泛化，则可能生成不符合物理规律的动作姿态
   实验表明：当MVAE的重构损失与KL散度损失在收敛时保持同一数量级，即可作为衡量质量与泛化间适当平衡的有效指标。

自回归的预测失稳问题

问题原因：不断累积的重构误差会迅速导致模型进入状态空间中不可恢复的新区域

解决方法：计划采样技术

具体方法：为每个训练周期定义采样概率𝑝，当完成姿态预测后，以1−𝑝的概率将预测结果作为下一时间步的输入（而非使用训练数据中的真实姿态）。整个训练过程包含三个模式：监督学习模式（𝑝=1）、计划采样模式（𝑝值衰减）和自回归预测模式（𝑝=0）。

训练片断

使用T帧作为一个训练片断，T帧的切割方式有两种：
（1）任何帧都可被视为序列的起始或结束姿态，切割方法：运动片段被自由划分为等长子序 （2）需要固定起止姿态的特定运动，切割方法：通过填充序列至最长序列长度来处理变长输入

语言都是用第二种，动作通常用第一种。

基于先验的生成

随机生成

控制条件：无
生成方式：自回归
表示方式：连续表示(VAE)
生成模型：VAE

以单帧输入作为起始帧，随机采样下一帧，可以生成以下效果的运动：

1. 当初始角色状态取自短跑周期的中间帧时，MVAE将持续重构短跑周期动作；
2. 当初始状态为静止姿态（多数运动片段的起始通用姿态）时，角色可自然过渡到行走、奔跑、跳跃或静止等不同运动模式。

当随机行走在大量采样后仍无法实现运动过渡时，就意味着需要补充额外的运动捕捉数据（特别是过渡动作）

可控生成

控制条件：目标位置
生成方式：自回归
表示方式：连续表示(VAE)
生成模型：VAE

方法

在固定时间步长（𝐻）内执行多次蒙特卡洛推演（𝑁），从所有采样轨迹中选取最优路径的首个动作作为当前时间步的角色控制指令，该过程循环执行直至任务完成或终止。

效果

1. 在简单运动任务（如目标追踪§6.1）中表现尚可。
2. 当采用𝑁=200、𝐻=4参数时，角色通常能朝向目标移动并绕其盘旋，同时适应目标位置的突变（详见补充视频）。

局限性

1. 难以引导角色抵达目标两英尺范围内。
2. 对于更复杂的任务无法达成预期目标。
3. 需要精细调参。
4. 需要更高的运行时计算量。

动作先验与强化学习

[?] 这一部分没有看懂

Improving Human Motion Plausibility with Body Momentum

许多研究将人体运动分解为附着在根关节上的局部坐标系中的局部运动，以及世界坐标系中根关节的全局运动，并对二者分别处理。然而这两个组成部分并非相互独立：全局运动源于与环境的相互作用，而环境交互又是由身体姿态的变化驱动的。运动模型往往无法精确捕捉局部与全局动力学之间的这种物理耦合关系，而从关节扭矩和外部力推导全局轨迹又存在计算成本高、复杂度大的问题。为解决这些挑战，我们提出使用全身线性和角动量作为约束条件，将局部运动与全局运动联系起来。由于动量反映了关节层面动力学对身体空间运动的整体影响，它提供了将局部关节行为与全局位移相关联的物理基础方法。基于这一见解，我们引入了一种新的损失项，用于强制生成动量曲线与真实数据中观测到的动量曲线保持一致。采用我们的损失函数可减少脚部滑动和抖动，改善平衡性，并保持恢复运动的准确性。代码与数据详见项目页面https://hlinhn.github.io/momentum_bmvc。

MoGlow: Probabilistic and controllable motion synthesis using normalising flows

基于数据的运动建模与合成是一个活跃的研究领域，其在动画、游戏和社交机器人等领域具有广泛应用。本文提出了一类基于归一化流的新型概率化、生成式且可控的运动数据模型。此类模型能够描述高度复杂的分布，且与生成对抗网络（GAN）或变分自编码器（VAE）不同，它可以通过精确的最大似然估计进行高效训练。我们提出的模型采用自回归结构，并利用长短期记忆网络（LSTM）实现任意长的时间依赖性。重要的是，该模型具有因果性，即输出序列中的每个姿态生成时均不依赖未来时间步的姿态或控制输入；这种零算法延迟的特性对于需要实时运动控制的交互应用至关重要。该方法原则上可适用于任何运动类型，因为它不对运动特征或角色形态施加限制性的任务特定假设。我们在人类和四足动物运动的动作捕捉数据集上评估了模型性能。主客观实验结果均表明，本方法随机采样的运动效果优于任务无关的基线模型，其运动质量接近录制的动作捕捉数据。

Modi: Unconditional motion synthesis from diverse data

神经网络的出现彻底改变了运动合成领域。然而，学习从给定分布中无条件合成运动仍然具有挑战性，尤其是在运动高度多样化的情况下。本研究提出MoDi——一种在无监督设置下，从极其多样化、非结构化和无标签的数据集中训练得到的生成模型。在推理过程中，MoDi能够合成高质量、多样化的运动。尽管数据集缺乏任何结构，我们的模型仍能产生规整且高度结构化的潜空间，该空间可进行语义聚类，构成强大的运动先验，有助于实现语义编辑和群组模拟等多种应用。此外，我们提出一种编码器，可将真实运动映射到MoDi的自然运动流形中，为解决前缀补全和空间编辑等不适定问题提供解决方案。定性与定量实验均达到领先水平，超越了近年来的SOTA技术。代码和训练模型详见https://sigalraab.github.io/MoDi。

MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model

核心问题是什么?

直接基于自然语言生成人体运动

现有方法及局限性

如何根据多样化文本输入实现细腻且精细的运动生成仍具挑战性。

本文方法及优势

MotionDiffuse——首个基于扩散模型的文本驱动运动生成框架，其展现出超越现有方法的三大特性：
1）概率性映射。通过注入变异的多步去噪过程生成运动，取代确定性语言-运动映射；
2）真实合成。擅长复杂数据分布建模并生成生动运动序列；
3）多级操控。支持身体部位的细粒度指令响应，以及基于时变文本提示的任意长度运动合成。

实验表明MotionDiffuse在文本驱动运动生成和动作条件运动生成方面显著优于现有SoTA方法。定性分析进一步证明框架在综合运动生成方面的强大可控性。项目主页：https://mingyuan-zhang.github.io/projects/MotionDiffuse.html

方法

[TODO] 图2

实验

KIT-ML, HumanML3D

效果SOTA

[TODO] 表1

[TODO] 表2

A deep learning framework for character motion synthesis and editing

核心问题是什么?

开创了Deep Learning Based运动生成的先河

大致方法

第一步：Building the Motion Manifold

关键创新：Max Pooling。实验表明Max Pooling对结果起到了较大的提升作用。

---
title: Building the Motion Manifold
---
flowchart LR
    Input[("动作数据")]
    Encoder
    Latent(["Latent Code"])
    Decoder
    Output(["Output"])
    Loss(["Loss"])

    Input-->Encoder-->Latent-->Decoder-->Output
    Input & Output --> Loss

    
    
    Loss e1@-->Encoder 
    Loss e2@-->Decoder

    e1@{ animation: fast }
    e2@{ animation: fast }

第二步：Mapping High Level Parameters to Human Motions

---
title: Mapping High Level Parameters to Human Motions
---
flowchart LR
    Input[("控制信息")]
    NN["input curve T -> parameters"]
    Wave(["Wave Parameters"])
    SquareWaves["square waves"]
    F(["触地信息"])
    FF["Feedforward Network"]
    Latent(["Latent Code"])
    Decoder
    Output(["Output"])
    GT[("GT")]
    Loss(["Loss"])

    Input-->NN-->Wave-->SquareWaves-->F
    Input & F --> FF --> Latent-->Decoder-->Output
    Output & GT --> Loss

    Loss e1@-->FF 
    e1@{ animation: fast }

应用

Applying Constraints in Hidden Unit Space

---
title: Applying Constraints in Hidden Unit Space
---
flowchart LR
    Init(["初始Lantet Motion"])
    Decoder
    Output(["Output"])
    Constrain[("约束")]
    Loss(["Loss"])

    Init-->Decoder-->Output
    Output & Constrain --> Loss

    Loss e1@-->Init 
    e1@{ animation: fast }

Motion Stylization in Hidden Unit Space

---
title: Motion Stylization in Hidden Unit Space
---
flowchart LR
    Init(["初始Lantet Motion"])
    Style[("风格条件")]
    Content[("内容条件")]
    LatentContent(["latent内容条件"])
    LatentStyle(["latent风格条件"])
    GMStyle(["输入风格的Gram matrix"])
    GMMotion(["当前Motion风格的Gram matrix"])
    LossContent(["内容Loss"])
    LossStyle(["风格Loss"])
    Loss(["Loss"])

    Encoder1["Encoder"]
    Encoder2["Encoder"]
    GM1["计算Gram Matrix"]
    GM2["计算Gram Matrix"]

    Content --> Encoder1 --> LatentContent
    Style --> Encoder2 --> LatentStyle
    Init & LatentContent --> LossContent 
    Init --> GM1 --> GMMotion--> LossStyle 
    LatentStyle --> GM2 --> GMStyle --> LossStyle 
    LossContent & LossStyle --> Loss

    Loss e1@-->Init 
    e1@{ animation: fast }

实验

数据集

1. CMU
2. 自采数据 + 重定向

数据预处理流程

• 时序标准化：统一降采样至60FPS保证时序一致性

• 空间表征转换：将关节角度表示→3D关节位置（局部坐标系）

• 坐标系构建：以根关节地面投影为原点，通过肩/臀部向量计算前进方向（Z轴）

• 运动学参数增强：添加全局速度（XZ平面）、旋转速度（Y轴）和足部接触标签

• 数据归一化：减去均值/除以标准差（分别处理姿态、速度、接触标签）

总结

核心价值：第一篇基于AI的3D骨骼动作生成工作

成本分析：需要特定角色的大量数据

落地瓶颈：需要特定角色的大量数据，生成动作也只能用于特定角色，没有角色之间的泛化性。

Multi-Object Sketch Animation with Grouping and Motion Trajectory Priors

核心问题是什么?

矢量草图动画，能处理多对象交互和复杂运动

[TODO] 图1

现有方法及局限性

现有方法难以应对这些场景，要么仅限于单对象情况，要么存在时间不一致和泛化能力差的问题。

本文方法及优势

GroupSketch采用包含运动初始化和运动优化的两阶段流程：
第一阶段通过交互式将输入草图划分为语义组并定义关键帧，通过插值生成粗粒度动画；
第二阶段提出基于组的位移网络（GDN），利用文本-视频模型的先验知识预测组别位移场以优化粗动画。GDN还整合了上下文条件特征增强（CCFE）等专用模块来提升时间一致性。

大量实验表明，本方法在为复杂多对象草图生成高质量、时间一致的动画方面显著优于现有方法，从而拓展了草图动画的实际应用。

参考材料

https://hjc-owo.github.io/GroupSketchProject/

TRACE: Learning 3D Gaussian Physical Dynamics from Multi-view Videos

核心问题是什么?

在无需任何人工标注的情况下，仅从动态多视角视频中建模三维场景的几何、外观和物理信息。

现有方法及局限性

现有工作通常通过将基于物理的损失作为软约束或将简单物理模型集成到神经网络中来实现，但往往难以学习复杂的运动物理规律，或者需要额外的标注（如物体类型或遮罩）。

本文方法及优势

我们提出了一个名为 TRACE 的新框架来建模复杂动态三维场景的运动物理规律:

1. 将每个三维点建模为空间中具有大小和方向的刚性粒子
2. 直接为每个粒子学习一个平动-旋转动力学系统，显式地估算出一整套物理参数来控制粒子随时间的运动。

在三个现有动态数据集和一个新创建的具有挑战性的合成数据集上进行的大量实验表明，我们的方法在未来帧外推任务中相对于基线模型具有卓越的性能。我们框架的一个优良特性是，只需对学习到的物理参数进行聚类，即可轻松分割多个物体或部件。我们的数据集和代码可在 https://github.com/vLAR-group/TRACE 获取。

主要方法

输入：具有已知相机位姿和内参的动态多视角RGB视频

三维场景表示模块旨在学习一组三维高斯核，用于在规范空间中表示三维场景的几何和外观
辅助变形场旨在根据当前训练时间t预测每个高斯核的位移和畸变 平动-旋转动力学系统旨在为每个三维刚性粒子学习一组物理参数，以控制其随时间变化的运动动力学

Canonical 3D Gaussians

准备

输入：t=0时刻的N个视角的图像、N个视角的相机参数
假设每个高斯核的不透明度 σ 和颜色 c 不会随时间更新
三维高斯核 G₀的表征：

• 三维位置 x₀
• 由四元数 r₀ 和缩放 s₀ 导出的协方差矩阵
• 不透明度 σ
• 由球谐函数计算的颜色 c 初始化：随机初始化或SfM初始化

优化过程

将高斯核投影到相机空间
将投影后的高斯核渲染到图像空间
通过 3DGS 中使用的 ℓ₁ 损失和 ℓₛₛᵢₘ 损失优化所有核参数

[TODO] 公式1

辅助变形场

它是一个基于 MLP 的网络。
输入是规范位置 x₀ 和时间 t。
输出是几何变化量 (δx, δr, δs)，用于将规范高斯核 G₀ 扭曲到时间 t 的状态 Gₜ。

xₜ = x₀ + δx,
rₜ = r₀ ◦ δr,
sₜ = s₀ ⊙ δs,
σ, c（保持不变）

平动-旋转动力学系统

将复杂场景离散化为刚性粒子（即高斯核），并聚焦于学习每个粒子的独立动力学。
依据经典力学，将每个粒子的运动分解为绕一个运动的旋转中心进行的转动，同时该旋转中心自身也在平动。

模块输出： 为每个粒子学习两组物理参数 参数组 #1 - 旋转中心参数： 包括：

• 中心位置 P_c ∈ R³，
• 中心速度 v_c ∈ R³，
• 中心加速度 a_c ∈ R³（在世界坐标系下）。

旋转中心可以是任意位置，不一定是粒子所在的位置

参数组 #2 - 刚性粒子旋转参数： 包括：

• 刚性粒子相对于其旋转中心 P_c 的旋转矢量 w_p ∈ R³，
• 刚性粒子的角加速度 ϵ_p ∈ R³。

通过两组参数，得出粒子的合成速度为：

[TODO] 公式3

由于在网络推断的过程中 P_c 和 V_c 难以解耦，把 P_c 和 V_c 合并成 \(\bar v_c^t\)

因此MLP的实际输入输出为：

[TODO] 公式5

仅需在某个特定时间 t 学习一次这个完整的平动-旋转动力学系统，随后该粒子的未来运动将由学习到的动力学系统根据力学定律来支配。

训练

X-MoGen: Unified Motion Generation across Humans and Animals

核心问题是什么?

文生人类动作和动物动作

[TODO] 图1

现有方法及局限性

1. 分别建模人类与动物动作
2. 联合跨物种方法具备统一表征与更强泛化性等关键优势，但由于物种间形态差异，常导致动作失真。

本文方法及优势

X-MoGen：首个覆盖人类与动物的统一跨物种文本驱动动作生成框架。

第一阶段：条件图变分自编码器学习规范T姿态先验，同时自编码器将动作编码至由形态学损失正则化的共享潜空间；
第二阶段：通过掩码动作建模生成基于文本描述的动作嵌入。

训练中采用形态一致性模块保障跨物种骨骼合理性。为支持统一建模，我们构建了包含115个物种、11.9万动作序列的大规模数据集UniMo4D，在共享骨骼拓扑下整合人/动物动作进行联合训练。UniMo4D上的大量实验表明，X-MoGen在已知/未知物种上均超越现有最优方法。

主要方法

[TODO] 图2

图2：X-MoGen架构概览 我们的两阶段框架首先通过条件图自编码器（CGAE） 和自编码器（AE） 学习T姿态先验与紧凑动作潜空间。第二阶段中，掩码Transformer（M-Trans） 引导扩散模型从噪声生成动作，该过程以文本描述及CGAE生成的物种特定T姿态先验为条件。辅助的形态一致性模块（MCM） 对生成动作施加形态学约束。

Stage 1: Feature Modeling

T-pose Modeling via CGAE

[?]

1. 本文要求所有物理的骨骼拓扑是一一致的。只是长度的朝向的差异。
2. CGAE中只编码了骨骼长度的信息，怎么约束朝向信息呢？
3. CGAE中的BioCLIP-2部分只对一个物种信息编码，怎么实现跨物种的效果？

Motion Representation via AE

[?] 这里为什么是AE而不是VAE

Stage 2: Masked Motion Generation

Masked Motion Modeling

Diffusion-based Completion Head

[?]为什么需要输入T-pose Embedding?Latent Embedding足以恢复信息。 [?]蒙皮权重与Mesh的影响不考虑进去?

Morphological Consistency Module

1. MCM是怎么做的？从哪里获取角度极限的信息？
2. MCM是什么时候训练的？

Gaussian Variation Field Diffusion for High-fidelity Video-to-4D Synthesis

核心问题是什么?

视频到4D生成框架，可从单段视频输入中创建高质量动态3D内容。

[TODO] 图1

现有方法及局限性

直接进行4D扩散建模因数据构建成本高昂，且需联合表征3D形状、外观与运动的高维特性而极具挑战性。

本文方法及优势

直接4D网格-高斯场变分自编码器（Direct 4DMesh-to-GS Variation Field VAE）：无需逐实例拟合，直接从3D动画数据中编码规范高斯溅射点（GS）及其时序变化，将高维动画压缩至紧凑潜空间。

[TODO] 图2

高斯变分场扩散模型：该模型采用时序感知型扩散Transformer架构，以输入视频和规范GS作为条件。

[TODO] 图3

通过在Objaverse数据集精选的可动画3D对象上训练，本模型相较现有方法展现出更优的生成质量。尽管仅使用合成数据训练，其对真实场景视频输入仍表现出卓越的泛化能力，为高质量动态3D内容生成开辟了新路径。项目页面：GVFDiffusion.github.io。

主要方法

MotionShot: Adaptive Motion Transfer across Arbitrary Objects for Text-to-Video Generation

核心问题是什么?

文本到视频生成，且参考对象（动作信息来自图像）与目标对象（外观信息来自文本）外观或结构差异显著

[TODO] 图1

现有方法及局限性

现有的方法在这种情况下，难以实现运动的平滑迁移。

本文方法及优势

MotionShot——一个无需训练的框架，能够以细粒度方式解析参考-目标对象的对应关系，在保持外观连贯性的同时实现高保真运动迁移。

1. 首先通过语义特征匹配确保参考与目标对象的高层对齐
2. 继而通过参考到目标的形状重定向实现底层形态对齐。

通过时序注意力机制编码运动，我们的方法能连贯地跨对象迁移运动，即使存在显著的外观与结构差异，大量实验已验证其有效性。项目页面详见：https://motionshot.github.io/。

主要方法

[TODO] 图2

通过对Source Image（动作信息来源）做Warp，得到与『目标对象做特定动作』大致相似的图像做为condition，引导最终的生成。
源和目标虽然差距比较大，但在生理结构上仍具体语义相似性。作者利用这种相似性实现大致轮廓上迁移。
DINO：用于提取外观特征。
Semantic Feature Matching：用于识别生理结构上相似部位的匹配。
Thin Plate Spline Transformation：利用相似性实现轮廓迁移。

实验

Base Model: AnimateDiff

Drop: Dynamics responses from human motion prior and projective dynamics

合成能够动态响应环境的逼真人运动，是角色动画领域的长期目标，在计算机视觉、体育和医疗保健领域具有应用价值，可用于运动预测和数据增强。最近的基于运动学的生成式运动模型在建模海量运动数据方面展现出令人印象深刻的可扩展性，但缺乏对物理进行推理和交互的接口。虽然仿真器在环（simulator-in-the-loop）学习方法能够实现高度物理逼真的行为，但训练中的挑战常常影响其可扩展性和采用率。我们提出了DROP，一个利用生成式运动先验（generative motion prior）和投影动力学（projective dynamics）来建模人体动力学响应（Dynamics Responses）的新框架。DROP可视为一个高度稳定、极简的基于物理的人体模拟器，并与基于运动学的生成式运动先验对接。利用投影动力学，DROP能够灵活、简单地将学习到的运动先验作为投影能量（projective energies）之一进行集成，从而将运动先验提供的控制无缝地融入牛顿动力学（Newtonian dynamics）中。DROP作为一个与模型无关（model-agnostic）的插件，使我们能够充分利用生成式运动模型的最新进展，实现基于物理的运动合成。我们在不同运动任务和各种物理扰动下对我们的模型进行了广泛评估，证明了其响应的可扩展性和多样性。

研究背景与问题

要解决的问题

合成能够动态响应环境的逼真人运动。

现有方法及问题

1. 基于运动学的生成式运动模型在建模海量运动数据方面展现出令人印象深刻的可扩展性，但缺乏对物理进行推理和交互的接口。
2. 虽然仿真器在环学习方法能够实现高度物理逼真的行为，但训练中的挑战常常影响其可扩展性和采用率。

本文方法及优势

我们提出了DROP，一个利用生成式运动先验和投影动力学来建模人体动力学响应的新框架。DROP可视为一个高度稳定、极简的基于物理的人体模拟器，并与基于运动学的生成式运动先验对接。利用投影动力学，DROP能够灵活、简单地将学习到的运动先验作为投影能量之一进行集成，从而将运动先验提供的控制无缝地融入牛顿动力学中。

DROP作为一个与模型无关的插件，使我们能够充分利用生成式运动模型的最新进展，实现基于物理的运动合成。

主要方法

投影动力学（Projective Dynamics）：用约束定义能量，通过最小化一个能量函数来求解系统的状态。

投影动力学框架的核心是其能量最小化过程。DROP巧妙地将学习到的生成式运动先验模型的输出视为一种投影能量项。这个额外的能量项表达了“角色应该如何运动才自然”的期望（由数据驱动的先验知识）。在优化最小化总能量的过程中，系统会自然地趋向于满足这个期望，同时满足物理约束，从而有效地为角色提供了控制力。

基于IPC的Ragdoll系统

POMP: Physics-constrainable Motion Generative Model through Phase Manifolds

大量关于实时运动生成的研究主要聚焦于运动学层面，这常常导致物理上失真的结果。在本文中，我们提出了POMP("Physics-consistent Human Motion Prior through Phase Manifolds"，即"通过相流形实现物理一致的人体运动先验")，这是一个新颖的、基于运动学的框架。它利用相流形来对齐运动先验与物理约束，从而合成物理一致的运动。

POMP作为一个逐帧的自回归模型运行，包含三个核心组件：一个基于扩散的运动学模块、一个基于仿真的动力学模块和一个相位编码模块。在每一时间步，运动学模块先生成一个初始目标姿态，随后该姿态由动力学模块进行优化(通过模拟人-环境交互)。虽然物理仿真确保了遵循物理定律，但它可能会损害姿态的运动学合理性。因此，直接将仿真结果用于后续帧预测可能会导致误差累积。

为了解决这个问题，相位编码模块在相流形中进行语义对齐。此外，我们提出了一套在Unity引擎中实现的流程，用于生成地形图并从现有的运动捕捉(MoCap)数据中提取全身运动冲量。所收集的地形拓扑和运动冲量数据促进了POMP的训练，使其能够稳健地响应基础接触力和施加的动力学。

广泛的评估表明，POMP在各种情境、地形和物理交互中均表现出色。

研究背景与问题

要解决的问题

物理合理的实时运动生成

本文方法

这是一个基于运动学的框架，它利用相流形将运动先验与物理约束对齐，从而合成物理上真实的运动。
POMP 作为一个逐帧的自回归模型运行，包含三个核心组件：一个基于扩散的运动学模块、一个基于仿真的动力学模块和一个相位编码模块。 在每个时间步，

1. 运动学模块：通过学到的运动先验生成一个目标姿态；
2. 动力学模块：强制执行动态约束并产生一个仿真姿态(不可微)；
3. 相位编码模块：将仿真姿态投影回运动先验，并获取其相位位置编码 。
4. 这些处理后的状态向量递归地输入后续的姿态生成。

因为仿真步骤会引起的运动学畸变，累积的误差可能使结果偏离运动学模块学习到的运动先验，导致后续运动生成失败。为了解决这个问题，相位编码模块在相流形中应用语义对齐，将仿真结果投影回运动先验。

本文优势

1. 它将计算密集型的动力学模块置于基于梯度的训练循环之外，从而降低了计算复杂度。

2. 它在相流形中进行语义对齐，从而解决了领域鸿沟问题 。

3. 它允许更广泛的应用，能够实现准物理效果，而无需特定于模拟器的专业知识。

主要贡献

1. 一种新颖的基于运动学的生成模型，能够实时对物理扰动进行主动和被动响应。
2. 首次采用基于相位的语义对齐方法来解决运动学运动先验与仿真姿态之间的领域鸿沟。
3. 开发了一个流程，用于从动捕数据集中进行地形重建和全身运动冲量提取。

主要方法

[TODO] 图2

运动表示

第 i 帧的运动变量 (motion variables) xi 由四部分组成：角色状态、环境信息、相位变量和轨迹位置。

角色状态

• 身体关节的位置
• 身体关节的速度
• 根关节（通常指骨盆或臀部在 x-z 平面上的速度
• 根关节绕 y 轴的旋转角速度
• 独热编码步态向量，指示角色的步态类型（例如：站立、行走、慢跑、蹲下、跳跃、撞击、躺下、起身）。

环境信息

• 周围地形高度
• 全身接触冲量

相位变量

• 整个时间窗口上的相位编码
• 时间窗口未来一半的输出相位变量

相位编码由 aligned-PAE 模块生成（或提取）

轨迹位置

• 用户控制的整个时间窗口的轨迹位置投影到 2D x-z 平面上表示
• 用户控制的整个时间窗口的方向投影到 2D x-z 平面上表示
• 预测的轨迹变量的轨迹位置投影到 2D x-z 平面上表示
• 预测的轨迹变量的方向投影到 2D x-z 平面上表示

运动学模块

OrthoMoE-based Encoder

xi：包含运动表示中的全部输入信息，共541维
wk：1024维

约束：各个专家网络的输出互相正交

Diffusion based Decoder

w:条件，1024W
zi:输出，包含xi中h,j以外的信息，8 * 388维

yi = ∑^8_{k=1} α_k z_k

为了在不牺牲质量的前提下加速逆向过程，从 Analytic-DPM 获得灵感，将方程 (3) 中的协方差项\( λ^2_{τ_n} I \) 替换为一个解析估计

动力学模块

逆动力学 (控制)

使用比例微分（PD） 控制器，根据运动学模块提供的目标姿态和角色的当前状态(姿态和速度)，计算所需的关节力/扭矩 τ

前向动力学 (仿真)

物理引擎接收 τ 和当前状态，结合环境力（如重力、接触力、碰撞力），计算角色的瞬时加速度。

计算出的加速度用于更新运动状态(姿态和速度)

相位编码模块

动力学模块生成的物理上合理的姿态可能落在运动学运动先验之外，导致在基于 qi 生成下一个目标姿态 q^{i+1} 时破坏运动的连续性。

周期性自编码器 = Periodic Autoencoder = PAE，负责从运动数据中学习一个紧凑的相流形表示。

训练完成后，相位编码pei ∈ R^{10} 通过以下方式计算：
pei(2t) = a_i^{(t)} · cos(2π · s_i^{(t)})
pei(2t+1) = a_i^{(t)} · sin(2π · s_i^{(t)})
其中 t 是通道索引 (channel index)（t = 0, 1, 2, 3, 4）。

训练

增强 MoCap 数据

基于 MoCap 数据的地形重建

采用 PFNN 提出的地形拟合方法，计算每帧角色周围的轨迹高度。然后，我们初始化一个零值高度图，并使用运动轨迹的逐步“扫描”并更新该高度图，最终形成全面的地形数据。

通过物理模拟器进行接触力获取和姿态仿真

将 MoCap 数据导入 Unity 场景，利用Unity中的物理模拟器： (1) 收集真实接触冲量ji，用于训练运动学模块 (2) 生成真实仿真姿态qi，用于训练后续的相位编码模块

推断

运动学模块预测的输出相位变量 pi 包含两个部分：

1. pe ∈ 2×C×T，C=5，T=0.5L+1=7
2. {f, a, b} ∈ 3×C×T

用于计算重建的速度序列

输入给 PAE 的速度序列的数据由三部分组成：

• 过去 (i-60:i)： 使用真实仿真速度。
• 近期未来 (i+1:i+20)： 使用人工仿真速度。
• 较远未来 (i+21:i+60)： 使用目标速度。

人工仿真速度是指基于前面的物理仿真的加速度计算得到的速度。

实验

[TODO] 表1

Dreamgaussian4d: Generative 4d gaussian splatting

研究背景与问题

要解决的问题

输入：单张图像
输出：4D内容生成

本文方法及优势

1. 图像到4D高斯溅射：我们首先使用DreamGaussianHD生成静态高斯溅射模型，然后通过基于六面体 (HexPlane) 的动态生成方法结合高斯变形技术生成动态内容；

2. 视频到视频纹理优化：我们利用预训练的图像到视频扩散模型，对生成的UV空间纹理贴图进行优化，同时增强其时间一致性。

DG4D将优化时间从数小时缩短至仅需几分钟，允许对生成的3D运动进行视觉控制，并生成可在3D引擎中真实渲染的动态网格。

主要贡献

1. 一个系统性的图像到4D生成框架，它协同利用了图像条件化的3D生成模型和视频生成模型。这允许直接控制和选择期望的3D内容及其运动，从而实现高质量且多样化的4D生成。
2. 显式地表示4D场景：使用 3D GS 表示基础场景，并使用 HexPlane 表示不同时间戳下的形变。这种空间变换的显式建模将4D生成时间从数小时显著缩短至仅需几分钟。
3. 一种视频到视频纹理优化策略，通过保持时间一致性，进一步提升了导出的动画网格的质量，使得该框架在实际应用部署中更加友好。

主要方法

阶段1 从图像生成动态几何

DreamGaussianHD 生成静态3D GS

输入： 单张图像。
输出：使用 DreamGaussianHD 从输入图像生成高质量的静态 3D GS。

Gaussian Deformation for Dynamic Generation

在静态 GS 基础上，优化一个时间相关的形变场（核心是 HexPlane）。预测每个高斯点在每个时间戳的形变。

生成driving video

driving video来源： 图像到视频模型（如 SVD/Sora）根据同一张输入图像生成 使用driving video可避免了 SDS 的随机性和低效。

用于 4D 表示的 HexPlane

HexPlane 将一个 4D 场分解为六个特征平面，这些平面跨越每一对坐标轴（例如 XY, XZ, XT, YZ, YT, ZT）。

Hexplane: A fast representation for dynamic scenes

这种分解将 4D 场表示为一组可学习的 4D 基函数的加权和。

静态到动态的初始化

形变模型应被初始化为在训练开始时预测零形变。

为了预测零形变，同时不影响梯度更新，我们采用以下策略：

1. 对最后几个线性层进行零初始化（zero-initialization）。
2. 采用若干残差连接。

形变场优化

优化目标：

1. 参考视角监督：渲染图像与驱动视频对应帧之间的均方误差
2. 多视角监督：SDS

为了将运动从参考视角传播到整个 3D 模型（特别是参考视角下被遮挡的部分），我们利用 Zero-1-to-3-XL 来预测未见部分的形变。

优化参数(两种策略)：

1. 冻结静态 3D GS 的参数，只优化形变场 ϕ
2. 选择性地在优化过程中对静态 3D GS 进行微调

输出： 动画网格序列

阶段2 Video-to-Video Texture Refinement

Base Model: SVD

实验

图像 TO 4D

视频 TO 4D

Drive Any Mesh: 4D Latent Diffusion for Mesh Deformation from Video

研究背景与问题

要解决的问题

对现有 3D Mesh进行动画化

本文方法及优势

• 输入 1：初始几何 - 一个表示目标物体的初始点云 P1。它包含 N 个三维点 (pi ∈ R³)，通常通过对用户提供的静态 3D 网格进行采样获得。P1 定义了物体的初始形状。
• 输入 2：运动参考 - 一个单目视频 V。它包含 T 帧图像 (It)，由固定相机拍摄。视频提供了期望的运动模式或姿态序列参考。
• 输出：运动轨迹序列 - 一个点云序列 P = {P1, P2, ..., PT}。
• 实现手段： 使用一个 4D 潜在扩散模型 来建模和学习这个条件分布 p(P|P1, V)。该模型的核心功能是进行条件去噪：从一个噪声版本的点云序列开始，在 P1 和 V 的引导下，逐步去噪，最终得到干净的、代表目标动画的点云轨迹序列 P。

主要贡献

一种新颖的 4D 生成方法，利用单目视频为 3D 资产生成动画；

一个大规模 4D 资产数据集，包含多视角视频和网格顶点序列；

一种新的基于潜在扩散模型的方法，配备了专为 4D 生成设计的新型 VAE 架构和扩散结构。

主要方法

数据准备

从庞大的 Objaverse 数据集 [5, 4] 中精心策划了一个新的 4D 数据集，该数据集包含大量带标注的 3D 对象。

基于点云轨迹的运动表示

核心思想： 将物体的运动表示为其网格顶点随时间的移动路径（轨迹）。
优点： 输出是显式的点云序列 {Pt}，其中 Pt 是时间 t 时的顶点位置。这种表示天然兼容所有现代渲染引擎，因为引擎可以直接读取和渲染顶点位置序列定义的网格动画。
关键挑战：不同 3D 网格模型的顶点数量 (N) 差异很大。
解决方案：潜在集 (Latent Sets)

3DShape2VecSets

基于 Transformer 的 VAE

目标： 学习一个紧凑的 4D 潜在表示（即潜在集 F），它能充分编码形状和运动信息，并能被高效地生成和重建。

• 4D 运动编码器: 输入初始点云 P1（几何形状）和多视角动画图像序列（视觉外观和运动信息）。压缩这些时空信息，输出潜在集 F。
• KL 正则化块: 在训练过程中，它约束学习到的潜在集 F 的分布接近一个先验分布（通常是标准正态分布）。(VAE标准操作)。
• 4D 运动解码器: 输入是潜在集 F。响应查询（顶点索引 i 和时间 t），输出顶点 i 在时间 t 的位置，从而重建或生成对应的点云轨迹序列。

使用扩散模型进行运动生成

输入： 用户提供 P₁ (初始网格点云) 和 V (单目参考视频)。

Denoiser 利用空间、条件（几何+外观）和时间注意力机制，预测出更干净的潜在序列{Ẑₜ}ᵗ⁼₁ᵀ。
VAE 将 {Ẑₜ}ᵗ⁼₁ᵀ 输入到 VAE 的解码器中。输出预测的点云轨迹序列 P = {P₁, P₂, ..., Pₜ}，即最终的 4D 网格动画。

后处理

基于欧氏距离的阈值滤波机制，用于消除抖动。

实验

测试指标

从视觉质量上评估：
峰值信噪比 (PSNR)、结构相似性指数 (SSIM) 和学习感知图像块相似度 (LPIPS)

横向对比

DreamGaussian4D [27], Consistent4D [12], STAG4D [36], DreamMesh4D [18]

消融实验

在训练变分自编码器 (VAE) 时，仅使用均方误差 (MSE) 损失无法快速收敛到令人满意的结果。因此引入欧氏距离损失 (DIS)。 在相同的优化时间内，结合两种损失函数能得到更好的结果。

相似工作对比（原创）

AnimateAnyMesh是同期相似的工作。相同点：

1. 驱动任意拓扑与内容的Mesh。
2. 把Mesh序列分解为初始点云和每个顶点的运动路径，通过重建顶点的运动路径，叠加到初始点云后，得到被驱动的Mesh。
3. 以顶点顺序、数量无关的方法对Mesh进行编码，表达为隐空间向量。生成模型在隐空间是完成。
4. 提供了一个4D Mesh数据集。

不同点：

AnimateAnyMesh: A Feed-Forward 4D Foundation Model for Text-Driven Universal Mesh Animation

研究背景与问题

要解决的问题

根据文本驱动对任意3D网格进行动画化

本文方法及优势

1. 采用了一种新颖的 DyMeshVAE 架构，通过将空间特征和时间特征解耦，并保留局部拓扑结构，从而有效地压缩并重建动态网格序列。
2. 为了实现高质量的文本条件生成，我们在压缩后的潜在空间中采用了一种基于修正流（Rectified Flow） 的训练策略。 贡献了一个名为 DyMesh Dataset 的大规模数据集，包含超过400万个带有文本标注的多样化动态网格序列。

实验结果表明，AnimateAnyMesh能够在几秒钟内生成语义准确且时间连贯的网格动画，在质量和效率方面均显著优于现有方法。

主要方法

DyMeshVAE

顶点编码

给定一个动态网格序列 \( \mathcal{D} \subset { F \in \mathbb{R}^{M\times3},\ V \in \mathbb{R}^{T\times N\times3} } \)

首先将顶点序列 \( V \) 分解为初始帧顶点 \( V_0 \in \mathbb{R}^{N\times3} \) 和相对运动轨迹 \( V_T \in \mathbb{R}^{N\times(T\cdot3)} \)，满足以下关系：

$$ V^t = V^0_t + V^t_T,\quad \text{其中 } t = 1, 2, \dots, T $$

其中 \( t \) 表示时间序列的索引。

将顶点序列 V 拆分为 V0 和 VT 是DyMeshVAE 的关键建模思想之一。这种分解方式有助于实现形状与运动的解耦建模，同时使得运动分布更接近一个均值为零的正态分布。

位置编码

目的：增强轨迹重建的稳定性并防止粘连效应

方法：对 \( V_0 \) 和 \( V_T \) 使用不同的位置编码策略，从而得到编码后的特征 \( \hat V_{0} \) 和 \( \hat V_{T} \)。

拓扑编码

从输入网格的面片信息 F 中构建一个邻接矩阵 Adj。该邻接矩阵随后作为自注意力层中的注意力掩码，使每个顶点能够聚合其相邻顶点的信息：

$$ \bar V_0 = \text{Softmax}\left( \frac{\hat V_{0} \cdot \hat V_{0}^T \odot \text{Adj}}{\sqrt{d_k}} \right)\hat V_{0} + \hat V_{0} \tag{2} $$

捕捉运动模式之间的相关性

对拓扑感知顶点特征 \(\bar \V_0\)应用最远点采样（Farthest Point Sampling, FPS）55，得到\(\bar \V_0^n\)

attention map

KL Regularization

目的：对相对轨迹 \(\hat \V_T^n\) 的分布进行建模。

1. 在潜空间采用 KL 正则化以调控特征多样性。即：
   通过两个全连接层对 \(\hat \V_T^n\) 进行线性投影，预测其分布的均值和标准差
2. 随后按以下方式对 VAE 潜变量进行采样：

3. 正则化约束为：

DyMeshVAE Decoder

形状引导的文本到轨迹模型

目的：在给定初始网格和文本提示的条件下估计相对轨迹的后验分布。

每个动态网格序列 \( \mathcal{D} \) 被编码为一对潜表示 \( {V_n^0, Z_n^T} \)。

1. 使用全局统计量（均值 \( \mu_0, \mu_T \) 和标准差 \( \sigma_0, \sigma_T \)）标准化潜变量以消除数值差异
2. 沿通道维度拼接标准化特征 → 形成综合轨迹嵌入
3. 通过预训练CLIP文本编码器获取文本嵌入
4. 采用时间步 \( t \) 相关的独立自适应层归一化（AdaLN）参数分别调制轨迹嵌入和文本嵌入
5. 重缩放后的特征拼接进行自注意力计算
6. 多注意力块处理后，分解输出特征并基于保存的统计量 \( \mu_0, \mu_T, \sigma_0, \sigma_T \) 还原原始尺度

训练

训练

遵循修正流（Rectified Flow, RF）[42]的扩散范式，我们旨在最小化预测流与真实流之间的均方误差。

修正流：Flow straight and fast: Learning to generate and transfer data with rectified flow

推断

基于流式的常微分方程（ODE）公式实现修正流的采样过程。
采样完成后，将生成的轨迹特征 \( Z_n^T \) 与拓扑感知顶点特征 \( V_n^0 \) 输入解码器生成相对轨迹，最终通过将解码的顶点位移应用于给定网格，生成动态网格序列。

实验

估计指标

• 重建质量评估：计算重建顶点轨迹与真实轨迹间的逐帧平均 L2 距离
• 从固定视角渲染动画网格，并从视觉质量上评估
• 人工评估

横向对比

1. DG4D [58]：基于微分几何的变形模型
2. L4GM [59]：潜在空间网格运动生成器（使用 DynamiCrafter [86] 作为视频生成组件）
3. Animate3D [26]：神经渲染驱动的动画框架

消融实验

ReVision: High-Quality, Low-Cost Video Generation with Explicit 3D Physics Modeling for Complex Motion and Interaction

研究背景与问题

要解决的问题

生成包含复杂动作和交互的视频

本文方法及优势

首先，使用一个视频扩散模型生成一个粗糙的视频。
接着，从该粗略视频中提取一组 2D 和 3D 特征，构建一个以对象为中心的 3D 表示，并通过我们提出的参数化物理先验模型对其进行优化，生成精确的 3D 动作序列。
最后，这一优化后的动作序列被反馈到同一个视频扩散模型中作为额外的条件输入，使得即使在涉及复杂动作和交互的情况下，也能生成运动一致的视频。

主要方法

基于运动条件的视频生成

从预训练的 SVD 模型出发，在原始条件输入中额外拼接了两个通道：

• 3D 运动序列的部件级分割掩码
• 该掩码可靠性的置信度图

ReVision

S1：粗略视频生成

输入：第一帧和可选的用户指定的目标姿态（最终帧中的运动）
输出： 视频

由于生成过程仅依赖于最终帧的目标运动或空运动，而非完整的运动序列，因此生成的视频通常运动质量较差，存在改进空间。因此，称此阶段为粗略视频生成。

S2：以对象为中心的 3D 优化

利用 3D 参数化网格模型（用于人类和动物 [32, 49, 80]）、边界框 [57]、分割掩码 [40, 71] 和深度估计 [69]（用于通用对象）对目标进行 3D 参数化。

3D参数化方法：

• 人使用SMPL
• 动作使用SMAL
• 其它物体使用BBox、分割掩码和深度估计。

使用参数化物理先验模型（PPPM），基于文本信息和运动强度对 3D 运动序列进行优化。

PPPM把 3D 参数化运动序列 变为优化后的 3D 参数化运动序列，再转为 3D 网格序列，并投影为 2D 部件分割掩码和置信度图。

S3：细粒度视频生成

以S2输出的在 3D 空间中优化的完整运动序列作为部件掩码为condition生成视频。

训练

数据集

作者自己标注了object-centric annotations的视频数据集。

优点：

1. 利用现成模型（如 YOLOv8、RTMPose、SMPL-X、AnimalAvatar）生成高质量标注，而非人工标注。
2. 结合语言模型（LLMs）筛选含运动的视频，提升数据相关性。
3. 多阶段的过滤筛选
4. 从视频筛选到标注生成的全流程自动化。

训练

基础模型：Stable video diffusion

不同的条件输入策略：

• 40% 的视频片段包含每帧的精确部件掩码
• 30% 包含最终帧中随机部件的多边形掩码
• 剩余片段无额外条件输入。

实验

实验一：现通用生成模型对比

• SVD：使用GPT-4o生成『人类和动物从事日常活动』的文本描述。再用GPT-4o对描述生成参考图像。以此作为输入生成视频。
• HunyuanVideo：直接使用相同的文件提示生成视频。
• ReVision：使用相同的文件提示，使用HunyuanVideo生成视频的首帧作为reference，以此作为输入生成视频。

结论：
ReVision显著提升了 SVD 的运动生成能力，生成的视频在运动量、一致性和真实感上均优于 SVD。甚至在运动质量上超越了 13B 参数 的 SOTA 模型 HunyuanVideo。这些结果证明了ReVision在复杂动作和交互生成中的有效性。

尽管 ReVision 采用了三步流程（pipeline），但额外的 3D 检测和运动优化模块在单张 A100 显卡上仅增加了 5 秒 的推理时间。因此 ReVision 仍显著更快。

实验二：与人体图像动画化模型对比

ReVision：使用 TikTok Dancing 数据集微调原始SVD

1. ReVision在所有指标上SOTA。
2. FVD（Fréchet Video Distance） 指标上观察到了显著的提升，表明视频生成质量有明显改善。
3. 其它基线方法都依赖于真实的运动序列（ground truth motion sequences），而在实际场景中获取这些数据是相当困难的，这限制了它们的实用性。相比之下，但ReVision需提供输入图像和目标姿态，即可生成真实且高质量的视频。

Ablation Study

1. 通过引入来自 3D 网格模型的人类和动物先验知识，可以大幅缓解这些结构上的(例如“一个人有三条手臂”)不准确性，从而实现对目标更精确的表示。
2. Stage3的主观效果与客观指标均明显优于Stage1

相似工作对比（原创）

FinePhys也是类似的想法，都是在3D空间优化人体动作，然后以优化后的人体动作作为控制信号进行视频生成。

区别在于

相同点：

1. 物理优化的过程是可导的，因为可以把物理优化作为其中一个环节进行端到端训练。

Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators

Use Stable Diffusion to generate videos without any finetuning

✅ 完全没有经过训练，使用 T2I Base Model(stable diffusion Model) 生成视频。

Motivation: How to use Stable Diffusion for video generation without finetuning?

• Start from noises of similar pattern
• Make intermediate features of different frames to be similar

P103

Step 1

• Start from noises of similar pattern: given the first frame’s noise, define a global scene motion, used to translate the first frame’s noise to generate similar initial noise for other frames

✅ 在 noise 上对内容进行编辑，即定义第一帧的 noise，以及后面帧的 noise 运动趋势。

P104

Step2

• Make intermediate features of different frames to be similar: always use K and V from the first frame in self-attention

✅ 保证中间帧尽量相似。

P105

Step3

• Optional background smoothing: regenerate the background, average with the first frame

✅ 扣出背景并 smooth.

Force Prompting: Video Generation Models Can Learn and Generalize Physics-based Control Signals

研究背景与问题

要解决的问题

模拟现实世界力的物理有意义交互的视频生成

现在有方法及其局限性

本文方法及优势

我们探索将物理力作为视频生成的控制信号，并提出了“力提示”（force prompts），使用户能够通过局部点力（如轻触植物）和全局风力场（如风吹动织物）与图像进行交互。

1. 通过利用原始预训练模型的视觉和运动先验，这些力提示能够使视频对物理控制信号做出逼真响应，且在推理过程中无需使用任何3D资产或物理模拟器。
2. 作者发现，即使使用Blender生成的简单合成数据（如旗帜、球体的运动），模型仍能通过以下策略实现跨领域泛化。
3. 仅需约15k合成样本（远低于传统方法的数百万级数据），单日训练即可完成（使用四张A100 GPU）。

主要贡献

1. 通过两种模型将物理力作为视频生成的条件信号：一种用于局部点力（localized point forces），另一种用于全局风力（global wind forces）。
2. 我们发现，视频模型即使在极少量训练数据（15k视频）和有限计算资源（四张A100 GPU一天）下，也能执行精确的力提示，并在不同场景、物体、几何形状和功能性（affordances）中表现出广泛泛化能力。我们还尝试理解这种泛化的来源，并对训练数据进行了仔细的消融实验，发现两个关键要素：与控制信号相关的视觉多样性，以及训练过程中特定文本关键词的使用，这些要素似乎有助于激发模型对力控制信号的理解。
3. 我们展示了基于力条件的模型具有一定程度的质量理解能力：相同的力可以导致较轻物体移动得更远，而较重物体则移动得更近。 我们已在项目页面（https://force-prompting.github.io/）公开所有数据集、代码和模型。

主要方法

输入：

• 文本提示 τ：描述场景或动作
• 初始帧 ϕ：提供视觉上下文
• 物理控制信号 π：
  • 风力模型：方向和强度
  • 点力模型：方向、强度及作用点坐标

输出：

• 视频 v：f帧 × c通道 × h高度 × w宽度

合成训练数据

全局风力数据集：使用物理模拟器生成旗帜在风中飘动的视频
局部点力数据集 - 刚体：使用物理模拟器生成球体在地面上滚动的视频
局部点力数据集 - 弹性体：使用一个结合3D高斯分布和物理模拟器的模型PhysDreamer生成植物被轻触的视频

力的表示

全局力编码策略

输入：力 \( F \in [0, 1] \) 、角度 \( \theta \in [0, 360) \)
输出：\( \tilde{\pi} \in \mathbb{R}^{f \times c \times h \times w} \)，其中 \( f = 49 \) 是帧数，\( c = 3 \) 是颜色通道数，\( h = 480 \) 和 \( w = 720 \) 是生成视频的高度和宽度。
编码方法：将\( \tilde{\pi} \) 的第一个通道定义为 \( -1 + 2 \cdot F \in [-1, 1]\)，第二个通道为 \( \cos \theta \)，第三个通道为 \( \sin \theta \)。

局部点力编码

输入：力的强度 \( F \in [0, 1] \) 、角度 \( \theta \in [0, 360) \) 、像素坐标 \( (x, y) \in {0, \dots, w-1} \times {0, \dots, h-1} \)
输出：\( \tilde{\pi} \in \mathbb{R}^{f \times c \times h \times w} \)
方法： 高斯斑点从像素位置 \( (x, y) \) 开始，并以恒定速度沿方向 \( \theta \) 移动，总位移与力 \( F \) 成仿射比例（详见附录A.3）。对于局部力，当力 \( F = 0 \) 时，高斯斑点的位移非零，因为训练数据集的约定是 \( F = 0 \) 表示微小力。

点力提示与轨迹控制的区别：高斯斑点的初始化位置为受力点，但其随后的位置只是表明这个瞬时力的大小的方向。高斯斑点的后续移动既不表示物理持续受力，也不表示物体要移动的位置。

训练

基模型

CogVideo + ControlNet

实验

1. 尽管模型仅在球体滚动（线性）和植物触碰（复杂）场景上训练，我们的力提示模型在所有运动类别中均表现出强大的泛化能力。
2. 仅在束缚运动（旗杆上的旗帜飘动）标签视频上训练的全局风力控制模型，仍能对空气动力学和流体运动实现泛化控制
3. 在单种康乃馨数据上训练后，能够显著泛化到其他植物。虽然不能替代基于物理的模拟方法，但这种纯神经方法提供了卓越的泛化能力，并生成符合“直观物理”的响应。

Think Before You Diffuse: LLMs-Guided Physics-Aware Video Generation

研究背景与问题

要解决的问题

实现物理正确且照片级真实的视频生成。

现在有方法及其局限性

1. 现有视频扩散模型在生成视觉上吸引人的视频方面表现优异。便难以直接从海量数据中学习这些复杂的物理规律。因此在生成视频中合成正确、符合物理规律的效果方面存在困难，尤其是在处理复杂的现实世界运动、物体间相互作用和动力学时。
2. 通过神经网络从视觉输入中提取物理表示，用于下游的推理或模拟。尽管这些方法在图形学、机器人和科学计算等领域有效，但它们通常依赖于基于规则的手工求解器，这限制了其表达能力和可扩展性，并且需要大量的手动调整。此外，它们通常局限于合成数据，无法扩展到复杂的、真实世界的视频生成。

本文方法及优势

1. 利用LLM进行物理推理，显式地分析用户提供的文本提示，并生成一个全面的物理上下文，详细描述文本提示中隐含或涉及的物理规律（如重力、碰撞、流体、材料属性等）。
2. 将LLM推理出的物理上下文信息注入到扩散模型（即视频生成模型）中，指导其生成过程。
3. 利用MLLM监督与训练目标
4. 构建了一个新的高质量物理视频数据集，该数据集包含多样化的物理动作和事件

主要方法

给定用户提示:

1. 利用预训练的大型语言模型 (LLM) 从文本输入中推理物理属性。
2. (a) 利用物理语境增强用户提示，并 (b) 生成一个与所描述事件相关的物理现象清单。
3. 使用增强后的提示来指导视频生成。同时，物理现象清单被用来惩罚包含不合理物理现象的输出。

将文本描述锚定于物理语境

利用预训练的 LLM 来推理物理语境，并获取三种类型的文本描述： (1) 一个物理属性清单，用于捕捉角色（起因/结果）、相互作用和物理规律； (2) 一个包含场景和物理细节的增强提示； (3) 一个与事件相关的物理现象清单。

物理属性推理

使用思维链 (Chain-of-Thought, CoT) [54] 提示技术来引导一个预训练的大型语言模型:
(1) 识别所涉及的关键物理原理； (2) 确定哪些实体发起动作，哪些实体受到影响； (3) 推理这些实体如何相互作用； (4) 记录任何由此产生的物理现象。 最终，获得一个既全面又有效的物理属性清单。

增强文本提示

基于提取出的物理属性，提示 LLM “生动地描述场景，包括物体、动作和氛围”。不仅捕捉了场景的力学方面，还捕捉了其叙事深度。
允许 LLM 通过引入新的实体（产生外力）以保证逻辑一致性。

物理现象

生成一个与目标事件相关联的『物理现象』清单。其中『物理现象』是由事件状态变化引起的事实。
这些『物理现象』清单用于指导训练过程。当事实被满足时，可以奖励扩散模型；当事实缺失或错误时，则可以惩罚它。

物理感知模型训练

目标

如何训练扩散模型以有效利用文本描述中丰富的物理语境，并精确生成期望的物理效果: (1)
(2) 尊重作为自然视频的常识； (3) 生成符合文本描述的期望内容。

物理现象 Loss

验证生成的结果是否包含物理现象清单中列出的期望事实

在训练期间，在采样的时间步 t，

1. 将预测的潜在片段 xt ∈ R^{m×c×h×w}解码为像素空间视频 vt。
2. 用一个多模态大型语言模型 (MLLM) [7] 来逐一评估 vt 与物理现象集合 F = {f1, ..., fn} 中每个事实 fi 的对齐程度。

MLLM输出两个值：

1. li ∈ {0, 1}描述第i个事实是否被匹配
2. zk描述与单词k相关联的logit值。其中单词k ∈ {“未匹配”或“已匹配”}

Loss定义为：

$$ E(li) = Σ_{l∈{0,1}} $$

$$ L_{phen} = Σ_{f_i∈F} ||E(l_i) - 1||^2_2 $$

引入了一个额外模块来处理未匹配的事实 \( f_i \)，该模块：

1. 将 \( f_i \) 编码为文本嵌入
2. 以图 2-(3) 所示的方式，对DiT中的Cross Attention层使用ControlNet + LoRA的技术向原始的DiT注入条件

物理常识 Loss

使用同一个预训练的多模态大型语言模型 (MLLM)来给出 1 到 5 的评分，用于评估生成的视频 vt 的合理性得分。

$$ L_{\text{com}} = \left| \frac{E(s_{\text{com}})}{\tau} - 1 \right|_2^2, $$

语义一致性损失

使用同一个预训练的多模态大型语言模型 (MLLM)来给出 1 到 5 的评分，用于评估生成的视频 vt 与输入文本提示之间的语义一致性。

$$ L_{\text{sem}} = \left| \frac{E(s_{\text{sem}})}{\tau} - 1 \right|_2^2, $$

训练

训练目标

• 去噪分数匹配 \( L_\epsilon \)：扩散模型的核心目标，通过最小化噪声预测误差来学习数据分布。
• 现象损失 \( L_{\text{phen}} \)：修正生成过程中违反物理规律的现象（例如物体穿透、重力失效）。
• 物理常识损失 \(L_{\text{com}} \)：确保生成内容符合物理常识（例如物体下落、液体流动）。
• 语义一致性损失 \( L_{\text{sem}} \)：保证生成内容与输入文本提示的语义一致（例如“猫跳上桌子”需包含猫和桌子）。

$$ L = L_\epsilon + \beta(L_{\text{phen}} + L_{\text{com}} + L_{\text{sem}}). $$

训练策略

1. 冻结原始 DIT，仅训LoRA部分
2. 当检测到失败事实，基于该事实的文本嵌入重新注入扩散步骤，强制模型修正错误。
3. 随机不激活注入分支的训练，防止模型过度依赖注入的监督信号，保留原始扩散模型的生成能力。

基模型

Wan2.1-14B，一种基于 DiT 的开源文生视频模型

DiffPhy 支持多种模型架构（backbones），此处以 Wan2.1-14B 为例进行展示。

实验

数据集

训练数据：
通过对VIDGEN-1M数据集加工得到的HQ-Phy数据集

测试数据：
VideoPhy2、PhyGenBench

评估指标

PhyGenBench 基准的评估指标:

• 关键现象检测（Key Phenomena Detection）：检测生成视频中是否包含符合物理规律的关键现象（如重力、弹性等）。
• 物理顺序验证（Physical Order Verification）：验证事件的时间顺序是否符合物理因果关系（如“物体先下落再碎裂”）。
• 平均质量评分（Average Scores）：使用 GPT-4o [1] 和开源模型（如 CLIP [43]、InternVideo2 [53]、LLaVA [32]）综合评估视频整体质量。

VideoPhy2中的 VideoCon-Physics 评估器:

• 物理常识（PC, Physical Commonsense）：评分范围 1-5，评估视频的物理合理性。
• 语义一致性（SA, Semantic Adherence）：评分范围 1-5，衡量视频与输入提示的语义对齐程度。

人工评估

横向对比

开源模型：Wan2.1-14B [50]、CogVideoX5B [63]、VideoCrafter2 [10]、HunyuanVideo-13B [27]、Cosmos-Diffusion-7B [2]。
闭源模型：OpenAI Sora [40]、Luma Ray2 [35]、LaVie [52]、Vchitect [13]、Pika [42]、Kling [26]。

官方 PhyGenBench 排行榜:

作者自己测的客观评分：

Generating time-consistent dynamics with discriminator-guided image diffusion models

研究背景与问题

要解决的问题

基于T2I模型实现文生视频

现有方法及局限性

视频扩散模型 (VDMs) 是目前生成高质量时间动态的最佳技术。但从头训练 VDM 计算成本高昂且复杂。

本文方法及优势

不重新训练或修改现有的大型图像扩散模型（这些模型通常资源丰富且已训练好），而是利用一个额外的时间一致性判别器。该判别器在采样推理阶段（即用训练好的图像模型生成视频序列时）引导生成过程。

1. 在时间一致性方面，新方法达到了与专门训练的 VDM 同等的水平。
2. 新方法能更好地估计其预测的不确定性。
3. 新方法生成的动态更接近真实数据，系统性误差更小。

主要方法

符号定义

• {x^n_t}: 表示一个图像序列。这是理解的关键。
  • 上标 n：物理时间步 (Physical time step)。代表视频帧或动态模拟中的时间点（n=1 是第一帧，n=2 是第二帧，依此类推）。
  • 下标 t：扩散时间步 (Diffusion time step)。代表扩散模型去噪过程中的时间（噪声水平），t=0 表示完全去噪（干净图像），t=T 表示完全噪声。
• x^{(n-m):n}_0：指代从物理时间步 n-m 到 n 的无噪声 (t=0) 图像序列（m+1 帧）。

时间一致性判别器的训练

构造数据对：

• 输入：x^{(n-m):n}_0，其中n为均匀采样
• 正样本：{x^(n+1)_t}
• 负样本：{x^(n+l)_t}，其中l使用重要性采样，因此当l接近1时任务更难

输出：

D_θ(x^{n+1}_t; x^{(n-m):n}_0, t)

损失函数：

使用时间一致性判别器的时序一致性引导

根据上文可知，判别器的定义为：

由此计算出时序一致性引导为：

代码reverse SDE的更新公式得：

实验

启发

在diffusion based模型的推断过程，通过施加损失的梯度来引导生成，类似的想法在文生动作任务OmniControl中也有使用，可见这种方法确实是有效的。

GENMO:AGENeralist Model for Human MOtion

NVIDIA

研究背景与问题

要解决的问题

运动生成（如从文本生成动作）和运动估计（如从视频重建3D动作）

现有方法及局限性

视频运动估计通常关注确定性预测以追求精度，文本/音乐到运动生成则需输出多样性以覆盖可能动作，因此将运动生成和运动估计视为独立任务。
这导致模型冗余且知识无法共享。但实际上这两类任务本质均依赖对时空运动规律的理解，而技术路线分离阻碍了性能提升。

本文方法

将运动估计与生成整合至单一框架中。

1. 将运动估计重新定义为受约束的运动生成，要求输出运动必须严格满足观测到的条件信号。
2. 通过结合回归与扩散模型的协同效应，既能实现精准的全局运动估计，又能支持多样化运动生成。
3. 一种估计引导的训练目标，利用带有2D标注和文本描述的野外视频数据来增强生成多样性。
4. 支持处理可变长度运动及混合多模态条件（文本、音频、视频），在不同时间区间提供灵活控制。

这种统一方法产生了协同效益：生成先验能提升遮挡等挑战性条件下的运动估计质量，而多样视频数据则增强了生成能力。

主要贡献

1. 首个通用模型：GENMO 首次统一了SOTA 全局运动估计与灵活的、多模态条件（视频、音乐、文本、2D 关键点、3D 关键帧）运动生成。

2. 灵活架构设计：支持可变长度运动生成，并允许任意多模态输入组合，无需复杂后处理。

3. 双模式训练范式：探索回归与扩散的协同作用，并提出估计引导的训练目标，使模型能有效利用野外视频数据。

4. 双向提升：生成先验 提升遮挡等挑战条件下的估计鲁棒性；多样化视频数据 增强生成表现力。

通用人体运动模型

多模态输入

• 条件信号集 \(\mathcal{C}\)：包含一种或多种模态输入：
  • 视频特征 \(\mathbf{c}_ {\text{video}} \in \mathbb{R}^{N \times d_{\text{video}}}\)
  • 相机运动 \(\mathbf{c}_ {\text{cam}} \in \mathbb{R}^{N \times d_{\text{cam}}}\)
  • 2D骨架 \(\mathbf{c}_ {\text{2d}} \in \mathbb{R}^{N \times d_{\text{2d}}}\)
  • 音乐片段 \(\mathbf{c}_ {\text{music}} \in \mathbb{R}^{N \times d_{\text{music}}}\)
  • 2D包围框 \(\mathbf{c}_ {\text{bbox}} \in \mathbb{R}^{N \times d_{\text{bbox}}}\)
  • 自然语言描述 \(\mathbf{c}_ {\text{text}} \in \mathbb{R}^{M \times d_{\text{text}}}\)（\(M\)为文本词元数）
• 条件掩码集 \(\mathcal{M}\)：为每个条件类型 \(\mathbf{c}_ {\star}\) 定义二元掩码矩阵 \(\mathbf{m}_ {\star} \in \mathbb{R}^{N \times d_ {\star}}\)，当条件特征可用时掩码值为1，否则为0。

运动序列 x 的表示

• 全局轨迹（第 \(i\) 帧）：
  • 重力视图朝向 \(\Gamma_{i}^{\text{gv}} \in \mathbb{R}^6\)
  • 局部根节点速度 \(v_{i}^{\text{root}} \in \mathbb{R}^3\)
• 局部运动（第 \(i\) 帧）：
  • SMPL模型参数[45]：
    • 关节角 \(\theta_i \in \mathbb{R}^{24 \times 6}\)
    • 身形参数 \(\beta_i \in \mathbb{R}^{10}\)
    • 根节点位移 \(t_{i}^{\text{root}} \in \mathbb{R}^3\)
• 相机位姿（第 \(i\) 帧）：
  • 相机到世界的变换 \(\pi_i = (\Gamma_{i}^{\text{cv}}, t_{i}^{\text{cv}})\)
    • 相机视图朝向 \(\Gamma_{i}^{\text{cv}} \in \mathbb{R}^6\)
    • 相机位移 \(t_{i}^{\text{cv}} \in \mathbb{R}^3\)
• 接触标签 \(p_i \in \mathbb{R}^6\)（手足接触状态）

统一估计与生成设计

输入：带噪声的运动序列 \(x_t\) 与条件信号 \(C\)、条件掩码 \(M\)
输出：干净运动序列 \(x_0\)

其中Multi-Text Attention为：

每一个文本序列与特定窗口的x部分做cross attention。

任意长度运动推理

在基于 RoPE 的 Transformer 块中引入滑动窗口注意力机制：每个令牌仅关注其前后 W 帧邻域内的令牌。
该设计使模型能生成远超训练时长的运动序列，同时保持计算效率并确保运动过渡平滑连贯。

混合多模态条件处理

文本条件（无帧级对齐）→ 通过多文本注意力机制处理

时序对齐模态（视频/音乐/2D骨架）→ 通过时序掩码策略管理

双模式训练范式

当前的diffusion model不足以支撑与输入视频严格一致的运动重建。
作者发现运动估计与文本生成任务存在一下差异：

1. 运动估计结果变异性极低（确定性行为）。文本生成结果变异性显著（概率性行为）。
2. 视频条件模型：首步预测接近最终结果，后续步变化极小。文本条件模型：各步预测方差显著。
   得出结论：首步预测精度成为关键。
   因此提出提出双模式训练范式。

估计模式

对纯噪声z预测时间步T下的输出x0，强制模型退化为确定性映射。
除了diffusion model本身的重建Loss意外，再增加2D/3D关节点位置的正则项约束。

生成模式

1. 伪标签生成：以视频/2D骨架为条件，通过估计模式输出伪干净运动
2. 噪声注入：对伪标签执行前向扩散
3. 2D重投影损失：约束预测运动与真实2D关键点对齐
4. 物理约束：同步施加几何损失

实验

动作估计

Global Motion Estimation

global motion主要关注的是滑步与轨迹。

分析：
WHAM的Motion Encoder&Decoder使用纯3D数据训练，相当于是3D动作先验模型，但这个先验模型主要是为了预测local motion。它借助SLAM结果和motion latent code共同预测轨迹，这一步需要结合视频。经测试，可能轨迹主要由motion latent code决定，因此无法区分踏步与向前走的场景。
本文根据3D动作生补全出合理的轨迹(类似WHAM)。区别在于，

1. WHAM只是借助视频-3D数据来学习这个知识，而本文借助的通过大量数据的3D生成模型，因此在这方面能力更强大。
2. WHAM预测轨迹的另一个输入是SLAM结果，提供的额外信息有限，而且依赖于SLAM的准确性。但本文会输入完整的视频，信息更丰富。应该可能区分踏步与向前走的场景。

WHAM和GVHMR都会显式地预测stationary并以此约束foot sliding，因此滑步问题比较小。本文只是约束了2d/3d position或速度，没有显示地预测stationary。

TRAM没有使用纯3D数据或3D动作先验模型。它完全依靠SLAM解耦相机运动和人物运动，以获得真实的人物轨迹。

Local Motion Estimation

global motion主要关注的是动作准确度以及与视频的贴合度。

diffusion由于其泛化能力，很难约束它生成的动作跟视频完全一致，因此本文使用了双模式训练范式，从指标上看，这个训练策略非常有效。

动作生成

Music to Dance

Text-to-Motion

通过Ours (w/o 2D Training)和Ours的对比，可见引入2D训练数据确实能对模型各方面性能有提升。

在表4中，GENMO的客观分数偏低，文中解释是因为本文所使用的动作表示与其它不同，在不同动作表示之间的迁移影响了结果的精度。

Motion In-betweening

HGM3: HIERARCHICAL GENERATIVE MASKED MOTION MODELING WITH HARD TOKEN MINING

研究背景与问题

要解决的问题

文生3D Motion

问题难点

• 文本歧义性: 相同的文本描述可能对应多种合理的动作序列（例如，“高兴地挥手”的具体幅度、速度、姿态可能有多种）。
• 动作复杂性: 人体动作涉及高维、连续、时序相关的复杂运动模式。

现有方法及局限性

1. 早期方法：潜在表征对齐

   • 核心思想： 试图在某个潜在空间中，让文本的表示和动作的表示尽可能接近。
   • 技术手段： 使用 KL散度 (KL divergence) 或对比损失 (contrastive loss) 来最小化文本和动作潜在分布之间的距离。
   • 代表工作： MotionClip, TEMOS。
   • 主要局限：
     • 文本和动作的本质不同（离散符号 vs. 连续时空数据）导致它们在潜在空间中的完美对齐极其困难。
     • 生成的动作不自然。

2. 概率映射方法：学习随机映射

   • 核心思想： 认识到文本到动作的映射不是确定性的（一对一的），而是概率性的（一对多的）。因此，模型需要学习从文本条件到可能动作分布的映射。
   • 技术路线一：变分自编码器 (VAE)
     • **代表工作：T2M (Generating diverse and natural 3d human motions from text)
     • 特点： 使用 时序 VAE，专门处理序列数据，学习文本到动作序列的映射。
   • 技术路线二：扩散模型 - 当前主流之一
     • 核心过程： 通过一个逐步去噪（逆向扩散）的过程，从随机噪声中生成动作序列，该过程由文本条件引导。
     • 代表工作与演进：
       • MDM (Tevet et al., 2023): 使用 Transformer 编码器 直接处理原始动作数据 (raw motion sequences) 进行去噪重建。
       • MLD (Chen et al., 2023): 在潜在空间 (latent space) 进行扩散，显著提升计算效率 (enhance computational efficiency)。
       • GraphMotion (Jin et al., 2024): 创新点在于使用分层文本条件化 (hierarchical text conditionings - 三个语义层级)，试图提供更精细的控制。这为本文的分层方法 (HGM³) 提供了铺垫。
       • 其他扩散模型： Kong et al. (2023), Wang et al. (2023b), Dabral et al. (2023), Zhang et al. (2024), Huang et al. (2024), Dai et al. (2025) 等，表明扩散模型是该领域非常活跃的方向。

3. 掩码建模方法：掩码 Transformer - 当前主流之二

   • 核心思想： 将动作序列离散化 为令牌序列（类似 NLP 中的单词）。在训练时，随机或有策略地掩码 (Mask) 一部分令牌，让模型基于上下文（未掩码令牌和文本条件）预测被掩码的令牌。
   • 优势： 通常比扩散模型效率更高，能有效学习动作的时空依赖关系。
   • 代表工作与技术差异：
     • T2MGPT & MotionGPT: 采用 自回归 生成方式。模型像预测下一个单词一样，逐个预测动作令牌。通常使用因果掩码 (causal masking)（只能看到前面的令牌）。
     • MMM: 对输入动作令牌进行随机掩码，模型基于所有未掩码令牌（上下文）同时预测所有被掩码的令牌（非自回归）。
     • MoMask (Guo et al., 2024): 结合了 VQ-VAE 和 残差 Transformer。VQ-VAE 将动作编码为离散令牌，残差 Transformer 负责重建（或生成）最终的动作序列，可能涉及迭代优化（“残差”暗示了逐步修正的过程）。
     • BAMM (Pinyoanuntapong et al., 2024a): 提出双向因果掩码 (Bidirectional Causal Masking)。这是对标准自回归（单向因果）的改进，试图结合双向上下文信息 的优势来补充 自回归 Transformer，可能提升生成质量和上下文理解能力。

本文方法及优势

• 困难令牌挖掘 (HTM - Hard Token Mining):
  • 目标： 提升模型的学习效率（efficacy），特别是对难学部分的学习。
  • 方法： 主动识别动作序列中那些对模型来说具有挑战性（“hard”）的部分，并将其掩码（mask）。
  • 作用： 迫使模型在训练时更集中精力去预测和恢复这些被刻意掩盖的困难部分，类似于在训练中“专攻难点”。
• 分层生成式掩码动作模型 (HGM³ - Hierarchical Generative Masked Motion Model):
  • 目标： 更好地建模文本语义与动作的对应关系，生成上下文可行的动作。
  • 方法：
    • 语义图表示 (Semantic Graph Representation): 使用语义图来结构化地表示输入文本句子，这种图可以捕捉词语在不同语义粒度上的关系（例如，整体动作意图 vs. 具体身体部位细节）。
    • 分层条件重建 (Hierarchical Conditioning & Reconstruction): 使用一个共享权重的掩码动作模型作为基础。
    • 分层输入： 将不同粒度的语义图（如粗粒度的整体意图、细粒度的局部细节）作为不同层次的条件输入到模型中。
    • 共享模型重建： 在每种条件层级下，该模型都尝试重建（或预测）同一个被部分掩码的动作序列。
    • 学习效果： 这种设计迫使模型从不同抽象层次理解文本语义如何影响动作生成，从而实现“对复杂动作模式的全面学习”。

主要方法

1. 采用基于残差 VQ-VAE (residual VQ-VAE) (MoMask) 的动作分词器 (motion tokenizer)，通过分层量化过程 (hierarchical quantization process)，将原始的3D人体动作数据转换为离散的令牌序列。
2. 通过结合 HTM策略 (HTM strategy) 的掩码 Transformer (masked transformer)学习掩码动作中具有区分性的部分，帮助模型更好地识别数据中的关键特征。
3. 为掩码 Transformer 引入了基于分层语义图的文本条件化 (hierarchical semantic graph-based textual conditioning)，将语义信息组织成多个层级，以增强模型对文本描述的理解能力。
4. 采用分层推理过程 (hierarchical inference process) 进行动作生成。在此过程中，模型迭代式地优化生成的动作，并利用一个预训练的残差 Transformer来校正量化误差。

动作分词器：残差 VQ-VAE

传统VQVAE通过一个单一的向量量化层将编码器的连续输出量化到离散潜在空间，这会导致信息损失。

为了更好地逼近编码器的输出，我们使用了残差 VQ-VAE在额外的 V 个量化层上量化丢失的信息。

量化与重建的过程参考MoMask:

量化过程

1. 初始层 (v=0): 编码器输出 Z⁰ = E(X)。
2. 量化: Ẑ⁰ = Q(Z⁰)。Q(·) 操作找到码本 v=0 中与 Z⁰ 的每个向量最接近的条目。
3. 计算残差: Z¹ = Z⁰ - Ẑ⁰。这个残差 Z¹ 包含了第一层量化后丢失的信息。
4. 下一层 (v=1): 将残差 Z¹ 作为输入，进行第二层量化：Ẑ¹ = Q(Z¹)。
5. 再次计算残差: Z² = Z¹ - Ẑ¹。
6. 重复: 此过程重复 V 次（共 V+1 个量化层）。

重建过程

所有层的量化输出 Ẑ⁰, Ẑ¹, ..., Ẑᵛ 求和 (Σ_{v=0}^{V} Ẑᵛ) 后，输入解码器 D 来重建原始动作：X̂ = D(Σ_{v=0}^{V} Ẑᵛ)。

与后续模块的连接

• 掩码 Transformer: 接收 y⁰_{1:n}（最重要的动作令牌序列）作为其主要输入，并结合文本条件进行训练（预测被掩码的令牌）。
• 残差 Transformer (用于推理): 在推理阶段，当核心模型（掩码 Transformer + HGM³）生成了 y⁰_{1:n} 的预测后，这个预训练的残差 Transformer 会利用 y⁰_{1:n} 以及 可能 的 y¹_{1:n}, ..., yᵛ_{1:n}（或其预测）来生成一个残差信号，用于校正 VQ-VAE 解码器重建动作时产生的量化误差（见 3.4 节），从而得到更精细的最终动作输出。

掩码 Transformer 和 困难令牌挖掘策略

掩码 Transformer

从预训练的residual VQVAE中取得第0层的token序列，训练掩码 Transformer 来重建原始序列。

现有方法（MoMask, MMM）随机选择要掩码的令牌，但本文策略性地选择要掩码的令牌。

师生机制:

• 学生模型F:掩码 Transformer，负责重建被掩码的令牌。输入带掩码的token序列和文本C，预测被mask的token。
• 教师模型G:辅助 Transformer，通过预测重建损失的相对排序来为 Fθ(·) 识别具有挑战性的令牌。

损失预测器

损失预测器以未掩码的动作序列和文本embedding C为输入，预测 argsort(ℓ)（即重建损失的排序）来识别那些更难重建的动作令牌。 该模型通过预测每一对令牌 (i, j) 中哪个令牌具有更高的重建损失来学习对重建难度进行排序。

由易到难的掩码生成

• 问题： 如果训练一开始就只掩码最困难的令牌，模型可能因为能力不足而无法有效学习，导致训练不稳定或收敛到次优解。
• 解决方案： 采用渐进式学习 (Curriculum Learning) 思想。让模型从简单任务（掩码随机令牌） 开始，逐步过渡 到困难任务（掩码最难令牌）。
• 掩码选择策略:
  • 在每个训练轮次 t，确定一个困难令牌比例 α_t。
  • 从排序列表的最前面（即最难的部分） 选取 α_t 比例 的令牌进行掩码。
  • 剩余的 1 - α_t 比例 的掩码令牌，则从所有令牌中随机选择。
  • 结合上述两步选择的令牌索引，形成本轮最终的掩码集合 M。
• 比例调整策略
  • 困难比例：α_t = α_0 + (t / T) * (α_T - α_0)，线性增加
  • 总掩码比例：γ(τ_t) = cos(π τ_t / 2)，余弦衰减
  • t为训练轮次

面向掩码 Transformer 的分层语义文本条件化

分层语义文本条件

将整个文本句子压缩成一个单一的向量表示，这种方法忽略了文本的细粒度细节。

本文将文本分解为语义上细粒度的组件，以构建一个分层图，并通过一个图注意力网络 (Graph Attention Network - GAT)来获取增强的文本嵌入。

有关语义角色解析过程的更多细节，请参阅附录 B。

分层语义文本条件最终得到三个层级的文本嵌入：

• C^m (仅动作层)
• [C^m; C^a] (动作层 + 行为层拼接)
• [C^m; C^a; C^s] (动作层 + 行为层 + 细节层拼接)

输入处理：

• 长度对齐： 使用填充令牌 (padding tokens) 使三种条件令牌序列长度一致。
• 位置编码： 对整个序列（条件令牌 + 动作令牌）应用位置编码，模型能感知顺序。
• 前置拼接： 将条件令牌序列放在动作令牌序列之前输入模型 (如图1所示)。这是一种常见的条件输入方式。

Loss 调整

一个令牌是否“困难” (难以被 Fθ 重建) 依赖于当前提供的文本条件层级。例如，在仅有全局信息 (C^m) 时可能很难预测的令牌，在有了细节信息 ([C^m; C^a; C^s]) 后可能变得容易预测。
因此针对每一个条件层级都要计算一个预测损失，求和得到总预测损失。
同样每一个层都要计算一个重建损失，求和得到总重建损失。

不同条件下的Fθ和Gθ各自共享一套参数。

推理

1. 第一阶段 (分层迭代生成基础令牌):

   • 起点： 全掩码序列。
   • 过程： L 次迭代，每次迭代：
     • 用当前层级文本条件预测掩码位置概率分布。
     • 重新掩码置信度最低的预测。
     • 文本条件随迭代由粗(C^m)到细([C^m; C^a; C^s])切换 (Eq. 14)。
   • 终点： 完全生成的基础层令牌序列 Y⁰。
   • 核心： 迭代式置信度筛选确保困难位置得到多次精炼；分层文本条件指导渐进式细节添加。

2. 第二阶段 (残差精化):

   • 输入： 基础层令牌 Y⁰。
   • 过程： 用预训练残差 Transformer 预测 V 个残差令牌序列。
   • 输出： 组合 Y⁰ 和残差令牌，通过 VQ-VAE 解码器生成最终连续动作 X。
   • 核心： 校正量化误差，提升动作细节和质量。

实验

分析：

1. 本文SOTA
2. 近期工作中表现比较好的基本上都是VQVAE based。

Towards Robust and Controllable Text-to-Motion via Masked Autoregressive Diffusion

研究背景与问题

要解决的问题

文生3D Motion

现有方法及局限性

VQVAE类方法：离散表征难以忠实表达新动作
扩散模型类方法：连续表征缺乏对单帧的细粒度控制

作者希望可以帧级的动作控制同时能够对训练集以及的动作有较好的泛化性。

本文方法及优势

提出鲁棒的动作生成框架MoMADiff

• 将掩码建模与扩散过程相结合
• 利用帧级连续表征生成动作。

优势：

• 支持灵活的用户自定义关键帧，可精准控制动作合成的空间与时间维度
• 在以稀疏关键帧作为动作提示的新型文本-动作数据集上，MoMADiff展现出强大的泛化能力。

主要贡献

• 提出帧级运动VAE，将人体动作编码为连续标记序列，在未见数据集上实现精确动作重建与强鲁棒性
• 设计掩码自回归扩散模型，基于帧级连续标记实现细粒度可控的人体动作生成
• 所提 MoMADiff 在标准文本-动作基准测试中达到领先性能，并在关键帧引导的分布外动作生成中展现强大泛化能力

主要方法

(a) 运动VAE：将原始动作编码为帧级连续隐嵌入，并解码生成动作
(b) 自回归扩散模型训练：通过掩码建模训练，使用基于扩散的预测头预测动作嵌入
(c) 推理过程：

• 首先生成少量关键帧
• 递归补全完整动作序列
• 支持稀疏关键帧输入实现可控生成

连续的帧级运动自编码器

CNN Based VAE

连续编码：消除量化误差
帧级编码：支持单帧编辑

损失：

[?] 逐帧编码哪来的速度？

动作掩码自回归扩散模型 (MoMADiff)的训练流程

1. 输入处理：

• 随机掩蔽隐序列 → 用可学习的连续 [MASK] 标记替换部分位置
• 文本提示经CLIP编码 → 拼接至Transformer输入序列首部

2. Transformer输出条件标记 c：

3. 轻量级Denoising结构预测motion embedding

• 含 L 个扩散块（线性层→SiLU激活→线性层）

• 通过AdaLN注入条件标记 c 和去噪步数 t

2和3联合优化

推理阶段策略

1. 初始化：

• 所有隐运动标记置为 [MASK]
• 文本编码后置于序列首部输入Transformer

2. 关键帧生成：

• 生成条件标记 c 并输入扩散头
• 扩散头通过 T 步去噪（从 zₜ → z₀）输出初始关键帧
• 加速技术：采用DDIM采样将去噪步缩减至 Tᵢ

3. 递归补间：

• 将生成/用户提供的自定义关键帧回填至输入序列

4. 控制增强：

对隐条件Transformer施加无分类器引导(CFG) 关键限制：CFG不作用于扩散头（避免破坏时空结构）

实验

数据集：Motion-X、IDEA400、Kungfu、HumanML3D、KIT-ML
评价指标： R-Precision、Frechet Inception Distance(FID)、Multimodal Distance (MMD)、(4) Diversity (DIV)

Motion reconstruction

横向对比

VAE类：VPoser-t、ACTOR、MLD
VQVAE类：ParCo、MotionGPT、MoMask
训练集：HumanML3D

1. in-domain测试数据：HumanML3D测试集

分析：

• MotionGPT的重建能力(VQVAE)来自于T2m-GPT，基于对连续编码方法，离散编码确实会有量化损失。离散编码的特点是牺牲编码容量，保留编码细节。
• ACTOR的VAE不只是重建，还要与动作编码进行潜在高斯分布对齐，可能是因此损失了一些精
• [?] 本文逐帧embedding为什么ACCL表现这么好？

2. out-of-domain测试数据：IDEA400、Kungfu

结果：

分析：VQVAE只是已经数据的编码，没有插值能力，所以对out-of-domain的泛化性确实会差一些。

out-of-domain的关键帧插帧

训练集：HumanML3D

分析：

1. ParCo和MoMask使用VQVAE编码，所以对out-of-domain的泛化性确实会差一些。
2. MDM和本文的相同的点：

• 都使用自己训练的VAE编码器对动作编码，从表2上看，MDM的编码能力略胜一筹。
• 都使用CLIP进行文本编码。
• 每一个denoise步骤之后，都会用keyframe覆盖对应的生成帧。

3. 在文生动作任务上本文更好。可能是对文本的使用和生成的pipeline的差异导致。

• MDM的denoise部分是自回归的，每一帧的生成只能参考前面帧。而本文的denoise部分，每一帧都可以看到前后帧信息。
• MDM仅使用CLIP embedding作为自回归的初始化输入，而本文中CLIP Embedding对每一帧数据的生成作用都是平等的。

文生动作

MoCLIP: Motion-Aware Fine-Tuning and Distillation of CLIP for Human Motion Generation

研究背景与问题

要解决的问题

文生动作

现有方法及局限性

现有方法通常依赖于基于对比语言-图像预训练（CLIP）的文本编码器，但这些模型在文本-图像对上的训练限制了其对运动中固有时间和运动学结构的理解能力。

本文方法及优势

本文提出MoCLIP——一种通过附加运动编码头进行微调的CLIP模型，使用对比学习和约束损失在运动序列上进行训练。通过显式地融合运动感知表征，MoCLIP在保持与现有CLIP框架兼容性的同时提升了运动保真度，并能无缝集成到各类基于CLIP的方法中。
实验表明，MoCLIP在保持竞争力FID指标的同时提升了Top-1、Top-2和Top-3准确率，实现了更好的文本-运动对齐效果。这些结果凸显了MoCLIP的多功能性和有效性，确立了其作为增强运动生成的稳健框架地位。

主要贡献

1. 增强CLIP的运动理解能力：引入经对比学习训练的附加运动头，扩展标准CLIP编码器，将运动数据的时序与运动学特征编码至文本潜空间

2. 验证跨管线有效性：将MoCLIP集成至三种不同视觉管线，在Top-1/2/3准确率上超越标准CLIP模型

3. 贡献度分析：通过消融实验，对比进阶版MoCLIP与基线模型，检验不同训练特征的影响

主要方法

目标

1. 使用蒸馏损失微调文本嵌入，约束适配过程以保留原始CLIP语义核心

2. 采用余弦相似度损失引导嵌入保持运动方向连续性，强化文本-运动空间对齐

1. 采用M2T-Interpretable作为运动编码器，从运动序列提取时空嵌入。该编码器包含跨肢体注意力机制以捕获细粒度肢体协调。生成的运动嵌入集合\( M = {M_0, M_1, ..., M_B} \)
2. 分别使用Teacher Text Encoder和Student Text Encoder对文件编码
3. 通过多个损失项训练Motion Encoder和Student Text Encoder

$$ \mathcal{L} _ {total} = \underbrace{\mathcal{L} _ {contrastive}} _ {\text{对称对齐}} + \lambda_{distill} \underbrace{\mathcal{L} _ {distill}} _ {\text{语义锚定}} + \underbrace{\mathcal{L} _ {alignment}} _ {\text{运动-文本余弦对齐损失}} $$

对比损失

$$ \mathcal{L}_{contrastive} = \frac{1}{2} \left[ \underbrace{CE(z _ {motion} W z _ {text}^\top, y)} _ {\text{运动→文本对齐}} + \underbrace{CE(z _ {text} W z _ {motion}^\top, y)} _ {\text{文本→运动对齐}} \right] \quad (1) $$

其中W是可学习参数。

蒸馏损失

$$ \mathcal{L}_{distill} = \frac{1}{N} \sum _ {i=1}^{N} \left|| z _ {text-student}^{(i)} - z _ {text-teacher}^{(i)} \right||_2^2 \quad (3) $$

选择MSE作为蒸馏损失的核心考量：

它允许学生嵌入以非严格受限于教师嵌入角度（余弦相似度）的方式迁移。这种灵活性使学生嵌入能更有效地与运动嵌入对齐，同时仍受控地保持在原始CLIP嵌入空间邻近域内。

运动-文本余弦对齐损失

$$ \mathcal{L}_{\mathrm{alignment}} =1- \frac{1}{N} \sum _ {i=1}^{N} \frac{ z _ {\mathrm{motion} }^{(i)} \cdot z _ {\mathrm{text-student} }^{(i)}}{ ||z _ {\mathrm{motion} }^{(i)}|| _ 2||z _ {\mathrm{text-student} }^{(i)}|| _ 2} \quad (4) $$

训练

MoMask训练

1. 加载预训练CLIP作为学生网络，改造其接入运动编码器

2. 加载教师CLIP模型并全程冻结

3. 渐进解冻策略：

• 前35轮：冻结学生文本编码器 → 运动编码器与CLIP嵌入对齐

• 后15轮：解冻学生文本编码器 → 联合运动编码器训练（使用第3章损失函数）

• 总训练轮次：50轮

下游模型微调

1. 替换原CLIP为MoCLIP并冻结权重

2. 微调下游模型（学习率=1e-6，无预热阶段）,其中多阶段架构（MoMask/BAMM等模型）顺序微调T2M和残差Transformer

数据集

HumanML3D

实验

结论：MoCLIP在基于令牌的模型（token-based models） 中表现更为高效，而双向自回归架构（bidirectional autoregressive architectures） 可能需要额外的适配才能充分发挥其优势。

FinePhys: Fine-grained Human Action Generation by Explicitly Incorporating Physical Laws for Effective Skeletal Guidance

研究背景与问题

目的

合成物理合理的人类动作的视频

现有方法及局限性

在细粒度语义建模和复杂时间动态建模方面（例如生成像"转体0.5周的切换跳跃"这样的体操动作）往往产生不理想的结果。

本文方法

提出了FinePhys——一个结合物理原理的细粒度人类动作生成框架，通过有效的骨骼指导实现动作生成。具体而言：

1. FinePhys首先以在线方式估计2D姿态，然后通过上下文学习进行2D到3D的维度提升。
2. 为了缓解纯数据驱动3D姿态的不稳定性和有限可解释性，引入了一个由欧拉-拉格朗日方程控制的基于物理的运动重估计模块，通过双向时间更新计算关节加速度。
3. 将物理预测的3D姿态与数据驱动姿态融合，为扩散过程提供多尺度2D热图指导。

在FineGym的三个细粒度动作子集（FX-JUMP、FX-TURN和FX-SALTO）上的评估表明，FinePhys显著优于竞争基线。全面的定性结果进一步证明了FinePhys生成更自然、更合理的细粒度人类动作的能力。

核心贡献

1. 提出FinePhys框架：

一种面向细粒度人类动作视频生成的新方法，利用骨骼数据作为结构先验，并通过专用网络模块显式编码拉格朗日力学；

2. 多维度物理约束融合

关键问题在于如何将物理规律连贯地融入学习过程。传统策略有三种：观测偏置（通过数据）、归纳偏置（通过网络）和学习偏置（通过损失）。FinePhys通过全维度整合物理约束： ❶ 观测偏置：引入姿态作为额外模态编码生物物理布局，利用上下文学习进行2D→3D提升，使用现有数据集中的平均3D姿态作为伪3D参考； ❷ 归纳偏置：通过全可微分神经网络模块实例化拉格朗日刚体动力学，其输出为欧拉-拉格朗日方程参数； ❸ 学习偏置：设计符合底层物理过程的损失函数。

3. 实验验证优势

在细粒度动作子集上的大量实验表明，FinePhys显著优于各类基线模型，能生成更自然且物理合理的结果。

物理建模方法对比

主要方法

输入

1. 视频输入：\(V_{in} = {f_i}_{i=1}^T\)，从完整视频中采样的$T$帧；

推理阶段可以直接输入2D骨骼代替视频输入

2. 文本描述：细粒度类别标签\(c\)的扩展描述（如"转体一周的切换跳跃"），通过文本扩展器\(\mathcal{E}\)（本文使用GPT-4[1]）增强可理解性[73]；

Pipeline

视频输入 → 2D姿态 → 3D姿态 → PhysNet优化 → 热图编码 → LDM条件

1. 在线2D姿态估计：输入视频帧生成2D骨骼序列\(S_{2D} \in \mathbb{R}^{T \times J \times 2}\)（\(J\)为关节数），提供紧凑的生物力学结构表示；
2. 上下文学习维度提升：将2D姿态通过上下文学习转换为数据驱动的3D骨骼序列\(S_{3D}^{dd} \in \mathbb{R}^{T \times J \times 3}\)；
3. 物理优化模块PhysNet：基于欧拉-拉格朗日方程计算双向二阶时序变化（加速度），重新估计3D运动动力学，生成物理预测的3D骨骼序列\(S_{3D}^{pp} \in \mathbb{R}^{T \times J \times 3}\)；
4. 多模态融合与投影：融合\(S_{3D}^{dd}\)与\(S_{3D}^{pp}\)，投影回2D生成多尺度潜在热图；
5. 引导生成：热图集成至3D-UNet各阶段，指导扩散去噪过程。

FinePhys：物理规律融合

观测先验：2D→3D维度提升

如图2左下所示：从真实数据集中获得2D-3D pair的先验，使用双流Transformer实现2D->3D lifting。

归纳偏置：物理感知模块

1. 对2D→3D维度提升输出的3D序列进行编码，

$$
\begin{aligned}
q^{(g)} _ t &= E _ \theta^{(g)} \left( { S^{3D} _ {dd}(t) }_ {t=1}^T \right) \quad \in \mathbb{R}^{T \times (J \times 3)}, \\ q^{(l)(\rightarrow)} _ t &= E _ \theta^ {(l)} \left( { S ^ {3D} _ {dd}(t-2), S^{3D} _ {dd}(t-1), S^{3D} _ {dd}(t) } \right), \\
q^{(l)(\leftarrow)} _ t &= E _ \theta^{(l)} \left( { S^{3D} _ {dd}(t), S^{3D} _ {dd}(t-1), S^{3D} _ {dd}(t-2) } \right),
\end{aligned} \tag{8}
$$

其中\(q^{(l)(\rightarrow)}_t\)和\(q^{(l)(\leftarrow)}_t\)分别表示前向与反向时序编码。所有计算均双向进行——前向更新从前三帧开始，反向更新从后三帧开始。

2. 取\(q^{(g)} _ t\) 和 \(q ^ {(l)( \rightarrow)} _ t \)，使用下文补充部分的全身人体运动学模型，预测出\(\hat{q}_{t+1}^{(\rightarrow)}\)

3. 取\(q^{(g)}_ t\)和\(q^{(l)(\leftarrow)} _ t\)，使用下文补充部分的全身人体运动学模型，预测出\(\hat{q}_{t+1}^{(\leftarrow)}\)

4. 双向估计平均：

$$
\hat{q} _ {t+1} = \frac{1}{2} \left( \hat{q} _ {t+1}^{(\rightarrow)} + \hat{q} _ {t+1}^{(\leftarrow)} \right)
$$

5. 最终输出物理优化的3D骨骼序列：
   $$
   S^{3D} _ {pp} = E ^ {\text{pose}}(\hat{q}) \quad \in \mathbb{R} ^ {T \times 17 \times 3} \tag{18}
   $$

学习偏置：优化目标

• 使用含真实3D姿态的大规模数据集

$$
\mathcal{L} _ {3D} = \sum _ {t=1}^T \sum _ {j=1}^J ||\hat{S}^{3D} _ {t,j} - S^{3D}_{t,j}||_2^2 $$

• 防止过度依赖对称性假设，允许微小非对称性（如单侧发力）

$$ \mathcal{L} _ {noise} = \sum _ {t=1}^T ||\hat{N} _ t|| _ F $$

• 2D投影损失,利用2D姿态估计结果作为弱监督信号

$$ \mathcal{L} _ {2D} = \sum _ {t=1}^T \sum _ {j=1}^J ||\mathcal{P}(\hat{S} ^ {3D} _ {t,j}) - S ^ {2D} _ {t,j}|| _ 2^2 + \mathcal{L} _ {noise} \tag{20}
$$

• 空间损失：单帧去噪误差
  $$
  \mathcal{L} _ {\text{spat}} = \mathbb{E} _ {z _ 0, c, \epsilon, t, i\sim \mathcal{U}(1,T)} \left[ ||\epsilon - \epsilon_\theta(z _ {t,i}, t, \tau _ \theta(c))|| _ 2^2 \right]
  $$

• 时序损失：全局序列去噪误差

$$
\mathcal{L} _ {\text{temp}} = \mathbb{E} _ {z _ 0, c, \epsilon, t} \left[ ||\epsilon - \epsilon _ \theta( z _ t, t, \tau _ \theta(c))|| _ 2^2 \right]
$$

• 去偏时序损失：特征空间对齐误差（\(\phi\)为去偏算子[88]）

$$
\mathcal{L} _ {\text{ad-temp}} = \mathbb{E} _ {z _ 0, c, \epsilon, t} \left[ ||\phi(\epsilon) - \phi(\epsilon_\theta(z _ t, t, \tau_\theta(c)))|| _ 2^2 \right]
$$

其中\(\phi\)是一种去偏运算，参考MotionDirector。

训练

数据集

Base Model

Stable Diffusion v1.5
AnimateDiff

实验

结论：

1. 本文方向的生成质量和一致性都SOTA
2. 其它方向结合了本文的FinePhys模块，也能有提升

在2D pose驱动的视频生成任务上，Follow Your Pose使用Cross Attention注入，本文使用Adapter注入。这两种都是有效且常用的注入方式，作者没有对这方面的控制效果做对比。
本文的主要贡献在于可微的3D动作物理合理性优化，可用于端到端的动作驱动任务的优化过程中。但是端到端的测试结果物理合理性优化在最终的视频生成中起到的作用，因为基于大量数据预训练的视频生成基模型所生成的视频本身就比较符合物理了。如果能跟HPE类的工作做对比，可能可以比较好地说明本文工作的效果。
在复杂动作上生成效果效果优于其它工作，可能是因为它使用了特定的数据集finetune，而其它工作是用于更通用的场景，没有使用有针对性的数据集。
AnimateDiff不是一个pose驱动的模型，不知道是怎么参与对比的？

补充

全身人体运动学模型

欧拉公式可转换为：

$$
M(q)\ddot{q} = J(q, \dot{q}) - C(q, \dot{q}), \tag{3}
$$

其中\(\dot{q}\)和\(\ddot{q}\)分别表示关节速度与加速度。

使用网络模型预测出M、C、J，公式3的离散化实现：

$$
\ddot{q} _ t = \hat{M}^{-1}(q _ t) \cdot [\hat{J}(q _ t, \dot{q}_t) - \hat{C}(q _ t, \dot{q} _ t)]
$$

通过中心差分公式更新关节位置：

$$
q _ {t+1} = \ddot{q} _ t \Delta t^2 + 2q _ t - q _ {t-1}
$$

$$ \begin{align*} q_{t+1} & = q_t+v_t\cdot \Delta t\\ & = q_t+(v_{t-1}+a_t\cdot \Delta t)\cdot \Delta t\\ & = q_t+v_{t-1}\cdot \Delta t+a_t\cdot (\Delta t)^2\\ & = q_t+(q_t-q_{t-1})+a_t\cdot (\Delta t)^2\\ & = a_t\cdot (\Delta t)^2+2q_t-q_{t-1} \end{align*} $$

Reference

分段刚体的刚体动力学：https://caterpillarstudygroup.github.io/GAMES105_mdbook/Simulation.html

VideoSwap

Customized video subject swapping via point control

Problem Formulation

• Subject replacement: change video subject to a customized subject
• Background preservation: preserve the unedited background same as the source video

Gu et al., “VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence,” 2023.

✅ 要求，背景一致，动作一致，仅替换前景 content.
✅ 因比对原视频提取关键点，基于关键点进行控制。

P227

Motivation

• Existing methods are promising but still often motion not well aligned
• Need ensure precise correspondence of semantic points between the source and target

✅ (1) 人工标注每一帧的 semantic point．（少量标注，8帧）
✅ (2) 把 point map 作为 condition．

P228

Empirical Observations

• Question: Can we learn semantic point control for a specific source video subject using only a small number of source video frames
• Toy Experiment: Manually define and annotate a set of semantic points on 8 frame; use such point maps as condition for training a control net, i.e., T2I-Adapter.

✅ 实验证明，可以用 semantic point 作为 control．
✅ 结论：T2I 模型可以根据新的点的位置进行新的内容生成。

P229

Empirical Observations

• Observation 1: If we can drag the points, the trained T2I-Aapter can generate new contents based on such dragged new points (new condition) → feasible to use semantic points as condition to control and maintain the source motion trajectory.

✅ 也可以通过拉部分点改变车的形状。

P230

Empirical Observations

• Observation 2: Further, we can drag the semantic points to control the subject’s shape

✅ 虚线框为类似于 control net 的模块，能把 semanti point 抽出来并输入到 denoise 模块中。
✅ Latent Blend 能更好保留背景信息。
✅ 蓝色部分为 Motion layer.

P231

Framework

• Motion layer: use pretrained and fixed AnimateDiff to ensure essential temporal consistency

• ED-LoRA \(_{(Mix-of-Show)}\): learn the wconcept to be customized

• Key design aims:

  • Introduce semantic point correspondences to guide motion trajectory
  • Reduce human efforts of annotating points

Gu et al. “Mix-of-Show: Decentralized Low-Rank Adaptation for Multi-Concept Customization of Diffusion Models.” NeurIPS, 2023.

P232

Step 1: Semantic Point Extraction

• Reduce human efforts in annotating points
  • User define point at one keyframe
  • Propagate to other frames by point tracking/detector
• Embedding

✅ 什么是比较好的 Semantic point 的表达？

P233

Methodology – Step 1: Semantic Point Extraction on the source video

• Reduce human efforts in annotating points
• Embedding
  • Extract DIFT embedding (intermediate U-Net feature) for each semantic point
  • Aggregate over all frames

❓ Embedding, 怎么输人到网络中？
✅ 网络参数本身是 fix 的，增加一些小的 MLP, 把 Embeddin 转化为不同的 scales 的 condition map, 作为 U-Net 的 condition.

P234

Methodology – Step 2: Semantic Point Registration on the source video

• Introduce several learnable MLPs, corresponding to different scales
• Optimize the MLPs
  • Point Patch Loss: restrict diffusion loss to reconstruct local patch around the point
  • Semantic-Enhanced Schedule: only sample higher timestep (0.5T, T), which prevents overfitting to low-level details

✅ 有些场景下需要去除部分 semanfic point, 或移动 point 的位置。

P235

Methodology

• After Step1 (Semantic Point Extraction) and Step2 (Semantic Point Registration), those semantic points can be used to guide motion
• User-point interaction for various applications

✅ 在一帧上做的 semantic point 的移动，迁移到其它帧上。

P236

Methodology

• How to drag point for shape change?
  • Dragging at one frame is straightforward, propagating drag displacement over time is non-trivial, because of complex camera motion and subject motion in video.
  • Resort to canonical space (i.e., Layered Neural Atlas) to propagate displacement.

P237

Methodology

• How to drag point for shape change?
• Dragging at one frame is straightforward, propagating drag displacement over time is non-trivial because of complex camera motion and subject motion in video.
• Resort to canonical space (i.e., Layered Neural Atlas) to propagate displacement.

P238

P239

✅ point contrd 可以处理形变比较大的场景。

P240

Qualitative Comparisons to previous works

• VideoSwap can support shape change in the target swap results, leading to the correct identity of target concept.

P241

✅ 重建 3D 可以解决时间一致性问题。

DragAnything: Motion Control for Anything using Entity Representation

研究背景与问题

目的

基于轨迹的可控视频生成。

现有方法对比及局限性

传统方法（如DragNUWA）通过单点轨迹控制像素区域，存在以下问题：

1. 无法区分物体与背景，导致控制歧义。

在DragNUWA生成的视频中，拖动云朵的某个像素点并未导致云朵移动，反而引发了摄像头向上运动。这表明模型无法感知用户意图（控制云朵），说明单点轨迹无法表征实体。

2. 轨迹点表示范式下，靠近拖动点的像素受更大影响。

DragNUWA生成视频中，靠近拖动点的像素运动幅度更大，而用户期望的是物体整体按轨迹运动，而非局部像素变形。

本文核心贡献

1. 通过使用实体表示（entity representation）来实现可控视频生成中对任意物体的运动控制。
2. 实体表示是一种开放域嵌入，能够表示任何对象（包括背景），从而实现对多样化实体的运动控制。
3. 允许对多个对象进行同时且独立的运动控制。

主要方法

该架构包含两部分：

1. 实体语义表示提取：基于扩散模型的潜在特征，通过实体掩码的坐标索引提取对应特征，作为实体的语义表示。
2. DragAnything主框架：SVD

实体语义表示提取

二维高斯表示提取

目的：靠近实体中心的像素通常更为重要。希望实体表示更聚焦于中心区域，同时降低边缘像素的权重。

训练

基模型：Stable Video Diffusion（SVD）
优化器：AdamW
客观评估指标：

• 视频质量评估：FID、FVD
• 物体运动控制性能评估：通过预测轨迹与真实轨迹的欧氏距离（ObjMC）量化运动控制精度。

数据集：VIPSeg

实验

结论：SOTA

PhysAnimator: Physics-Guided Generative Cartoon Animation

研究背景与问题

从静态动漫插图中生成物理合理且具有动漫风格动画

现有方法局限性

传统工具：依赖分层输入（如分离的线稿与色彩层），无法处理复杂真实插图（如带噪纹理、细节密集的动漫图像）。

数据驱动模型：光流预测缺乏物理约束，导致运动伪影（如不自然的扭曲、断裂），且难以控制外力交互（如自定义风场）。

核心创新点：

• 物理模拟与生成模型融合：结合物理引擎的准确性（确保运动合理性）与生成模型的创造性（保持艺术风格），突破传统动画制作范式
• 图像空间变形技术：直接在提取的网格几何体上进行物理计算，避免复杂的三维重建过程
• 艺术控制增强机制：通过能量笔触和绑定点支持实现物理模拟与艺术表现的平衡

关键技术路线：

物理模拟层：

• 可变形体建模：将插图中的对象（如头发、衣物）抽象为可变形网格，通过连续介质力学方程（如弹性力学）计算形变。
• 外力交互：能量笔触（Energy Strokes）允许用户以绘画方式定义外力场（如风力方向与强度），增强艺术控制。

生成增强层：

• 光流引导草图生成：利用物理模拟输出的光流场扭曲初始草图，生成动态线稿序列，规避纹理干扰。
• 扩散模型上色：以参考插图为风格基准，通过条件扩散模型（如Stable Diffusion Video）为动态线稿添加色彩与细节，保持风格一致性。
• 数据驱动插值：针对物理模拟未覆盖的细节（如发丝末端颤动），使用基于学习的插值模型补充次要动态。

主要贡献

1. 基于物理模拟与数据驱动的视频生成
2. 图像空间可变形体模拟技术，将动漫对象建模为可变形网格
3. 草图引导的视频扩散模型将模拟动态渲染为高质量帧

主要方法

(1) 对象分割与网格生成

• 分割网络：采用 SAM 提取目标区域（如衣物、头发）的掩膜（Mask）和边界点。
• 网格化：通过 Delaunay 三角剖分生成二维可变形网格。

(2) 图像空间物理模拟

• 物理模型：利用Linear Finite Element Method计算力和能量。
• 动力学求解器：半隐式欧拉。
• 外力与约束：
  • 能量笔触：能量笔触携带流动粒子，粒子沿用户指定的笔触移动，将外力传播至可变形网格的邻近顶点，从而创建定制化动画效果
  • 绑定点：允许动画师固定特定区域或沿预设轨迹引导运动，提供更强的控制与灵活性
• 光流场计算：对于参考图像中的每个像素 \( \mathbf{X}_p \)，若其位于三角形 \( T_i \) 内，则位移向量为 \( \mathbf{d}(p) = \phi _ i(\mathbf{X} _ p, t) - \mathbf{X} _ p \)；否则位移向量为零。汇总所有像素的位移向量 \( \mathbf{d}(p) \) 即得光流场 \( F _ {0→t} \)。

(3) 草图引导视频生成

直接通过光流场扭曲参考图像 \( I_0 \) 生成视频序列，结果帧常因遮挡出现空洞伪影。因此本文使用以下方法：

• 动态草图生成：
  • 初始草图提取：使用边缘检测（如 Canny）或预训练草图生成器（如 Anime2Sketch [3]）提取Reference Image的草图。
  • 光流扭曲：使用光流对Reference Image的草图做扭曲，生成动态草图。
• 扩散模型上色：
  • 条件控制：以参考图 \( I_0 \) 为输入，动态草图 \( S_t \) 为控制信号
  • 模型架构：Stablevideo + ControlNet（草图分支）
  • 实验发现，由于分割误差，光流扭曲可能引入非预期失真或遗漏对象轮廓部分，生成不完美草图。因此在训练与推理时对输入草图施加高斯模糊，平滑不一致性。视频扩散模型通过其生成能力可优化结果，修复瑕疵并生成连贯输出。

(4) 数据驱动动态增强

• 插值模型：采用 FILM [4] 或 AnimeInterp [5] 生成中间帧细节运动
• 动态融合：
  • 主运动：物理模拟生成的光流场
  • 细节运动：插值模型输出的残差光流
  • 融合公式：\( F_{final} = F_{physics} + α \cdot F_{interp} \)（\( α \) 控制细节强度）

Complementary Dynamics

引入原因：
动画中的动态效果并不严格遵循物理定律，也无法完全通过二维动画方法捕捉。

本文方法：
用数据驱动模块增强基于物理的动画结果。即，

1. 从草图引导渲染结果中选择关键帧，形成关键帧序列 \( {I^r_0, I^r_n, I^r_{2n}, ..., I^r_{in}} \)，其中 \( n \) 表示关键帧间隔。
2. 随后采用卡通插值视频扩散模型[78]，在每对相邻关键帧 \( (I^r_{in}, I^r_{i(n+1)}) \) 间合成中间帧 \( {\hat{I} _ {in+1}, \hat{I} _ {in+2}, ..., \hat{I} _ {i(n+1)-1}} \) 。

优势： 可引入超越纯物理动画的表现性数据驱动互补动态。

实验

横向对比

1. 图生视频模型： Cinemo [51] and DynamiCrafter [79]
2. 『图+控制轨迹』生视频模型：

• MotionI2V：轨迹->光流->视频
• DragAnything：轨迹->2D高斯热图->视频

3. 本文：轨迹->2DMesh->光流->视频

解析：

1. Cinemo的FID非常好，因为它生成的视频几乎不会动
2. DragAnything的VSDD非常好，是因为它倾向于把控制轨迹理解为相机运动，生成运镜效果，因为提升了dynamics score。

这篇工作的结论存疑：
由于作者的测试文本局限于衣服飘动之类的prompt，所以这个对比不是很公平。
本文的时序一致性比较好可能是底座的能力，因为所对比的其它工作(MotionI2V)，其底座是T2I模型，而本文的底座是T2V模型。
DragAnything并非如作者所言『倾向于理解为相机运动』，DragAnything的创新点之一就是分离前景与背景的运动。

Reference

https://xpandora.github.io/PhysAnimator/

SOAP: Style-Omniscient Animatable Portraits

研究背景与问题

目的

从单张图像生成可动画化的3D虚拟形象

现有方法及局限性

1. 非3D扩散模型的单视角头部建模方法： 局限于特定风格（如超写实风格[Khakhulin等，2022]或特定卡通类型[Chen等，2023b]），且在处理眼镜或头饰等配饰时频繁遇到挑战。
2. 3D扩散模型方法：缺乏精细细节并易产生伪影；生成的3D输出通常是非结构化的表面模型或神经场，这些形式无法直接用于面部动画。

本文核心贡献

1. 全风格感知的图像到虚拟形象管线：能够从单一肖像图像中重建具有完整纹理、拓扑一致且骨骼绑定完善的网格化虚拟形象（包含眼球与牙齿），覆盖广泛艺术风格、发型变化及头饰类型。
2. 多视角扩散模型：基于大规模3D头部数据集（24K）训练的多视角扩散模型，可生成多种风格下人体头部模型的一致性多视角图像。
3. 基于可微分渲染的自适应形变技术：通过自适应网格重构与骨骼绑定，实现任意风格化虚拟形象向参数化头部模型的语义对齐注册，同时保持正确的语义对应关系。
4. 构建包含24K 3D虚拟形象的数据集，覆盖两种风格下的多样头部形状、发型、表情与身份特征。

大致方法是什么？

1. 多视角生成阶段**

BaseModel：Unique3D [Wu等，2024b] （1）多视图图像扩散模型\( D_r \)：以单张图像\( I \in \mathbb{R}^{256×256×3} \)为输入，输出6组正交RGB图像\( \hat{I} \in \mathbb{R}^{6×256×256×3} \)。
（2）法线扩散模型\( D_n \)：以这些图像\( \hat{I} \)为输入，生成对应的法线贴图\( N \in \mathbb{R}^{6×256×256×3} \)。
（3）单视角超分辨率模型将多视图的图像与法线贴图放大4倍，同时保持多视图一致性。

2. 参数化形变优化

定义符号

定义参数集\( \kappa = (\beta, \theta, \psi) \)，完整参数化模型\( \Omega = (T, F, W, J, B) \)。

初始化

使用Emoca方法初始化FLAME参数\( F(\bar{\Omega}, \kappa_I) \)和相机参数\(\pi\)

优化策略

传统方法[Daněček等，2022；Khakhulin等，2022]通过调节\( \kappa \)和添加顶点偏移量建模多样性，但受限于：

• 参数\( \kappa \)的表征能力有限
• 模板拓扑固定导致几何过度平滑
• 无法处理复杂发型与细粒度细节

为此，SOAP提出迭代优化框架（图2b），包含以下核心步骤：

1. 语义模板形变：\( T \rightarrow T' \)（顶点数量不变）
2. 重网格化与骨骼插值：\( \Omega \rightarrow \Omega' \)
3. 迭代循环：重复步骤1-2直至收敛

SOAP创新性地引入个性化Ω优化：

• 模板拓扑可塑性：在发型/配饰区域允许三角形网格动态细分（通过Edge Split/Collapse操作）
• 混合形状基扩展：在保持原始\( B_s, B_e, B_p \)基础上，新增个性化混合形状基\( B_{custom} \)，通过PCA降维控制细节形变

Template Deformation 语义模板形变

这里的deformation不是由骨骼驱动导致的形变，而是由顶点位移导致的形变。

输入：

• 多视角法线贴图\( N \)
• 初始FLAME网格\( F(\bar{\Omega}, \kappa_I) \)
• 相机参数\( \pi \)
• 从输入图像\( I \)检测的68个面部关键点\( L \in \mathbb{R}^{68×2} \) [Bulat & Tzimiropoulos, 2017]
• 通过[Dinu, 2022]获得的头部语义分割图\( P \in \mathbb{R}^{3×h×w×3} \)

优化目标：

• 模板顶点\( T \)：

损失函数：

$$ \mathcal{L} = \lambda _ {rec} \mathcal{L} _ {rec} + \lambda _ {sema} \mathcal {L} _ {sema} + \lambda _ {lmk} \mathcal{L}_ {lmk} $$

• 重建损失 \( \mathcal{L}_{rec} \)：对齐几何与法线贴图
• 语义损失 \( \mathcal{L}_{sema} \)：约束头发/面部/颈部形变的语义一致性
• 关键点损失 \( \mathcal{L}_{lmk} \)：保持眼部/鼻部/唇部等结构的对称性

Tepology Correction 重网格化与骨骼插值

对形变过程或者产生的问题做一些修复：

• 大三角形面片（边长超过阈值𝜖）--- 细分
• 面法线翻转 --- 修正翻转面
• 扭曲面片 --- 删除

顶点的增加或删除，需要同步更新一些参数矩阵：

• 蒙皮权重 \( W \in \mathbb{R}^{N×|J|}\)：新增顶点的权重由其邻接边顶点插值获得
• 混合形状基 \( B \in \mathbb{R}^{500×|J|}\)：通过重心坐标插值传递形变参数
• 关节映射矩阵 \( J \in \mathbb{R}^{|J|×N}\)：基于变形后模板逆向计算，确保规范空间关节位置不变

3. 精细化组件与纹理生成

• 眼球与牙齿模型适配：分离刚性部件并优化空间位姿
• UV纹理合成：通过多视角RGB图像进行纹理烘焙与超分辨率修复（Sec.5.3）

训练

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

数据集

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

loss

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

训练策略

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

实验与结论

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

局限性

.
.
.

Loss

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

有效

.
.
.
.
.
.
.
.
.
.
.
.

局限性

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

启发

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

遗留问题

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

参考材料

Neural Discrete Representation Learning

VQ-VAE

一、研究背景与动机

1. 无监督表示学习的挑战
   传统生成模型（如VAE）在图像、语音等任务中常使用连续的潜在变量，但离散表示更符合语言、语音等模态的本质特性。此外，连续潜在变量在结合强解码器时易出现“后验坍塌”（Posterior Collapse），即潜在变量被解码器忽略的问题。
2. 离散表示的优势
   离散表示更适合复杂推理和规划任务（如逻辑推理、序列生成），且在语音、图像等高维数据中能捕捉高层语义特征（如音素、物体类别）。

二、模型核心创新：VQ-VAE

1. 模型结构

• 编码器：输入数据（如图像）通过编码器生成连续特征向量 \( z_e(x) \)。
• 向量量化（VQ）：将 \( z_e(x) \) 与**可学习的码本（Codebook）**中的离散向量 \( e \in \mathbb{R}^{K \times D} \) 进行最近邻匹配，得到离散索引 \( z_q(x) \)。
• 解码器：将离散向量 \( z_q(x) \) 解码为重构数据。
• 关键操作：
  量化过程通过不可导的 argmin 完成，但通过梯度直通估计器（Straight-Through Estimator）将解码器梯度直接复制到编码器，实现反向传播。

2. 损失函数

总损失包含三部分：

• 重构损失：最小化输入与解码输出的差距（如L2 Loss）。
• 码本损失：更新码本向量，使其逼近编码器输出（\( ||sg[z_e(x)] - e||^2_2 \)）。
• 承诺损失：约束编码器输出靠近码本向量（\( \beta ||z_e(x) - sg[e]||^2_2 \)，通常 \( \beta = 0.25 \)）。
• KL散度的缺失：假设先验分布为均匀分布，KL散度退化为常数，故未显式优化。

三、关键技术与优势

1. 避免后验坍塌
   离散化强制编码器生成与码本对齐的表示，防止解码器忽略潜在变量。
2. 灵活的生成过程
   训练完成后，通过自回归模型（如PixelCNN、WaveNet）建模离散索引的先验分布，生成新样本。例如：
   • 图像生成：使用PixelCNN建模二维离散索引矩阵。
   • 语音转换：将语音内容与说话人特征解耦，实现跨说话人生成。
3. 多模态应用
   在图像、语音、视频任务中均表现优异，例如：
   • 图像：生成128×128分辨率图像，保留全局结构。
   • 语音：无监督学习音素级表示，分类准确率达49.3%（随机基线7.2%）。

四、实验与效果

1. 图像生成
   • 在CIFAR-10和ImageNet上，VQ-VAE的重建质量接近连续VAE，且潜在空间更易被自回归模型建模。
   • 生成样本虽稍模糊，但能保留语义信息（如物体形状）。
2. 语音与视频
   • 语音生成：实现高质量说话人转换，内容与音色解耦。
   • 视频生成：基于动作序列生成连贯帧，避免质量退化。

五、贡献与意义

1. 理论贡献
   首个在复杂数据集（如ImageNet）上表现媲美连续VAE的离散潜变量模型，解决了后验坍塌和训练不稳定的问题。
2. 应用价值
   启发了后续工作（如VQGAN、Stable Diffusion），成为多模态生成任务的基础框架。
3. 无监督表示学习
   证明离散表示能捕捉高层语义（如音素、物体类别），为无监督学习提供新思路。

六、未来方向

1. 联合训练先验模型：将VQ-VAE与自回归先验联合优化，提升生成质量。
2. 改进损失函数：引入感知损失或对抗损失，增强重建细节。
3. 跨领域扩展：探索离散表示在强化学习、机器人规划等任务中的应用。

TSTMotion: Training-free Scene-aware Text-to-motion Generation

研究背景与问题

• 文本到动作生成（Text-to-Motion）
  现有技术多基于空白背景生成人体动作序列，但现实场景中人类需与3D环境中的物体交互（如“坐在远离电视的沙发上”）。传统方法无法满足场景感知需求，导致生成动作与场景逻辑冲突。

• 现有方法局限性

  1. 数据依赖性强：现有数据集（如HUMANISE）规模小、场景单一（仅室内）、动作有限（行走、坐、躺、站）；
  2. 算法复杂度高：基于强化学习（RL）的方法需要细粒度标注且面临RL训练难题；
  3. 输入低效性：直接输入无序点云数据效率低下。

核心创新：TSTMotion框架

目标：无需训练专用场景感知模型，直接利用现有“空白背景生成器”（如Motion Diffusion Models）实现场景感知的文本驱动动作生成。

基于基础模型的三组件设计：

场景编译器（Scene Compiler）

功能：将3D场景转换为结构化表示（如语义地图），提取物体位置、空间关系等上下文信息，解决点云输入的低效问题。

1. 识别（Recognition）

• 输入：原始3D场景点云 \( S_{3D} \)。
• 操作：
  • 多视角渲染：从不同角度渲染点云，生成 \( M \) 张2D图像（覆盖俯视、侧视等视角），解决点云单视角遮挡问题。

通过多角度渲染解决点云遮挡问题，提升物体识别完整性与鲁棒性。

• 物体识别：使用预训练的图像标签模型（如CLIP或ResNet）识别每张图像中的物体类别（如“沙发”“电视”），合并所有视角结果生成统一物体词汇表（避免重复）。
• 输出：场景中所有物体的类别列表（如 {沙发, 电视, 茶几}）。

2. 分割（Segmentation）

• 输入：物体词汇表 + 原始点云 \( S_{3D} \)。
• 操作：
  • 语义分割：基于词汇表，使用3D分割器（如PointNet++或3D-SparseConv）将点云中每个点分类到对应物体（如标记属于“沙发”的点）。
  • 实例分割：区分同一类别的不同物体实例（如两个独立的“椅子”）。
• 输出：带语义标签的点云，每个点标记所属物体类别及实例ID。

3. 目标定位（Locating Target）

• 输入：分割后的点云 + 文本指令（如“坐在远离电视的沙发上”）。
• 操作：
  • 边界框简化：将每个物体实例的点云包裹为轴对齐包围盒（AABB），记录其中心坐标、长宽高。
  • LLM语义解析：
    • 将文本指令输入大语言模型（如GPT-4），解析出目标物体（“沙发”）和约束条件（“远离电视”）。
    • 结合包围盒空间坐标，定位目标物体（如筛选出距离电视最远的沙发实例）。
• 输出：目标物体的包围盒坐标及空间约束关系（如“沙发A中心坐标(x,y,z)，与电视B距离>2米”）。

用包围盒代替原始点云，显著降低后续计算复杂度（从数万点→数十个包围盒）。

4. 路网图生成（Road Map）

• 输入：所有物体的包围盒 + 目标物体位置。
• 操作：
  • 投影到XOY平面：将3D包围盒投影至水平地面（XOY平面），生成2D矩形区域。
  • 标记可通行区域：
    • 障碍物：非目标物体的投影区域（如电视、茶几的投影区标记为障碍）。
    • 目标区域：目标物体（沙发）的投影区标记为终点。
  • 路径规划基底：输出栅格化路网图，标识可行走区域与障碍物（见下图示意）。
• 输出：二值化路网图（0=障碍，1=可通行）。

5. 高度图生成（Height Map）

• 输入：目标物体的点云（如沙发点云）。
• 操作：
  • 投影到XOY平面：将目标点云垂直投影至地面，保留每个点的Z轴高度值。
  • 栅格化处理：将投影区域划分为网格，每个网格单元记录最大高度（表征物体形状起伏）。
  • 形状编码：生成灰度图像，亮度表示高度（如高亮区域=沙发坐面，暗区=扶手）。
• 输出：目标物体的高度分布图（用于接触点预测与动作可行性判断）。

路网图和高度图要求场景中的所有东西都是在地上。不能在空中。
路网图专注宏观路径规划（避开障碍）；
高度图专注微观动作适配（如坐面高度决定弯曲关节角度）。

动作规划器（Motion Planner）

功能：将文本指令与场景编译器输出的空间辅助信息（路网图Road Map + 高度图Height Map）结合，生成初步动作指导（如轨迹、接触点）。

1. 骨架序列表示

• 定义：骨架序列 \( s \in \mathbb{R}^{N \times J \times 3} \)，其中：
  • \( N \)：动作帧数（如30帧对应1秒动作）
  • \( J \)：人体关节数（如SMPL模型的24关节）
  • 3：关节在3D空间中的坐标（x, y, z）
• 稀疏掩码：引入二进制掩码 \( M_{\text{mask}} \in {0,1}^{N \times J} \)，仅标记与场景交互相关的关键关节（如“坐”动作需关注髋关节、膝关节）。

2. 基于LLM的分步推理

• 输入：
  • 文本指令 \( d \)（如“坐在远离电视的沙发上”）
  • 场景编译器输出的路网图（可行走区域） + 高度图（目标物体形状）
• 提示工程：通过设计结构化提示模板（Prompt Template），将任务分解为子问题，引导LLM逐步推理：

  prompt = """
  你是一个动作规划专家，请根据以下信息生成人体动作骨架序列：
  1. 场景路网图：{road_map_description}  
  2. 目标高度图：{height_map_description}  
  3. 文本指令：“{text_instruction}”  
  请按步骤思考：
  Step 1: 确定动作类型（如行走、坐下）及目标物体接触区域。
  Step 2: 根据路网图规划从起点到目标的移动路径（坐标序列）。
  Step 3: 结合高度图预测接触点（如沙发坐面中心坐标）。
  Step 4: 生成关键关节（髋、膝、踝）的3D轨迹，避免与场景碰撞。
  """
  

Step1：LLM解析文本指令，提取动作类型（如“坐”）和场景约束（如“远离电视”）。
Step2：宏观路径：基于路网图，使用LLM内置的空间推理能力生成从起点到目标物体的移动路径（如绕过障碍物的折线坐标序列）。
Step3：高度图分析：LLM根据目标高度图（如沙发坐面高度≈0.5m）预测接触点坐标（如髋关节目标位置(x, y, 0.5)）。
Step4：关键关节轨迹：LLM生成指定关节（由掩码 \( M_{\text{mask}} \) 标记）的3D轨迹。

• 输出：稀疏骨架序列 \( s[M_{\text{mask}}] \)（如仅包含髋、膝、踝关节的轨迹）。
• 示例

1. 输入：
   • 路网图：标记沙发位置为终点，电视区域为障碍。
   • 高度图：沙发坐面高度=0.5m，靠背高度=0.9m。
2. LLM推理：
   • Step 1: 动作类型=“坐”，接触区域=沙发坐面中心。
   • Step 2: 路径=从起点直线移动至沙发（无障碍需绕行）。
   • Step 3: 接触点坐标=(2.0, 3.0, 0.5)。
   • Step 4: 生成髋关节轨迹（从(2.0, 1.0, 1.0)降至(2.0, 3.0, 0.5)），膝关节弯曲角度随时间增加。
3. 输出骨架序列：
   • 帧1-10：髋关节从站立高度降至坐面高度，膝关节逐渐弯曲。
   • 帧11-30：保持坐姿稳定，无垂直移动。

对齐的扩散动作模型（Aligned Motion Diffusion Model）

功能：在不重新训练模型的前提下，将动作规划器生成的指导嵌入到预训练的空白背景动作扩散模型（如Motion Diffusion Model）中，生成符合场景约束的动作序列。突破传统扩散模型对场景信息的“盲生成”，实现开放域场景的动态适配。

1. 对齐动作指导（Modification 1）：符合Motion Planner生成的骨架序列 \( s[M_{\text{mask}} \)；

在推断时，先用FK计算出关节的位置，计算预测位置与期望位置之间的损失， 通过反向传播计算梯度，调整模型预测\( \hat{x}_0^k \)：

$$ \hat{x} _ 0^k \leftarrow \hat{x} _ 0^k - \lambda \cdot \nabla _ {x_k} L_ {\text{align}} $$

方法类似于OmniControl的方法

2. 避免场景穿透（Modification 2）：减少与3D场景的几何重叠。

使用符号距离函数 \( \text{SDF}(p, P) \) 计算人体网格点 \( p \) 到场景 \( P \) 的最小距离，以及在P内部还是外部。
定义损失函数 \( L_{\text{scene}} \)，仅惩罚穿透点（SDF负值部分）： $$ L_{\text{scene}} = \sum_{p \in \text{SMPL}(\hat{x}_0^k)} \text{ReLU}(-\text{SDF}(p, P)) $$ 通过梯度更新减少穿透，修正方法与上面相同。

技术挑战与解决方案

• 梯度冲突：若两个修改的梯度方向相反，可能导致震荡。
  解决方案：采用交替更新策略（先对齐动作，再消除穿透），或动态调整 \( \lambda, \eta \)。
• 计算效率：SDF实时查询可能增加耗时。
  解决方案：预计算场景的SDF网格，或使用近似加速结构（如KD-Tree）。
• 过修正风险：过度调整可能破坏动作自然性。
  解决方案：限制梯度步长 \( \lambda, \eta \)，或加入动作流畅性约束。

动作检查器（Motion Checker）

功能：通过物理合理性验证（如碰撞检测、动作可行性）优化动作指导，确保生成动作与场景动力学一致。

1. 迭代优化流程

1. 首次生成：Motion Planner → Aligned MDM → Motion Checker。
2. 验证失败：
   • 将失败原因反馈至Motion Planner，调整动作指导（如重新规划路径或接触点）。
   • 重新执行生成与验证，通常仅需1次迭代即可通过。
3. 终止条件：验证通过或达到最大迭代次数（如3次）。

2. 自动化摘要

将骨架序列 \( s \) 和SMPL网格转换为自然语言描述，包括：

• 关键关节轨迹（如髋关节移动路径）；
• 接触点坐标与目标物体位置对比；
• 穿透检测结果（如“左膝穿透沙发深度0.1m”）。

3. LLM驱动的验证机制

• 输入：
  • 生成的动作序列描述（如骨架序列可视化报告）；
  • 原始文本指令与场景编译器输出的语义地图。
• 提示模板设计：

  prompt = """
  你是一个动作质检专家，请验证以下动作是否符合要求：
  1. 文本指令：“{text_instruction}”
  2. 场景约束：{scene_constraints}（如“沙发位置”“障碍物区域”）
  3. 生成动作报告：{motion_report}（包含骨架轨迹、接触点、网格穿透检测结果）
  
  请按步骤检查：
  Step 1: 动作类型是否与指令一致？（如“坐” vs “蹲”）
  Step 2: 移动路径是否避开所有障碍物？
  Step 3: 接触点是否位于目标物体表面？
  Step 4: 人体网格是否与场景发生穿透？
  若任一步骤不通过，返回失败原因。
  """
  

• 输出：验证结果（通过/不通过） + 失败原因（如“髋关节轨迹偏离沙发坐面”）。

4. 失败案例处理

• 路径偏离：反馈至Motion Planner重新规划路径（如增大绕障距离）。
• 语义不符：修正LLM解析逻辑（如明确“坐”与“蹲”的关节角度阈值）。
• 场景穿透：增强Modification 2的梯度惩罚强度 \( \eta \)。

关键技术突破

1. 无需训练的零样本生成

   • 利用预训练基础模型（如CLIP、扩散模型）的泛化能力，避免对场景感知数据集的依赖。
   • 通过“提示工程”将场景信息隐式编码至生成过程，而非显式训练。

2. 场景-动作联合建模

   • 将文本指令拆解为“动作语义”和“场景约束”两部分，分别由动作规划器和场景编译器处理。
   • 示例：指令“坐在远离电视的沙发上” → 动作语义“坐” + 场景约束“沙发位置”+“与电视的距离”。

3. 动态物理可行性验证

   • 动作检查器引入轻量级物理仿真（如刚体动力学），快速验证动作合理性。
   • 若规划动作导致碰撞或失衡，迭代调整接触点或运动轨迹。

实验与效果

实验1

测试数据集：

1. HUMANISE数据集：专注于室内场景的文本-动作-场景交互数据，包含有限动作（行走、坐、躺、站）。
   对比：
2. 本文方法
3. DIMOS 结论： 关键结论：
4. DIMOS*（DIMOS + Scene Compiler）的Body-to-Goal Distance显著低于原始DIMOS，证明Scene Compiler的物体定位能力有效。
5. TSTMotion进一步优化路径规划与接触点预测，距离最低，体现Motion Planner与Aligned MDM的协同优势。
6. TSTMotion在语义对齐（如动作类型匹配）和碰撞避免上均优于基线，验证Motion Checker迭代优化的有效性。

实验2

测试数据集：

1. AffordMotion数据集：包含多样化室内外场景与复杂动作（如跑步、跳跃、抓取），强调动作-场景的物理交互合理性。
   对比：
2. 本文方法
3. AffordMotion 结论：
4. R-Precision：文本与生成动作的匹配度，TSTMotion更高，体现Motion Planner对复杂指令的精准解析。
5. MultiModal Distance：生成动作多样性偏差，值越低说明多样性越好且符合文本，反映零样本生成避免过拟合的优势。
6. Contact Score：动作与目标物体的有效接触率，TSTMotion通过高度图引导接触点预测显著提升。
7. Non-Collision Score：无场景穿透的比例，得益于Modification 2的SDF梯度修正。
8. 无需场景特定数据训练，适配室内外环境；

应用价值

1. 游戏与影视制作
   • 快速生成符合场景逻辑的角色动画（如NPC自动避障、与道具交互），降低人工制作成本。
2. 具身智能（Embodied AI）
   • 为机器人提供基于自然语言指令的场景适配行为规划（如“绕过桌子取水杯”）。
3. 元宇宙与虚拟人
   • 增强虚拟角色在开放环境中的自主交互能力，提升用户体验沉浸感。

未来挑战

1. 长时序动作连贯性
   当前方法对多步骤复杂指令（如“走到沙发旁，坐下后拿起书”）的时序一致性仍需优化。
2. 多智能体交互
   需扩展至多人协作或对抗场景（如“两人搬箱子”）。
3. 实时性提升
   物理验证模块的计算效率需进一步优化以满足实时生成需求。

总结

TSTMotion通过无训练框架设计和场景-动作联合建模，解决了传统文本到动作生成的场景割裂问题，为开放域动态交互任务提供了高效、低成本的解决方案。其核心思想“利用基础模型知识代替专用训练”或成为未来跨模态生成任务的重要范式。

相似工作对比

LLM based human motion生成任务对比

1. 本文，2025.5
2. OmniControl，2024，link

Deterministic-to-Stochastic Diverse Latent Feature Mapping

核心问题是什么?

目的

人体运动合成的目标在于生成逼真的人体运动序列。

现有方法及局限性

score-based生成模型(SGMs)及difusion生成模型。

优势：在人体运动合成任务中展现出了令人瞩目的成果。
局限性：这类模型的训练过程涉及复杂的曲率轨迹，导致训练稳定性面临挑战。

本文方法

确定性-随机双阶段潜在特征映射(DSDFM)方法:

第一阶段通

目标：通过人体运动运动重建(VQVAE with transformer network)，学习运动数据的潜在空间分布。

作者用transfomer重训练了一个transformer based VQVAE，而不是经典的CNN based VQVAE。

第二阶段

目标：使用确定性特征映射过程(DerODE)构建高斯分布与运动潜在空间分布之间的映射关系。（方法类似flow matching）

推断

生成时通过通过向确定性特征映射过程的梯度场中注入可控噪声(DivSDE)实现多样性。(方法类似score matching)

效果

有效提升生成运动的多样性和准确性。

核心贡献是什么？

1. 提出了一种新的生成范式：确定性-随机双阶段潜在特征映射(DSDFM)方法。
2. 在人体运动生成任务上证明其有效性。

实验与结论

实验一：人体运动合成的横向对比

实验二：仅将本文方法中的第二阶段替换为其它SDE方法的效果对比

同类方法对比

VQVAE based text-2-motion方法对比

1. 本文，2025.5
2. MotionGPT，2023.6，link
3. T2m-gpt，2023a，link

相同点：

1. T帧编码成一个lantent code

不同点：

局限性

.
.
.

Loss

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

有效

.
.
.
.
.
.
.
.
.
.
.
.

局限性

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

启发

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

遗留问题

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

参考材料

A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild

这是2020年发表于ACM国际多媒体会议的一篇论文，提出了Wav2Lip模型，旨在解决无约束视频中语音与唇形同步生成的问题。该模型通过引入预训练的唇形同步专家鉴别器和多阶段训练策略，显著提升了动态视频中唇形与语音的同步精度，成为该领域的代表性工作。以下从核心贡献、方法创新、实验结果及局限性等方面进行解读：

一、核心贡献与创新点

1. 提出Wav2Lip模型
   该模型首次实现了对任意身份、语音和语言的视频进行高精度唇形同步生成。其核心在于通过预训练的唇形同步鉴别器（SyncNet改进版）提供强监督信号，迫使生成器学习准确的唇形动作。与之前基于GAN的方法（如LipGAN）相比，Wav2Lip的同步准确率从56%提升至91%。

2. 改进唇形同步鉴别器（SyncNet）

   • 输入改进：从灰度图像改为彩色图像，保留更多细节；
   • 结构优化：引入残差连接以增加模型深度；
   • 损失函数调整：使用余弦相似度和二元交叉熵损失替代原SyncNet的L2距离损失，提升同步判断精度。

3. 引入新的评估框架与数据集
   论文提出了ReSyncED数据集和新的评估指标（如Lip-Sync Error-Distance和Confidence），为无约束视频的唇形同步性能提供了标准化测试基准。

二、方法解析

1. 生成器架构
   生成器基于编码-解码结构，包含三个模块：

   • 身份编码器：编码参考帧和姿态先验（下半脸遮罩）；
   • 语音编码器：提取语音特征；
   • 面部解码器：融合特征生成唇形同步帧。
     生成器通过L1重建损失、同步损失（由预训练鉴别器提供）和对抗损失联合优化，确保同步性与视觉质量的平衡。

2. 双鉴别器机制

   • 唇形同步鉴别器：冻结权重，仅用于监督生成器的同步损失，避免GAN训练中的模式崩溃问题；
   • 视觉质量鉴别器：通过对抗训练提升生成图像的清晰度，减少模糊和伪影。

3. 时间一致性处理
   生成器独立处理每帧图像，但通过堆叠连续5帧输入，确保时间窗口内的唇形连贯性。

三、实验结果与优势

1. 性能对比
   Wav2Lip在多个数据集（如LRS2、ReSyncED）上的唇形同步误差（Lip-Sync Error-Distance）接近真实视频，人类评估显示其生成的视频在90%以上的案例中优于现有方法。

2. 应用场景
   模型支持多语言音频驱动，适用于视频翻译、影视配音、虚拟数字人等场景，且推理速度较快。

3. 优势总结

   • 高泛化性：无需特定人物数据，可处理任意身份的视频；
   • 实时性：生成速度满足实际应用需求。

四、局限性及改进方向

1. 生成质量不足
   中文语音驱动时牙齿细节还原较差，可能与训练数据（如LRS2数据集）的清晰度限制有关。

2. 侧脸与快速运动问题
   侧脸视频的上下半脸衔接易出现瑕疵，因训练时下半脸被完全遮罩，缺乏上下文信息。

3. 改进方向

   • 使用超分辨率模型预处理训练数据；
   • 精细化遮罩设计（基于人脸关键点检测）；
   • 提升输入分辨率以增强细节。

五、总结

Wav2Lip通过预训练唇形同步鉴别器和多损失联合优化策略，解决了动态视频中语音驱动的唇形同步难题，成为该领域的基准模型。其开源代码和预训练模型推动了后续研究与应用发展，但在生成质量与复杂场景适应性上仍需进一步优化。

MuseTalk: Real-Time High Quality Lip Synchronization with Latent Space Inpainting

这篇论文是由腾讯与香港中文大学联合研发的实时高质量唇形同步技术，旨在解决人脸视觉配音中的高分辨率、身份一致性与唇形同步精度问题，尤其在实时场景（如直播）中表现突出。以下从技术方法、创新点、性能表现及应用场景等方面对该论文进行综合分析：

1. 研究背景与挑战

传统语音驱动唇形生成方法通常面临三大矛盾：

• 分辨率与实时性矛盾：高分辨率生成需复杂计算，难以满足实时需求；
• 身份一致性维护：动态唇形调整可能破坏面部其他区域的稳定性；
• 多语言适配：不同语言的发音口型差异需灵活建模。

现有方法如特定人物生成或一次性生成模型，虽在特定场景有效，但泛化性和实时性不足。MuseTalk通过潜在空间修复技术，在平衡上述矛盾上取得突破。

Framework

(a) 潜在空间建模

• 采用预训练VQ-VAE编码器将图像从像素空间映射到潜在空间，避免像素级损失（如L1/L2）导致的模糊问题。

[?]编码器换成了VQ-VAE，怎样复用LDM的预训练参数?

• 潜在空间操作：仅对目标图像的下半部（遮挡区域）和参考身份图像进行编码，保留其他面部特征不变。

(b) 音频特征提取

• 使用Whisper预训练模型提取音频特征：
  • 输入为16kHz采样音频，生成80通道Mel频谱图\(（A_t^d \in \mathbb{R}^{T \times 80}）\)。
  • 输出为时序音频特征\(（a^{T \times d}）\)，通过调整时间窗口\(T\)捕捉语音动态。

(c) 多模态对齐与融合

• U-Net结构：利用其多尺度特征融合能力，建模条件分布\(p(\hat{v}|a)\)，实现音频-视觉跨模态对齐。
• 特征拼接：将遮挡图像特征\(（v^{w \times h \times c}_ m）\)与参考身份图像特征\(（v^{w \times h \times c}_{ref}）\)沿通道维度拼接\(（v^{w \times h \times 2c}）\)，增强上下文信息。

2. 技术方法与创新

选择性信息采样（Selective Information Sampling, SIS）

本文会从输入视频中选择一帧作为参考图像。传统方法随机选取参考图像，可能导致冗余信息（如重复唇形或无关姿态）干扰模型训练，影响生成结果的细节清晰度与身份一致性。

但本文使用两种筛选策略并取交集来选择参考图像：

(a) 头部姿态对齐筛选（Pose-Aligned Set \(E_{\text{pose}}\)）

• 计算方式：基于面部关键点（尤其是下巴区域），计算每帧之间的欧氏距离（Euclidean distance），衡量头部姿态相似性。
• 筛选策略：选取与目标帧头部姿态最接近的 Top-K 帧，构成姿态对齐图像集 \(E_{\text{pose}}\)。

(b) 唇形差异筛选（Lip Dissimilarity Set \(E_{\text{mouth}}\)）

• 计算方式：基于内唇关键点的欧氏差异，衡量不同帧的唇形运动幅度。
• 筛选策略：选取与目标帧唇形差异最大的 Top-K 帧，构成唇形差异性图像集 \(E_{\text{mouth}}\)。

自适应音频调制（Adaptive Audio Modulation, AAM）

[?] 这一部分到底做了什么？

训练细节

训练方法

• 绕过扩散过程：直接输出融合特征结果，避免扩散模型的不确定性，提升生成效率与一致性。
• 双图像输入策略：
  • 遮挡目标图像（仅下半部）：聚焦唇形区域，减少冗余计算。
  • 参考身份图像：保持面部其他区域（如眼睛、肤色）的静态特征，确保身份一致性。
• 端到端生成：融合后的特征（\(\hat{v}^{w \times h \times c}_t\)）通过预训练VAE解码器直接生成最终视频帧，实现实时高质量输出。

损失函数

关键说明

1. 损失函数协同作用：
   • 重建损失与感知损失互补：前者保证全局结构，后者增强细节（如纹理、光照）。
   • GAN损失引入对抗机制，提升生成真实感；唇同步损失通过SyncNet约束音频-视觉对齐。
2. 权重设计：
   • 唇同步损失权重（\(\phi=0.03\)）较高，强调同步性优先；感知与GAN损失权重较低，避免过拟合细节。

实际客观指标上，这个方法的质量评价较好而对齐性较差。

3. SyncNet改进：
   • 使用重新训练的SyncNet（参考Prajwal et al., 2020b），优化多帧输入（N对音频-图像）的同步性评估。

3. 性能表现

• 生成质量：在256×256像素的面部区域中，唇形同步误差显著低于现有方法（如Wav2Lip），且画面一致性评分提升约20%；

• 实时性：在Tesla V100上推理速度达30 FPS以上，适用于直播等高实时性场景；
• 硬件适配：支持云端部署（如Google Colab）与本地高性能显卡，用户可通过调整面部中心点参数优化生成效果。

4. 应用场景

MuseTalk的灵活性使其在多个领域具有广泛潜力：

1. 影视与游戏：用于角色口型修正、多语言配音同步，提升作品真实感；
2. 虚拟人交互：结合腾讯的MuseV等视频生成模型，打造全流程虚拟人内容生产工具；
3. 教育与社交：辅助语言教学中的发音口型演示，或为静态图像生成动态口型以增强互动性。

5. 局限与未来方向

• 硬件依赖：高质量生成需高性能GPU，对普通用户存在门槛（但可通过云端Colab缓解）；
• 动态面部细节：极端表情或遮挡场景下的唇形修复仍有提升空间；
• 扩展性：未来或引入更细粒度的情感驱动口型控制，增强表现力。

总结

MuseTalk通过潜在空间修复技术，在实时性与生成质量间取得平衡，为多模态内容生成提供了新范式。其开源代码与用户友好界面（如参数调节、多语言支持）进一步推动技术落地，成为影视、游戏、教育等领域的重要工具。未来研究可探索更复杂场景下的鲁棒性优化，以及与其他模态生成模型（如语音合成）的深度融合。

LatentSync: Audio Conditioned Latent Diffusion Models for Lip Sync

这是一篇聚焦于唇形同步（Lip Sync）任务的创新性论文，旨在通过音频驱动的潜在扩散模型生成高质量且时间一致的唇部动作视频。以下是论文的核心内容解读：

1. 研究背景与问题

唇形同步技术需要根据输入的音频生成对应的唇部动作，同时保持头部姿态和人物身份的一致性。传统方法如基于GAN的模型（如Wav2Lip）存在生成质量低、时间一致性差的问题，而基于扩散模型的方法（如DiffTalk）虽然生成质量高，但受限于像素空间扩散的计算成本或两阶段生成导致的语义信息丢失。此外，现有方法在时间连贯性（帧间动作的流畅性）和SyncNet监督模型的收敛性上也存在不足。

2. 核心创新

(1) LatentSync框架

端到端潜在扩散模型：

直接利用Stable Diffusion的生成能力，在潜在空间而非像素空间中生成视频帧，避免了传统两阶段方法（如先生成运动表示再合成图像）的语义损失和计算瓶颈。

音频条件输入：

通过预训练的音频特征提取模型Whisper模型从梅尔频谱图中提取音频嵌入（audio embeddings），并通过交叉注意力机制与U-Net结合，实现音频到唇部动作的直接映射。
由于唇部运动可能受相邻多帧音频的影响，且更广范围的音频输入可为模型提供更丰富的时序信息，因此，针对每一生成帧，我们将其周围若干帧的音频组合作为输入。对于第\( f \)帧，其输入音频特征\( A(f) \)定义为：

\(A(f) = \left[ a(f - m), \ldots, a(f), \ldots, a(f + m) \right],\)

其中\( m \)为单侧相邻音频特征的数量。为了将音频嵌入整合至U-Net [42]中，我们直接利用其原生交叉注意力层（cross-attention layer）实现特征融合。

输入结构：

结合噪声潜在变量、掩码图像和参考图像（共13个通道输入），支持动态生成与遮挡处理。

SyncNet Loss

预测噪声 -> 预测图像

LatentSync模型在噪声空间（noise space）中进行预测，而SyncNet的输入需为图像空间（image space）。为解决这一问题，我们利用预测的噪声\(\epsilon_\theta(z_t)\)，通过一步计算得到估计的干净潜在变量\(\hat{z}_0\)，其公式为：

\( \hat{z}_ 0 = \frac{z_t - \sqrt{1 - \bar{\alpha}_ t} \epsilon _ \theta(z_ t)}{\sqrt{\bar{\alpha}_ t}} \quad (1) \)

监督图像空间 or 监督潜在空间

另一挑战在于模型的预测基于潜在空间（latent space）。我们探索了两种为潜在扩散模型添加SyncNet监督的方法：
(a) 解码像素空间监督：直接在解码后的像素空间中训练SyncNet。
(b) 潜在空间监督：需在潜在空间中训练SyncNet，其视觉编码器的输入为VAE [12, 26] 编码得到的潜在向量（如图3所示）。

实验发现，与像素空间训练相比，潜在空间中的SyncNet收敛性较差。我们推测这是由于VAE编码过程中唇部区域的信息丢失所致。根据第4.3节的实验结果，潜在空间SyncNet的收敛性不足也导致监督扩散模型的音唇同步精度下降。因此，LatentSync框架最终采用解码像素空间监督方法。

(2) 时间表示对齐（TREPA）

• 问题：逐帧生成导致时间不一致性，表现为唇部动作的抖动或不连贯。
• 解决方案：引入TREPA技术，利用自监督视频模型（如VideoMAE-v2）提取时间表示，通过最小化生成帧与真实帧的时间特征距离作为损失函数，增强帧间连贯性。
• 效果：在保持唇形同步精度的同时，显著提升生成视频的流畅性。

(3) SyncNet的优化

SyncNet的作用：作为监督网络，评估生成唇部动作与音频的同步性。
改进点：通过调整模型架构、训练超参数和数据预处理方法，解决了SyncNet的收敛问题，将其在HDTF测试集上的准确率从91%提升至94%。
通用性：优化经验可迁移至其他依赖SyncNet的任务（如肖像动画生成）。

Batchsize

大的batchsize（1024）不仅使该模型能够更快，更稳定地收敛，而且在训练结束时会导致较低的验证损失。
较小的batchsize（128）可能无法收敛，损失仍处于0.69。
稍大的batchsize（256），尽管可以实现收敛，但训练损失在下降过程中也会显示出明显的振荡。

Architecture

用不同的Encoder结构影响不大

Self attention

去掉self-attention层使得

1. 初始训练阶段更快地收敛
2. 降低了验证损失
3. 并且有助于降低模型大小并加速推理和训练速度。
   分析原因：self-attention没有CNN的固有诱导偏见，因此，如果没有足够的数据，它们不能很好地概括。

Number of frames

输入帧的数量确定了Syncnet可以感知的视觉和音频信息的范围。

较小数量的帧（例如5）使得模型收敛慢，且较高的验证损失。
较大数量的帧（例如16）可以帮助模型收敛。
过高当量的帧（例如25），在训练的早期阶段，模型会卡在0.69左右。且验证损失没有明显优势。

数据预处理：

1. 使用仿射变换（affine transformation）实现面部正面化（face frontalization）。该方法[18]可使模型有效学习面部特征，尤其在侧脸等复杂视角场景中表现优异。
2. 对数据做audio-video对齐，并去除对齐置信度低的数据，有明显的效果。

监督图像空间 or 监督潜在空间

Latent Space: SyncNet收敛性较差。
Pixel Space: SyncNet收敛性较好。
实验发现，与像素空间训练相比，潜在空间中的SyncNet收敛性较差。我们推测这是由于VAE编码过程中唇部区域的信息丢失所致。根据第4.3节的实验结果，潜在空间SyncNet的收敛性不足也导致监督扩散模型的音唇同步精度下降。因此，LatentSync框架最终采用解码像素空间监督方法。

3. 实验与结果

• 数据集：在HDTF和VoxCeleb2数据集上进行评估，涵盖多人物、多场景的复杂情况。
• 指标对比：在视觉质量（FID）、唇形同步准确性（Sync_conf）和时间一致性（FVD）等指标上均超越现有方法。

本文使用Sync_conf来估计唇形同步性，但之前的论文使用LSE-C。

• 消融实验：验证了TREPA和SyncNet监督的有效性，并展示TREPA对其他方法的通用性（如提升Wav2Lip的时间一致性）。

4. 技术细节

基模型

基于Stable Diffusion 1.5初始化模型，使用Adam优化器和线性学习率调度。

问：为什么使用SD而不使用SVD？
答：现有方法（SVD）中的时间层使用temporal self-attention）来增强时间一致性。实验发现，这会显著降低唇形同步精度。而本文提出的TREPA不仅未损害同步精度，反而对其有一定提升。我们推测原因如下：

1. 参数干扰：时间层为U-Net引入额外参数，导致反向传播中部分梯度被分配至时间层参数，弱化了音频交叉注意力层（audio cross-attention）参数的学习；
2. 信息依赖强化：TREPA不增加模型参数，为提升时间一致性，模型需更高效利用音频窗口中的信息（因唇形同步模型依赖音频窗口捕捉时序信息），从而进一步训练并强化音频交叉注意力层（定量结果见第4.3节）。

两阶段训练策略：

第一阶段：

此阶段不进行像素空间解码，且不引入SyncNet损失函数。其核心目标是利用大批次（large batch size）训练使U-Net充分学习视觉特征。该阶段的训练目标仅包含基础噪声预测损失。

第二阶段：

此阶段采用解码像素空间监督方法，引入SyncNet损失。

1. SyncNet损失：

将SyncNet的输入帧长度扩展至16帧（SyncNet结构调整细节参见第3.3节）。通过解码后的16帧视频序列\( D(\hat{z}_ 0)_ {f:f+16} \)及对应音频序列\( a_{f:f+16} \)计算SyncNet损失

2. LPIPS损失

由于唇形同步任务需生成唇部、牙齿及面部毛发等细节区域，我们进一步引入LPIPS损失[59]以提升生成图像的视觉质量。

3. 为增强时间一致性，我们还引入提出的TREPA(Temporal Representation Alignment)损失。

综上，第二阶段的总损失函数为：

\(\mathcal{L}_ {\text{total}} = \lambda_1 \mathcal{L}_ {\text{simple}} + \lambda_ 2 \mathcal{L}_ {\text{sync}} + \lambda_3 \mathcal{L} _ {\text{lpips}} + \lambda_ 4 \mathcal{L}_ {\text{trepa}} \quad (5) \)

通过实证分析，我们确定最优损失权重系数为：\( (\lambda_1, \lambda_2, \lambda_3, \lambda_4) = (1, 0.05, 0.1, 10) \)。

推理加速：

采用DDIM采样加速生成过程，并通过无分类器指导（CFG）提升生成质量。

5. 应用与影响

• 应用场景：视频配音、虚拟化身、深度伪造检测等。
• 潜在风险：可能被滥用生成高保真伪造视频，需结合伦理与安全措施。
• 技术启示：展示了潜在扩散模型在多模态任务（如视听关联建模）中的潜力，为后续研究（如全身动作生成）提供参考。

总结

LatentSync通过结合潜在扩散模型的高效生成能力、TREPA的时间对齐机制，以及对SyncNet的优化，显著提升了唇形同步任务的性能。其端到端设计和高扩展性（如兼容SDXL等更强大的扩散模型）为未来研究提供了重要方向。

T2M-GPT: Generating Human Motion from Textual Descriptions with Discrete Representations

这是一篇发表于CVPR 2023的论文，提出了一种基于离散表示的文本驱动人体动作生成框架。该工作结合了矢量量化变分自动编码器（VQ-VAE）和生成式预训练Transformer（GPT），在动作生成的精度、多样性与文本一致性上取得了显著突破。以下从核心方法、技术亮点、实验结果与应用场景等方面进行解读：

主要方法

离散表示

VQ-VAE的离散编码

论文采用基于CNN的VQ-VAE模型，将连续的人体动作序列（如关节运动轨迹）量化为高质量的离散编码。

传统VQ-VAE的简单训练方式容易遭遇**码本坍塌（codebook collapse）**问题。为解决这一问题，论文采用两种常见训练策略以提升码本利用率：

指数移动平均（EMA）

通过平滑更新码本参数，使码本 \( C \) 逐步演化：

\(C_t \leftarrow \lambda C_{t-1} + (1-\lambda)C_t\)

其中 \( C_t \) 为第 \( t \) 次迭代时的码本，\( \lambda \) 为指数移动常数。

码本重置（Code Reset）

在训练过程中检测未激活的编码（inactive codes），并根据输入数据重新分配这些编码。

关于量化策略的消融实验详见论文第4.3节。

GPT的条件生成

在离散编码的基础上，使用GPT模型根据文本描述生成对应的动作序列。

在模型训练与测试之间存在阶段差异：

• 训练阶段：使用前 \( i-1 \) 个正确的编码索引预测下一个索引；
• 推理阶段：作为条件的编码索引可能包含错误。

为解决这一问题，我们采用一种简单的数据增强策略：在训练过程中，将 \( \tau \times 100% \) 的真实编码索引替换为随机索引。其中：

• \( \tau \) 可设置为超参数；
• 或从均匀分布 \( \tau \in U[0, 1] \) 中随机采样。

关于该策略的消融实验详见附录C节。

三、实验结果与局限性

性能优势

• HumanML3D测试集

• KIT-ML测试集

与复杂的扩散模型（如MotionDiffuse）相比，T2M-GPT通过离散表示简化了生成过程，在保证性能的同时降低了计算复杂度。实验表明，其FID分数（0.116）显著优于MotionDiffuse（0.630）。

数据集依赖性与局限性

论文指出，模型性能受限于数据集规模。HumanML3D虽为当前最大数据集，但其覆盖的动作类型和文本描述多样性仍有提升空间。此外，离散表示可能对复杂连续动作（如精细的手指运动）的生成存在挑战。

四、应用场景与影响

1. 动画与游戏开发
   可自动生成角色动作，减少人工制作成本，尤其适用于需要快速迭代的场景。
2. 虚拟现实与人机交互
   为虚拟角色提供自然动作响应，提升用户体验的真实感。
3. 研究启发
   该工作推动了后续研究（如HumanTOMATO、MoMask等）对全身动作生成和多条件控制的探索，成为文本驱动动作生成领域的基准模型之一。

五、未来方向

1. 扩展数据集：结合更大规模的多模态数据（如SMPLX全身模型）以提升动作覆盖范围。
2. 多条件融合：引入风格、情感等附加条件，实现更细粒度的动作控制。
3. 实时生成优化：针对离散表示的生成效率进行改进，适配实时交互需求。

总结

T2M-GPT通过离散表示与Transformer的巧妙结合，为文本到动作生成提供了一种高效且可扩展的解决方案。其开源特性与强性能使其在学术界和工业界均具有重要价值，同时也为后续研究奠定了技术基础。未来，结合扩散模型的多条件生成能力或进一步突破现有局限。

关于VQ-VAE和VAE的一些问题

这篇论文中，VQ-VAE相对于VAE的优势是什么？

在论文《T2M-GPT》中，**VQ-VAE（矢量量化变分自动编码器）相较于传统VAE（变分自动编码器）**的优势主要体现在以下几个方面，这些优势直接支撑了文本到人体动作生成任务的高效性与生成质量：

1. 离散表示更适合生成式任务

• VAE的局限性：
  传统VAE通过连续潜在空间（latent space）建模数据分布，但连续变量在生成序列数据（如动作序列）时容易出现误差累积，尤其在长序列生成中可能导致动作失真或不连贯。
• VQ-VAE的离散编码优势：
  VQ-VAE通过**码本（codebook）**将连续动作量化为离散符号（discrete tokens），将生成任务转化为类似自然语言的序列预测问题。这种离散表示：
  • 更适合与GPT等自回归模型结合，直接预测离散符号序列（类似文本生成）；
  • 减少连续潜在变量的噪声干扰，提升生成动作的稳定性和可控性。

2. 避免潜在空间坍缩，提升码本利用率

• VAE的潜在空间坍缩问题：
  传统VAE可能因KL散度约束过强，导致潜在变量退化为单一模式（mode collapse），失去多样性。
• VQ-VAE的优化机制：
  论文通过指数移动平均（EMA） 和 码本重置（Code Reset策略：
  • EMA：动态平滑更新码本，防止某些编码（code）因训练初期未被使用而失效；
  • Code Reset：定期激活“死亡编码”（未使用的码本条目），提升码本利用率。
    这些机制有效缓解了码本坍塌（codebook collapse），确保离散编码能够覆盖更丰富的动作模式。

3. 高效压缩与细节保留的平衡

• VAE的信息损失问题：
  VAE的连续潜在变量可能因维度限制或过度压缩丢失高频细节（如快速动作变化）。
• VQ-VAE的量化优势：
  VQ-VAE通过矢量量化将动作特征映射到码本中最接近的离散编码：
  • 在压缩动作数据的同时，保留关键运动细节（如关节轨迹的细微变化）；
  • 通过码本学习显式建模动作特征分布，提升生成动作的保真度。

4. 与GPT模型的天然兼容性

• 任务适配性：
  文本到动作生成本质上是多模态对齐问题，需将文本语义映射到动作序列。
  • VQ-VAE的离散编码可视为“动作词汇表”，使GPT能够像处理文本token一样预测动作token，简化跨模态对齐；
  • 连续潜在变量（VAE）与离散文本描述之间存在模态鸿沟，而离散编码（VQ-VAE）更易实现跨模态条件生成。

5. 实验结果验证

论文在HumanML3D数据集上的实验表明：

• 生成质量：VQ-VAE+GPT的FID分数（0.116）显著优于基于连续潜在空间的方法（如扩散模型）；
• 一致性：通过离散编码的精确对齐，文本-动作匹配度（R-Precision）提升约15%；
• 多样性：码本的多模态覆盖能力使生成动作的多样性（Diversity）提高20%以上。

总结

在《T2M-GPT》中，VQ-VAE通过离散化、抗坍缩训练、细节保留等特性，克服了传统VAE在动作生成任务中的局限性，同时与GPT的自回归生成范式无缝结合，成为实现高精度文本驱动动作生成的关键技术基础。这一设计为多模态序列生成任务提供了通用框架（如音频、视频生成）。

1. 为什么连续变量VAE在生成序列数据（如动作序列）时容易出现误差累积？

连续变量VAE的误差累积问题源于其自回归生成机制和连续潜在空间的敏感性：

• 自回归生成机制：生成序列时，每一步的预测都依赖于前一步的输出（如预测第 \( t \) 帧动作时，基于前 \( t-1 \) 帧的潜在变量）。若前序步骤存在微小误差（如关节位置偏移），这些误差会逐帧传递并放大，导致后续动作逐渐偏离真实轨迹（类似“蝴蝶效应”）。
• 连续变量的敏感性：连续潜在空间中，模型需要精确预测高维实数向量（如关节坐标）。任何微小的预测偏差（如噪声干扰）都会直接影响生成质量，尤其在长序列中累积后可能引发动作失真、抖动或不连贯。

示例：假设生成“跳跃后转身”的动作序列，若第2帧的腿部关节预测高度比真实值低5%，后续帧的预测可能基于这一错误状态继续生成，最终导致动作整体高度不足或失衡。

2. 为什么VQ-VAE更适合与GPT等自回归模型结合？

VQ-VAE的离散编码与GPT的自回归生成范式具有天然兼容性：

• 离散符号对齐文本生成逻辑：
  VQ-VAE将连续动作序列量化为离散的码本索引（如将动作片段映射为整数token），这与文本的离散token表示形式完全一致。GPT作为语言模型，其核心能力是建模离散token序列的分布（如预测下一个单词），因此可直接套用至动作token的预测。
• 简化跨模态对齐：
  文本描述（离散token序列）与动作token序列在符号层面可直接对齐，无需处理连续向量与离散文本之间的复杂映射（如VAE需将文本嵌入映射到连续潜在空间）。
• 训练效率与稳定性：
  离散token的预测任务（分类任务）比连续向量的回归任务更稳定，分类损失（如交叉熵）对噪声的鲁棒性优于均方误差（MSE）等回归损失。

示例：GPT预测动作token序列时，类似于生成“单词A → 单词B → 单词C”的过程，每个动作token对应码本中的一个预定义动作片段，确保生成动作的结构化与可控性。

3. 什么是VAE的潜在空间坍缩问题？

潜在空间坍缩（Latent Space Collapse）指VAE训练过程中，编码器倾向于忽略输入数据的多样性，将所有样本映射到潜在空间中极小的区域，导致潜在变量失去表达能力。具体原因包括：

• KL散度的过度约束：
  VAE的损失函数包含KL散度项，用于约束潜在分布接近标准正态分布 \( \mathcal{N}(0, I) \)。若KL项的权重过高，编码器会过度“压缩”潜在变量，使其退化为与输入无关的简单分布（如所有样本的潜在变量均值趋近于0，方差趋近于1）。
• 解码器的强主导性：
  若解码器能力过强（如深层神经网络），即使潜在变量包含极少信息，解码器仍能生成合理样本。此时编码器失去学习有意义潜在表示的动力。

后果：生成样本多样性严重下降（如所有动作序列趋同），且无法通过潜在变量插值实现平滑过渡。

4. 为什么VQ-VAE在压缩动作数据的同时，可以保留关键运动细节，而VAE压缩数据时会丢失细节？

关键在于量化机制与码本学习的显式性：

• VQ-VAE的矢量量化：
  VQ-VAE通过码本（codebook）中的离散编码强制“选择性压缩”：

  1. 编码器将输入动作映射为连续向量后，在码本中搜索最接近的离散编码（最近邻匹配）；
  2. 码本通过训练学习覆盖高频动作模式（如跳跃、行走、转身），确保每个编码对应一种典型动作特征；
  3. 解码器仅基于离散编码重建动作，避免连续潜在变量的平滑效应，从而保留细节（如关节加速度变化）。

• VAE的连续压缩缺陷：
  VAE的编码器将输入映射为连续高斯分布的参数（均值与方差），潜在变量需通过采样引入随机性。这种机制导致：

  1. 连续潜在空间可能过度平滑，丢失高频细节（如快速细微的手部动作）；
  2. KL散度约束进一步抑制潜在变量的多样性，加剧信息损失。

对比示例：

• VQ-VAE：将“快速挥手”动作映射到码本中专门表示“高频手部运动”的离散编码，解码时精确恢复挥手频率；
• VAE：潜在变量可能将“快速挥手”与“缓慢挥手”混合编码为连续区域，解码时生成的动作可能模糊两者边界，丢失速度细节。

总结

VQ-VAE通过离散化和码本优化，在压缩与保真之间取得平衡，同时规避了VAE在序列生成中的误差累积、坍缩等问题。其设计使其成为与GPT等自回归模型结合的理想选择，为文本到动作生成提供了高效可靠的技术基础。

MotionGPT: Finetuned LLMs are General-Purpose Motion Generators

https://arxiv.org/pdf/2306.10900

这项工作提出了一种新型的人类运动生成方法，该方法通过微调LLM，名为MotionGpt。与以前的方法相比，MotionGpt具有接受多个控制条件并使用统一模型解决各种运动生成任务的独特能力。

1. 核心思想与创新点

• 跨模态生成框架：MotionGPT将语言模型的生成能力扩展到运动领域，通过将3D人体运动数据编码为离散的“运动令牌”（motion tokens），并利用微调后的LLM（如LLaMA）实现从文本到动作的端到端生成。

LLaMA [45] is a series of open-sourced LLMs, which match the performance of proprietary LLMs such as GPT-3.
VQ-VAE: Neural Discrete Representation Learning

预训练模型： VQ-VAE: T2M-GPT

• 统一语言与运动建模：受自然语言处理的启发，论文将运动序列视为一种特殊“语言”，通过类似文本的分词方式（如VQ-VAE）对运动数据进行离散化表示，使其能够被语言模型直接处理。
• 灵活性与通用性：支持多种输入条件（如文本描述、初始姿势、关键帧等），并能生成连贯且多样化的动作序列，适用于复杂场景。

2. 技术实现路径

1. 数据编码与离散化

   • 使用VQ-VAE（向量量化变分自编码器）将连续的运动数据（如关节位置、速度）压缩为离散的运动令牌序列。这一过程类似于自然语言中的词嵌入，使LLM能够直接处理运动信息。
   • 通过LoRA（低秩适应）技术对预训练的LLM（如LLaMA）进行微调，使其能够理解和生成运动令牌，同时保留语言模型的文本生成能力。

2. 多任务生成能力

   • 文本驱动生成：根据文本描述（如“走路后跳跃”）生成对应动作序列。
   • 运动补全与预测：基于初始帧或中间状态预测后续动作。
   • 多模态交互：结合文本和动作输入，生成符合逻辑的连续动作。

3. 关键技术创新

   • 混合模态训练：通过融合运动令牌与文本令牌的联合训练，模型能够同时处理语言和运动数据，实现跨模态对齐。

% General control condition format 
Control Conditions: Text control condition X <x1, x2, ..., xnx > Pose control conditions P<p1, p2, ..., pnp > 
% General instruction format 
Instruction I: {Task Prompts T <t1, t2, ..., tnt >} {Control Conditions}
Answer ˆP: {Sequences of Human Motions }

其中，Task Prompts可以是多种任务类型，例如:

"Generate a sequence of motion tokens matching the following human motion description."
"Generate a sequence of motion tokens matching the following human motion description given the init/last/key pose tokens."

Control Conditions可以同时包含语言token和动作token。

• 动态调整机制：支持通过输入条件（如关键帧）动态调整生成结果，提升生成动作的多样性和可控性。

这里所谓的『动态调整』，应该『可调整，不用重训』的意思。不是实时调整的意思，因为先输入控制条件再进行生成，生成过程中是不会再修改控制信号的。

3. 实验结果与性能

1. 在多模态控制的动作生成任务上，其可控性比MDM要好很多。

2. 在单纯的文生动作任务上，其生成质量接近SOTA。

4. 局限性

• 当前局限：
  • 数据依赖：高质量运动数据集的稀缺性可能限制模型泛化能力。
  • 长序列生成：复杂动作的长期连贯性仍需优化。

5. 与相关工作的对比

• 与传统生成模型（如VAE、GAN）：MotionGPT利用LLM的强序列建模能力，生成动作的语义一致性和多样性更优。
• 与扩散模型（如MoRAG）：MotionGPT通过离散化表示降低了计算复杂度，而扩散模型（如MoRAG）则依赖检索增强生成，两者在任务适应性上各有侧重。

总结

MotionGPT通过将大语言模型与运动生成任务结合，开创了文本驱动动作生成的新范式。其核心贡献在于证明了LLM在非文本模态（如3D运动）中的通用生成潜力，并为多模态AI的发展提供了重要参考。未来，结合更高效的训练策略（如参数高效微调）和更大规模的多模态数据集，可能进一步推动该领域的突破。

Guided Motion Diffusion for Controllable Human Motion Synthesis

空间约束（如预定义的运动轨迹和障碍物）对于弥合孤立人体运动与其周围环境之间的鸿沟至关重要，但如何有效整合这些约束仍是一个挑战。
本文提出引导式运动扩散模型（Guided Motion Diffusion, GMD），该方法将空间约束融入运动生成过程。

• 设计了一种高效的特征投影方案，通过操控运动表征以增强空间信息与局部姿态之间的协调性。
• 结合一种新型填补公式，生成的运动能够可靠地符合全局运动轨迹等空间约束。
• 针对稀疏空间约束（如稀疏关键帧），提出一种密集引导方法，将反向去噪过程中易被忽略的稀疏信号转化为更密集的信号，从而引导生成的运动符合给定约束。

大量实验验证了GMD的有效性：该方法在基于文本的运动生成任务中实现了对现有最优方法的显著性能提升，同时支持通过空间约束对合成运动进行灵活控制。

两阶段

第一阶段,我们设计了一种高效的特征投影方案，通过操控运动表征以增强空间信息与局部姿态之间的协调性。结合一种新型填补公式，生成的运动能够可靠地符合全局运动轨迹等空间约束。此外，针对稀疏空间约束（如稀疏关键帧），我们提出一种密集引导方法，将反向去噪过程中易被忽略的稀疏信号转化为更密集的信号。
第二阶段：T引导生成的运动符合给定约束

4.1 强调投影（Emphasis Projection）

问题1：运动不连贯（Motion Incoherence）

• 背景：在基于轨迹约束的运动生成中，用户提供的轨迹（如手部路径）仅占整个动作序列的极小部分（例如仅指定骨盆的旋转和位置）。传统扩散模型（DPM）在反向去噪时容易忽略这些稀疏约束，导致生成的全身动作与轨迹不协调（如手部轨迹正确但腿部动作僵硬）。
• 示例：若指定角色沿S形路径行走，但生成的躯干动作未同步调整，导致步态与路径不匹配。

解决方案：强调投影

• 核心思想：通过矩阵变换增强轨迹相关特征的权重，迫使模型在生成过程中更关注这些约束。

• 技术细节：

  1. 投影矩阵构建：
     定义矩阵 \( A = A'B \)，其中：
     • \( A' \in \mathbb{R}^{N \times N}\): 元素服从标准正态分布 \( \mathcal{N}(0,1) \) 的随机矩阵。
     • \( B \in \mathbb{R}^{N \times N} \): 对角矩阵，轨迹相关维度（如骨盆的旋转和位置）的对角元素设为 \( c \)（如 \( c=5 \)），其余为1。
     • 目的：放大轨迹特征的影响，使其在投影后的运动表征 \( x_{\text{proj}} = \frac{1}{\sqrt{N-3+3c^2}} A x \) 中占据更高权重。
  2. 方差归一化：
     缩放因子 \( \frac{1}{\sqrt{N-3+3c^2}} \) 确保投影后运动 \( x_{\text{proj}} \) 的方差与原始数据一致，避免训练不稳定。
  3. 填补（Imputation）与反投影：
     • 将投影后的运动 \( x_{\text{proj}} \) 反投影回原始空间 \( x_0 = A^{-1} x_{\text{proj}} \)。
     • 在原始空间进行约束填补（如强制轨迹符合 \( z^* \)），再重新投影 \( \tilde{x}_ {\text{proj}} = A \tilde{x}_ 0 \)。
     • 作用：确保填补后的轨迹约束在投影空间中仍被强化，避免梯度稀释。

效果验证

• 实验表明，强调投影相比单纯增加轨迹损失权重的方法（需重新训练DPM），在保持动作自然度的同时，轨迹约束满足率提升23%（图3b）。

4.2 基于学习去噪器的密集引导信号

问题2：稀疏引导信号（Sparse Guidance Signal）

• 两类稀疏性：
  1. 特征维度稀疏：约束仅涉及部分特征（如仅骨盆位置）。
     示例：指定行走路径，但未约束手臂摆动。
  2. 时间维度稀疏：约束仅存在于少数时间点（如关键帧）。
     示例：指定角色在第10帧和第30帧的位置，但中间帧无约束。

解决方案：密集信号传播（Dense Signal Propagation）

• 核心思想：利用预训练去噪函数 \( f(x_t) = x_0 \) 的时序感知能力，将稀疏约束的梯度传播至整个序列。
• 技术细节：
  1. 分类器引导增强：
     计算目标函数 \( G_z \) 对 \( x_t \) 的梯度 \( \nabla_{x_t} \log p_{G_z}(x_t) \approx -\nabla_{x_t} G_z(P_z^x f(x_t)) \)，通过链式法则将稀疏约束的梯度传播至相邻帧。
  2. 利用DPM自身作为去噪器：
     直接使用DPM的预测 \( x_{0,\theta}(x_t) \) 作为 \( f(x_t) \)，无需额外模型。通过自动微分（autodiff）计算梯度。
  3. 填补与引导的融合：
     • 在约束区域（掩码 \( M_z^x \)）使用显式填补，其余区域使用分类器引导。
     • 最终采样均值 \( \mu_t \) 结合两者：
       \(\mu_ t = \tilde{\mu}_ t - (1 - M_ z^x) \odot s \Sigma_ t \nabla_ {x_t} G_ z(P_ z^x f(x_ t))\)

问题3：DPM的偏差干扰引导信号

• 现象：DPM倾向于生成符合训练数据分布的动作，可能抵消引导信号的作用（如强制修正的轨迹在下一步被“纠正”回常见模式）。
• 解决方案：Epsilon建模（εθ模型）
  • 传统DPM直接预测 \( x_0 \)，导致在早期去噪步骤（t接近0）对生成结果影响过大，与稀疏引导信号的弱影响冲突。
  • 改为建模噪声 \( \epsilon_\theta \)，使引导信号在去噪初期（t较大时）占主导，逐步减弱，与DPM的偏差自然平衡。

效果验证

• 在关键帧约束任务中，密集引导使约束满足率从58%提升至89%，同时动作多样性（Diversity Score）保持高于基线15%。

技术总结与类比

• 强调投影：类似“高亮笔”，在运动表征中突出关键轨迹，防止模型忽略。
• 密集引导：类似“涟漪效应”，将稀疏约束的梯度波动传递至整个序列。
• Epsilon建模：类似“渐进式调节”，早期依赖引导信号，后期依赖数据分布，平衡控制与自然性。

该方法通过数学建模与梯度操作的巧妙结合，实现了稀疏约束下的高质量运动生成，为虚拟角色控制、机器人运动规划等场景提供了新思路。

实验结果与性能

1. 文生动作任务上，生成质量达到SOTA，但弱于T2m-gpt

2. 轨迹控制任务上，MDM的特点是轨迹控制力度越大，滑步越严重。但本文方法在轨迹误差小的同时保持比较低的滑步现象。

OmniControl: Control Any Joint at Any Time for Human Motion Generation

这是一篇聚焦于人体运动生成控制的创新性研究论文，旨在解决现有方法在灵活控制人体运动生成中的局限性。以下从研究背景、核心方法、技术亮点及实验成果等方面进行解读：

1. 研究背景与问题

传统基于文本条件的人体运动生成模型（如扩散模型）通常仅能通过文本描述生成整体动作，但对具体关节的精细化控制能力不足。例如，现有方法大多只能控制骨盆轨迹，而无法针对不同关节在不同时间点施加动态约束。这种局限性限制了模型在需要高精度运动控制的应用场景（如动画制作、康复训练等）中的实用性。因此，OmniControl提出了一种新的框架，旨在实现任意关节、任意时间点的灵活空间控制。

颜色由浅至深代表动作的时间顺序。较深的颜色表示序列中的后期帧。
绿线或点表示输入控制信号。

前情提要

Diffusion process for human motion generation

Baseline: MDM

Human pose representations

类似于T2M(Generating diverse and natural 3d human motions from text)中的表示，但把所有相对位置转换为绝对位置。

2. 核心方法

OmniControl的核心创新在于将**空间引导（Spatial Guidance）与真实感引导（Realism Guidance）**结合，通过扩散模型框架实现精准且自然的运动生成。

（1）空间引导

• 功能：确保生成的运动严格符合用户输入的空间控制信号（如关节位置、轨迹等）。
• 实现：通过分析几何约束，将控制信号映射为运动序列的梯度，直接优化扩散模型的生成过程。
• 例子：

假设用户希望手腕在时间点 \( t \) 的位置为 \( p_{\text{target}} \)，而当前生成的手腕位置为\( p_{\text{current}} \)，则两者的几何偏差为：
\(\text{偏差} = | p_{\text{current}} - p_{\text{target}} |^2 \)

梯度信号即为该偏差对当前生成动作序列 \( x_t \) 的导数：
\( \text{梯度} = \frac{\partial \text{偏差}}{\partial x_t} \)

它指明了如何调整 \( x_t \)，才能使手腕位置更接近目标。

在扩散模型的每一步去噪过程中：

• 模型预测噪声 \( \epsilon_{\text{model}} \)（常规扩散过程）；
• 同时计算控制信号约束的梯度 \( \nabla_{x_t} \mathcal{C}(x_t) \)，并调整预测的噪声：
  \( \epsilon_{\text{adjusted}} = \epsilon_{\text{model}} - \lambda \cdot \nabla_{x_t} \mathcal{C}(x_t) \)
  其中，\( \lambda \) 是控制信号强度的权重系数。

以上过程仅在推断时使用

（2）真实感引导

尽管空间引导可以有效地强制受控关节遵守输入控制信号，由于相对人体姿势表示的性质，空间引导的梯度不能反向传播到其他关节，因此对其他关节没有影响，正如我们前面提到的。这将导致不切实际的运动。此外，由于扰动位置只是整个运动的一小部分，运动扩散模型可能会忽略空间引导的变化，无法对其余人体关节进行适当的修改，导致人体运动不连贯，脚滑动等artifacts。

• 功能：修正所有关节的运动细节，提升动作的连贯性和自然性。
• 实现：引入物理合理性约束（如关节运动范围、动力学特性）和运动风格一致性，避免单纯满足空间控制导致的机械感或不合理姿态。
  实际上没有显示地引入物理约束，而是用ControlNet的方式引入控制信号，然后自己从数据中学到满足物理约束的控制生成。

（3）互补性设计

两种引导机制通过权重平衡协同工作：空间引导优先满足控制精度，真实感引导则优化整体动作质量。实验表明，二者的结合显著优于单一引导方法。

4. 实验结果

• HumanML3D test data

• KIT-ML test data

• 骨盆控制精度提升：在骨盆轨迹控制任务中，OmniControl的误差较现有方法更低且生成质量更好，证明了空间引导的有效性。

• 多关节控制能力：实验展示了对手腕、膝盖等非核心关节的精细化控制能力，例如生成“挥手时手腕保持固定高度”的动作，且不影响整体行走的自然性。

• 真实感评估：通过用户主观评分和物理合理性指标（如关节加速度连续性），OmniControl生成的动作在真实感上优于纯控制优化的基线模型。

5. 应用与意义

• 动画与游戏：为角色动画提供高效、精准的动作设计工具，减少手动调整成本。
• 医疗康复：生成符合患者特定关节活动需求的训练动作，辅助个性化康复方案制定。
• 机器人运动规划：为仿人机器人提供更接近人类运动模式的参考轨迹。

6. 局限性与未来方向

• 实时性限制：扩散模型的迭代生成过程导致计算延迟较高，未来可通过蒸馏或加速采样算法优化。
• 复杂场景扩展：当前实验集中于单人物体交互，多人与环境交互的复杂场景仍需探索。

总结

《OmniControl》通过梯度驱动的空间引导与物理约束的真实感引导，在扩散模型框架内实现了人体运动生成的精细化控制。其核心创新在于将控制信号直接映射为生成过程的优化目标，而非依赖外部模块。其代码和数据集的开源将进一步推动相关领域的研究。

Learning Long-form Video Prior via Generative Pre-Training

这篇论文提出了一种基于生成式预训练（GPT）的长篇视频先验学习方法，旨在通过结构化视觉位置信息建模视频中的复杂语义关系。以下从研究背景、核心方法、创新点及意义等方面进行解读：

一、研究背景与问题

1. 长视频建模的挑战
   长篇视频包含复杂的人物、物体及其动态交互关系，传统方法直接在像素空间建模存在计算复杂度高、数据需求量大等问题。同时，现有数据集多以短视频为主，缺乏针对长视频的结构化标注数据。
2. 生成式预训练的潜力
   GPT模型在文本和图像生成中已展现强大的序列建模能力，但其在视频领域的应用仍受限于数据表示形式和长距离依赖建模。论文提出将视频转换为离散化的视觉位置信息（如边界框、关键点），通过生成式预训练学习视频的隐含先验。

二、核心方法

1. 视觉位置信息的离散化表示
   通过提取视频中关键帧的边界框、关键点等结构化信息，将视频内容离散化为符号序列。这种方式不仅降低了计算复杂度，还保留了视频中对象交互的语义信息，便于GPT模型处理。

2. 数据集构建：Storyboard20K
   为解决长视频数据稀缺问题，论文从电影中构建了Storyboard20K数据集，包含电影概要、逐帧关键帧及细粒度场景与角色注释（如ID一致性、全身关键点）。该数据集支持对长视频语义的层次化建模。

✅ GPT 缺少一些视觉上的 commen sense 主要是缺少相关数据集。
✅ 因此这里提供了一个数据集Storyboard20K。

3. 两阶段训练框架
   • 预训练阶段：基于视觉位置信息的离散化序列，使用GPT模型进行生成式预训练，学习视频中对象、场景及其动态关系的先验知识。

✅ 用 GPT-4 In-context learning 机制生成结构化文本

• 微调阶段：通过任务特定目标（如视频生成或理解任务）调整模型参数，实现下游任务适配。

三、创新点与实验成果

1. 结构化视频表示与高效建模
   通过视觉位置信息的离散化，将长视频转化为可扩展的符号序列，突破了传统像素级建模的局限性。这一方法显著降低了模型对计算资源的需求，同时提升了语义建模的清晰度。
2. 自建数据集的科学价值
   Storyboard20K是首个针对长视频结构化标注的数据集，为后续研究提供了重要基准。其细粒度标注（如角色ID一致性）支持模型学习跨镜头的语义连贯性。
3. 实验验证的潜力
   论文通过实验表明，该方法在长视频生成与理解任务中表现出色，验证了生成式预训练在视频领域的适用性。例如，模型能够生成符合物理规律的角色交互序列，并在场景推理任务中优于传统方法。

四、意义与未来方向

1. 推动视频生成与理解的范式革新
   该研究将GPT的生成能力扩展至视频领域，为长视频内容创作（如电影分镜生成）和自动化分析（如场景理解）提供了新思路。
2. 多模态与持续学习的结合潜力
   未来可结合多模态对比学习（如视频-文本检索模型JM-CLIP）增强跨模态对齐能力，或引入持续学习框架（如DIKI）解决预训练知识的动态更新问题。
3. 解决数据瓶颈的扩展路径
   借鉴合成数据生成技术（如SICOG框架）或残差知识注入方法（如DIKI），可进一步缓解长视频标注数据的稀缺性，提升模型的泛化能力。

五、总结

该论文通过结构化视觉位置表示和生成式预训练的结合，为长视频建模开辟了新路径。其核心贡献在于提出了一种高效的长视频先验学习方法，并通过Storyboard20K数据集和实验验证了可行性。未来方向可围绕多模态扩展、数据合成与持续学习展开，推动视频生成与推理技术的进一步发展。

Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

NVIDIA

Instant-NGP（Instant Neural Graphics Primitives）是由英伟达团队于2022年提出的一种高效神经图形基元表示方法，其核心创新在于多分辨率哈希编码（Multiresolution Hash Encoding），旨在显著提升神经渲染任务的训练与推理速度，同时保持或超越传统方法的重建质量。以下从技术原理、核心创新、应用场景及优势等方面进行解读：

1. 技术原理

（1）输入编码的优化

传统神经渲染（如NeRF）依赖频率编码（如三角函数）将低维坐标映射到高维空间以捕捉高频细节，但这类方法需较大的神经网络且训练速度较慢。Instant-NGP提出多分辨率哈希编码，通过哈希表存储特征向量，结合多层级网格结构，实现高效的特征查询与插值。

• 多分辨率网格：将空间划分为多个层级的网格，每个层级的分辨率按指数增长（从粗到细），覆盖不同尺度的细节。
• 哈希映射：每个网格顶点通过哈希函数映射到固定大小的哈希表中，解决高分辨率下顶点数量爆炸的问题。哈希碰撞通过神经网络的梯度优化自动处理，优先保留对重建贡献大的特征。

（2）网络架构简化

• 小型MLP：由于哈希编码已提供丰富的特征表示，后续MLP的层数和参数量大幅减少（例如仅需2层隐藏层），降低计算复杂度。
• 双网络设计：在NeRF任务中，采用两个小型网络分别预测体积密度（密度网络）和颜色（颜色网络），后者结合球谐函数（Spherical Harmonics）编码视角方向，进一步压缩输入维度。

2. 核心创新

（1）多分辨率哈希编码

• 高效特征提取：通过多层级网格与哈希表结合，仅需对输入坐标周围8个顶点的特征进行三线性插值，显著减少内存访问和计算量。
• 动态参数优化：哈希表参数与MLP权重联合训练，梯度更新仅影响局部特征，避免全局参数调整，提升收敛速度。

（2）球谐函数的应用

在颜色预测中，Instant-NGP用球谐函数替代传统的位置编码，将视角方向映射为16维向量，简化模型输入并保持光照建模能力。

（3）混合精度与CUDA优化

• 半精度存储与全精度计算：哈希表使用半精度存储以减少内存占用，同时维护全精度副本用于参数更新，平衡速度与精度。
• 纯CUDA实现：通过GPU并行化加速哈希查询和插值操作，实现实时渲染（如1920×1080分辨率图像渲染仅需10ms）。

3. 应用场景与优势

（1）应用领域

• NeRF（神经辐射场）：训练速度从小时级缩短至秒级（如“狐狸”数据集仅需5秒），支持实时交互式重建。
• 其他图形任务：包括高分辨率图像逼近、符号距离场（SDF）、神经辐射缓存等，均实现高效优化。

（2）性能优势

• 速度提升：相比传统NeRF，训练速度提升10倍以上（如单场景训练耗时从数小时降至数分钟）。
• 质量保持：在PSNR、SSIM等指标上优于NeRF、Mip-NeRF等基线方法，尤其在复杂几何与高频细节上表现突出。
• 硬件适配：支持RTX系列GPU，通过即时编译（JIT）优化不同硬件的计算效率。

（3）灵活性与扩展性

• 自定义数据支持：提供工具链（如COLMAP、Record3D）处理用户采集的图像数据，支持手机ARkit生成姿态信息。
• 参数可调：通过调整哈希表大小（T值）、特征维度（F值）等超参数，平衡质量与性能。

4. 局限性及改进方向

• 硬件依赖：需高性能GPU（如RTX 3090）支持，对移动端部署不友好。
• 细节限制：透明材质、动态场景的建模仍存在挑战，后续工作（如3D Gaussian Splatting）尝试进一步优化。
• 碰撞处理：哈希冲突可能导致细节丢失，需依赖训练数据的分布与梯度主导优化。

总结

Instant-NGP通过多分辨率哈希编码与高效网络设计，解决了神经渲染任务中的速度瓶颈，成为实时神经图形领域的里程碑工作。其核心思想——以哈希表压缩空间特征、以小型网络加速推理——为后续研究（如Magic3D、Progressive3D）提供了重要参考，推动了游戏、虚拟现实等场景的高效3D内容生成。

Magic3D: High-Resolution Text-to-3D Content Creation

NVIDIA

1. 研究背景与动机

Magic3D是英伟达团队针对文本到3D生成任务提出的改进方法，其核心目标是解决此前主流方法DreamFusion的两个主要缺陷：

• 速度问题：基于NeRF的优化速度极慢（平均耗时1.5小时）。
• 质量限制：低分辨率（64×64）的扩散模型监督导致3D模型细节不足，几何与纹理质量较低。
  Magic3D的提出旨在通过更高效的场景表示和优化框架，实现高质量、高分辨率的3D生成，同时大幅提升生成速度。

2. 核心方法创新：两阶段优化框架

Magic3D采用**“粗到细”（Coarse-to-Fine）的两阶段优化策略**，结合不同分辨率扩散模型与场景表示，具体分为以下步骤：

阶段一：粗粒度优化（Coarse Stage）

• 场景表示：采用Instant-NGP（神经图形原语）替代NeRF，利用稀疏3D哈希网格加速训练。这种结构支持快速收敛，尤其适合处理复杂拓扑变化。
• 监督信号：基于低分辨率（64×64）的eDiff-I扩散模型计算Score Distillation Sampling（SDS）损失，指导神经场（颜色、密度、法线场）优化。
• 优势：通过哈希网格和八叉树剪枝，减少计算量，粗阶段仅需15分钟（8块A100 GPU）。

阶段二：细粒度优化（Fine Stage）

• 场景表示转换：从粗模型的密度场提取纹理3D网格（使用DMTet或可变四面体网格），支持高分辨率（512×512）可微分渲染。
• 监督升级：采用**潜在扩散模型（LDM，如Stable Diffusion）**提供高分辨率梯度，通过渲染图像与潜在空间交互优化网格细节。
• 技术细节：
  • 焦距调整：增大焦距以捕捉高频细节；
  • 正则化约束：对网格相邻面角度差异进行约束，避免表面不平滑。
• 效率：细阶段耗时25分钟，总时间缩短至40分钟，比DreamFusion快2倍。

3. 关键技术创新点

1. 高效场景表示：
   • 粗阶段使用Instant-NGP的哈希网格，细阶段采用纹理网格，分别适配低/高分辨率优化需求，平衡速度与质量。
2. 扩散先验的分阶段应用：
   • 低分辨率模型（eDiff-I）引导几何初始化，高分辨率模型（Stable Diffusion）细化纹理，实现8倍分辨率的提升。
3. 个性化控制与编辑：
   • 结合DreamBooth对扩散模型微调，将特定对象绑定到唯一标识符（如[V]），支持生成定制化3D内容。

4. 实验结果与优势

• 生成质量：用户研究表明，61.7%的参与者认为Magic3D生成结果优于DreamFusion，尤其在几何细节（如动物毛发、物体纹理）上表现突出。
• 效率提升：总耗时40分钟，速度提升2倍，且支持直接导出至图形引擎使用。
• 扩展功能：
  • 图像条件生成：通过输入图像调整生成结果，例如根据宠物照片生成对应的3D模型。
  • 提示词编辑：支持基于文本提示的局部修改（如调整颜色、形状），无需重新训练整体模型。

5. 局限性与未来方向

• 硬件依赖：需8块A100 GPU，对算力要求较高。
• 细节限制：尽管分辨率提升，复杂结构（如透明材质）仍可能表现不足。
• 后续改进：后续工作可结合更高效的网格表示（如神经隐式表面）或轻量化扩散模型进一步优化效率。

6. 研究影响与意义

Magic3D为文本到3D生成领域树立了新标杆，其贡献包括：

1. 方法论突破：验证了“粗到细”框架在高分辨率3D生成中的有效性，启发了后续研究（如Progressive3D、VSD）。
2. 应用扩展：推动游戏、虚拟现实等领域的高效3D内容创作，降低专业建模门槛。
3. 技术融合：首次将个性化图像编辑（DreamBooth）与3D生成结合，为可控内容生成提供新范式。

总结

Magic3D通过两阶段优化框架与高效场景表示，成功解决了DreamFusion的速度与分辨率瓶颈，成为文本到3D生成领域的重要里程碑。其创新点在于分阶段利用不同分辨率扩散模型的优势，并通过网格表示实现高分辨率细节优化。尽管存在硬件依赖等局限，但其方法论为后续研究提供了关键参考，推动了AIGC从2D向3D的扩展。

CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers

1. 研究背景与核心挑战

文本到视频生成（Text-to-Video Generation）是生成式AI领域的重要方向，但面临两大核心挑战：

• 数据稀缺性：与文本-图像数据相比，高质量文本-视频对规模有限（如最大的标注数据集VATEX仅4.1万视频），且检索型数据（如Howto100M）的文本与视频动作时间关联性弱。
• 时间对齐与运动建模：传统自回归模型（如VideoGPT）生成的视频帧易偏离文本提示，难以捕捉复杂动作（如“狮子喝水”需分解为举杯、饮用、放下等时序动作）。

2. 方法创新

CogVideo通过继承图像生成模型知识与分层训练策略实现高效视频生成，主要技术亮点如下：

• 多帧率分层训练
  1. 关键帧生成：基于预训练文本-图像模型CogView2（60亿参数）生成低帧率关键帧（如1 fps），通过文本中嵌入帧率标记（如“以1 fps生成”）控制时序对齐。
  2. 帧插值：引入双向注意力机制的插值模型递归填充中间帧，逐步提升帧率（如至32 fps），增强视频连贯性。通过滑动窗口机制优化长序列生成效率，减少内存消耗。

• 双通道注意力（Dual-channel Attention）

在CogView2的每个Transformer层中新增时空注意力模块，冻结原始图像生成参数，仅训练新增通道。通过混合因子α动态融合图像与时空特征，避免破坏预训练知识。

• 训练数据与分辨率优化
  使用540万文本-视频对，原始视频分辨率160×160，通过CogView2上采样至480×480，平衡生成质量与计算成本。

3. 实验与性能

• 评估指标
  • FVD（Fréchet Video Distance）：评估生成视频与真实视频分布的距离，数值越低越好。
  • IS（Inception Score）：衡量生成视频的清晰度与多样性，数值越高越好。
• 结果对比
  • 在UCF-101和Kinetics-600数据集上，CogVideo的FVD和IS得分处于中等水平，但人类评估（90名志愿者参与）显示其在语义相关性、动作真实感等方面显著优于基线模型（如VideoGPT）。
  • 生成示例中，模型能处理复杂场景（如“燃烧的心”“海滩奔跑”），但也存在逻辑错误（如“狮子用手喝水”）。

4. 贡献与意义

• 首个开源大规模文本-视频模型：94亿参数规模，为社区提供可复现的研究基础。
• 高效迁移学习：通过冻结图像模型参数与新增模块，避免从头训练的高成本，实现知识迁移。
• 多模态扩展潜力：框架支持多种条件输入（如边界框、风格参考），为影视预演、游戏开发等场景提供工具。

5. 局限与未来方向

• 生成质量限制：依赖低分辨率训练数据，细节生成（如纹理、光照）仍需优化。
• 语言输入限制：仅支持中文提示，需依赖翻译工具扩展多语言场景。
• 计算效率：尽管采用滑动窗口机制，长视频生成仍需要高性能硬件支持。
• 未来改进：结合动态条件生成（如用户交互编辑）、3D建模（如VR视频）及多模态融合（如音频同步）。

总结

CogVideo通过创新的分层训练与注意力机制设计，推动了文本到视频生成的实用化进程。其开源特性与技术框架为后续研究（如长视频生成、多模态控制）提供了重要参考，标志着生成式AI从静态图像向动态视频的关键跨越。

One-Minute Video Generation with Test-Time Training

NVIDIA

1. 研究背景与核心问题

现有的视频生成模型（如Sora、Veo等）在生成长时间、多场景的视频时面临两大挑战：

• 长上下文处理效率低：传统Transformer的自注意力机制在长序列（如一分钟视频需处理数十万标记）上计算复杂度呈二次方增长，导致生成效率低下。
• 叙事连贯性不足：递归神经网络（如Mamba）虽能线性处理时间序列，但其固定大小的隐藏状态难以捕捉复杂多场景的动态细节，导致生成视频的连贯性差。

论文旨在解决如何从文本故事板直接生成高质量、连贯的一分钟视频，突破现有模型在时间跨度和叙事复杂性上的限制。

2. 方法创新：TTT层与模型架构

论文提出测试时训练（Test-Time Training, TTT）层，其核心思想是通过动态调整模型隐藏状态，增强对长序列的全局理解能力。具体实现包括：

• TTT层设计：将隐藏状态扩展为双层MLP神经网络，通过梯度下降在推理阶段动态优化，提升对历史上下文的压缩能力。

• 模型集成：基于预训练的Diffusion Transformer（CogVideo-X 5B），将输入视频划分为3秒片段处理局部注意力，TTT层全局捕捉跨片段叙事逻辑，并通过门控机制防止训练初期引入噪声。

• 多阶段训练策略：从3秒片段逐步扩展至63秒（一分钟）视频，仅微调TTT层和门控参数，保留预训练模型的知识。

3. 实验与性能验证

• 数据集：基于《猫和老鼠》动画构建数据集，包含7小时视频，人工标注为3秒片段的故事板（涵盖场景、角色动作、镜头角度等），聚焦叙事连贯性而非视觉真实性。
• 评估指标：采用人工盲测与Elo评分系统，从文本对齐性、动作自然度、美学质量、时间一致性四个维度对比基线模型（如Mamba 2、滑动窗口注意力等）。
• 结果：
  • TTT层生成的视频在Elo评分上平均领先34分，尤其在动作连贯性和跨场景一致性上表现突出。
  • 生成的视频无需后期编辑，可直接输出完整故事（如汤姆追逐杰瑞的完整情节），但存在光照不一致、运动漂浮等伪影，可能与5B预训练模型的限制有关。
  • 推理效率：TTT层比全注意力模型快2.5倍，但低于Gated DeltaNet等轻量方法。

4. 技术亮点与创新

• 动态适应性：TTT层在推理阶段实时调整隐藏状态，实现“边生成边学习”，增强模型对复杂叙事的处理能力。
• 参数高效性：仅需微调少量参数（TTT层和门控机制），避免从头训练大模型的资源消耗。
• 开放扩展性：理论上可支持更长时间（如电影级）和更复杂故事生成，未来可结合更大骨干模型（如Transformer隐藏状态）进一步提升表现。

5. 局限与未来方向

• 模型能力限制：生成的视频仍存在伪影，需依赖更强大的预训练模型（如更大参数量或更高质量数据集）。
• 效率优化：当前TTT层的训练和推理速度仍有提升空间，未来可通过优化MLP内核或编译器友好设计加速。
• 应用扩展：探索跨模态条件（如音频同步生成）和更广泛领域（如教育动画、影视预演）的应用。

总结

该论文通过引入TTT层，在无需重新训练大模型的前提下，显著提升了长视频生成的叙事连贯性和时间一致性。其方法不仅为AI视频生成提供了新的技术路径，也为其他序列建模任务（如自然语言处理、音频生成）的适应性优化提供了借鉴。未来结合更高效的架构设计和多模态输入，有望进一步推动生成式AI在影视、游戏等领域的落地。

Key-Locked Rank One Editing for Text-to-Image Personalization

是2023年提出的一种文本到图像（T2I）模型个性化方法，旨在通过动态的秩-1更新（rank-1 editing）技术，高效学习新概念并避免过拟合问题。以下是论文的核心内容解读：

1. 核心问题与挑战

现有文本到图像个性化方法（如DreamBooth、Textual Inversion）在微调过程中存在两大问题：

1. 过拟合：模型倾向于过度拟合少量训练样本的细节（如背景、姿势），导致生成多样性下降。
2. 概念干扰：多概念联合训练时，不同概念的注意力权重互相干扰，破坏生成图像的语义一致性。

2. 方法创新：Key-Locked Rank-1 Editing

2.1 动态秩-1更新

• 核心思想：将新概念的交叉注意力键（key）锁定到其所属的超类（如“狗”属于“动物”类），避免模型过度关注训练样本的细节。
• 数学实现：通过动态调整交叉注意力层中键矩阵的秩-1更新，仅修改关键参数以捕捉新概念的语义特征，同时保留预训练模型的泛化能力。

2.2 参数高效性

• 可训练参数：仅需更新交叉注意力层中的键（key）和值（value）投影矩阵，总参数量低至11KB，相比传统微调方法（如LoRA）参数效率提升2倍。
• 训练时间：单概念训练仅需数分钟（A100 GPU），多概念联合训练效率显著优于逐概念微调。

2.3 超类锁定机制

• 键锁定（Key-Locking）：将新概念的键向量与预定义超类的语义空间对齐，防止模型过度偏离预训练知识。例如，学习“特定玩具狗”时，键向量被约束在“狗”类的语义范围内。
• 正则化策略：引入对比损失，拉近新概念与超类特征的相似性，同时推远与其他无关概念的关联。

3. 实验结果与优势

3.1 单概念生成

• 保真度：生成的图像在视觉细节（如纹理、形状）上与参考图像高度一致，且背景多样性优于Textual Inversion和DreamBooth。
• 文本对齐：通过CLIP评分衡量，文本-图像对齐度提升12%。

3.2 多概念组合

• 零样本组合：支持未在训练中出现的概念组合（如“狗戴帽子+墨镜”），生成结构合理且无混淆的图像。
• 用户研究：85%的用户认为生成结果在概念独立性和组合逻辑上更优。

3.3 抗过拟合能力

• KID指标：在LAION-400M验证集上，过拟合程度比DreamBooth降低30%，表明模型保留了更好的泛化能力。

4. 应用场景

1. 个性化内容生成：用户上传少量图片（如宠物、家具），生成包含多元素的定制场景。
2. 艺术创作：支持风格迁移与多元素融合（如“梵高风格+水彩纹理”）。
3. 数据增强：为多对象交互任务生成训练数据（如自动驾驶中的“行人+车辆+交通标志”）。

5. 局限性

• 概念数量限制：超过5个概念时需扩展秩参数，否则生成质量下降。
• 物理逻辑支持有限：复杂空间关系（如“杯子半满的水”）需后处理。
• 文本依赖性：生成效果受提示词质量影响较大，对模糊描述敏感。

6. 后续影响

• 技术扩展：启发了后续工作如Cones（通过概念神经元分解改进多概念解耦）和UniTune（统一框架支持任意概念组合）。
• 工业应用：被集成至Adobe Firefly等工具，支持多元素定制生成。

总结

该论文通过动态秩-1更新和键锁定机制，在文本到图像个性化任务中实现了高效参数更新与语义精准控制的平衡。其核心贡献在于解决了多概念训练中的过拟合与干扰问题，为个性化生成提供了轻量化且可扩展的解决方案。未来方向可能包括提升复杂交互支持能力及扩展至视频生成领域。

MARCHING CUBES: A HIGH RESOLUTION 3D SURFACE CONSTRUCTION ALGORITHM'; Computer Graphics, Volume 21, Number 4, July 1987

Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation

一、核心思想与背景

传统基于扩散模型的图像翻译方法常依赖显式标注（如掩码）或联合训练，难以平衡生成内容与源图像结构的保留。本文提出了一种无需训练或微调的文本驱动图像到图像（I2I）翻译框架，通过直接操纵扩散模型内部的空间特征和自注意力机制，实现生成过程的细粒度控制。其核心思想是：从源图像中提取中间层的空间特征和自注意力图，注入目标图像的生成过程，从而在保留源图像语义布局的同时，根据文本提示修改外观属性。

传统方法的局限性

1. 依赖掩码标注：如Inpainting等方法需用户指定编辑区域，交互成本高。
2. 结构控制不足：文本提示的微小修改可能导致全局结构变化。
3. 真实图像适配困难：多数方法需预训练模型微调，难以直接处理真实图像。

二、方法原理

1. 扩散特征分析

• 空间特征：中间解码器层（如第4层）的特征编码了局部语义信息（如物体部件），且受外观变化影响较小。通过PCA可视化发现，这些特征在不同领域的图像中共享相似的语义区域（如人物头部、躯干）。
• 自注意力机制：自注意力矩阵（self-attention affinity）捕捉了空间布局和形状细节。早期层的注意力与语义布局对齐，深层则包含高频纹理信息。

2. 特征注入流程

1. DDIM反转编码：将源图像通过DDIM前向过程编码为隐变量，并记录解码过程中各层的空间特征和自注意力图。
2. 目标生成控制：
   • 空间特征注入：将源图像中间层（如第4层）的特征替换目标生成过程的对应特征，保留局部语义结构。
   • 自注意力注入：替换目标生成的自注意力矩阵，确保布局一致性。
   • 参数控制：引入时间步阈值（τ_f和τ_A），仅在生成后期注入特征，避免早期噪声阶段干扰。
3. 负提示（Negative-prompting）：使用源图像的文本描述作为负提示，减少生成图像与源外观的关联，增强编辑自由度。

三、技术贡献与优势

1. 无需训练：直接利用预训练扩散模型（如Stable Diffusion），无需微调或额外数据，支持即插即用。
2. 细粒度控制：通过中间层特征和自注意力机制，实现结构保留与外观修改的平衡，优于Prompt-to-Prompt（P2P）的粗粒度布局控制。
3. 多样化任务支持：涵盖草图转真实图像、物体类别替换、全局属性调整（光照、颜色）等场景。
4. 高效性：单张图像处理仅需数分钟，显著低于基于微调的方法（如DreamBooth）。

四、实验验证

1. 定性评估

• 复杂场景编辑：在COCO等数据集上展示多对象替换（如“马→机器马”）和风格迁移（如“梵高风格”），生成结果在结构一致性与文本对齐性上优于CycleGAN、SDEdit等基线方法。
• 真实图像处理：成功将真实照片转换为目标文本描述的场景（如“穿红色裙子的舞者”），保留姿态与背景细节。

2. 定量对比

• 指标分析：在Wild-TI2I和ImageNet-R-TI2I基准测试中，综合CLIP（文本对齐）和DINO-ViT（结构相似性）指标，该方法在保真度与编辑自由度间达到最优平衡。
• 用户研究：70%参与者认为该方法生成结果更符合预期，显著优于P2P和DiffusionCLIP。

3. 消融实验

• 特征层选择：仅注入第4层特征可避免外观泄漏（深层特征携带过多纹理信息）。
• 自注意力必要性：未注入自注意力时，生成结构易错位。

五、理论分析与局限性

1. 理论基础
   该方法本质是通过特征空间对齐实现跨域映射：中间层特征编码语义结构，自注意力约束空间关系。这与扩散模型的跨模态表征能力密切相关。
2. 局限性：
   • 语义关联依赖：若源图像与目标文本无语义关联（如“斑马→飞机”），生成结果可能失败。
   • 计算开销：高分辨率图像需结合分层扩散模型加速处理。
   • 纹理保留问题：对无纹理图像（如剪影），DDIM反转可能导致低频信息泄漏。

六、应用与拓展

1. 医学影像编辑：结合局部注意力控制，实现病灶区域的精准修改（如肿瘤尺寸调整）。
2. 艺术创作：支持风格-内容解耦，例如将真实照片转为特定艺术风格。
3. 多模态扩展：与IP-Adapter等框架结合，实现草图+文本联合引导生成。

七、总结

《Plug-and-Play Diffusion Features》通过深入挖掘扩散模型的内部特征空间，提出了一种高效、灵活的文本驱动图像翻译框架。其核心创新在于将特征注入与自注意力控制结合，无需训练即可实现结构保留与语义编辑的平衡。尽管存在复杂场景适应性和计算效率的挑战，该方法为可控生成与多模态内容创作提供了重要参考，并在医疗影像、数字艺术等领域展现了广阔前景。

NULL-text Inversion for Editing Real Images Using Guided Diffusion Models

一、核心思想与背景

传统基于扩散模型的图像编辑方法（如DDIM Inversion）在结合分类器无引导（Classifier-Free Guidance, CFG）时，存在隐变量轨迹反转不准确的问题，导致编辑后的图像与原图结构偏离或细节丢失。本文提出了一种名为NULL-text Inversion的优化方法，旨在通过仅调整CFG中的空文本嵌入（null-text embedding），实现真实图像的高保真编辑。其核心思想是：通过优化空文本嵌入而非模型参数，解决传统方法在隐空间反转中的累积误差问题，从而更精确地保留原始图像的结构与细节。

传统方法的局限性

1. 隐空间反转误差累积：DDIM反转在CFG模式下因噪声预测偏差导致反转轨迹偏离真实分布。
2. 编辑保真度低：直接应用文本引导编辑时，全局结构易被破坏。
3. 计算成本高：现有方法需微调模型参数，难以快速适配不同编辑任务。

二、方法原理

NULL-text Inversion的流程分为两步：Pivotal Inversion（关键反转）和Null-text Optimization（空文本优化）。

1. Pivotal Inversion

• 目标：生成初始隐变量轨迹 \( {z_ T ^ *, \dots, z _ 0 ^ *} \)，作为后续优化的起点。
• 实现：关闭CFG（guidance scale=1），使用标准DDIM反转将输入图像 \( I \) 编码至隐空间。此时反转轨迹 \( z_0^* = z_0 \) 保留了图像的低频结构，但高频细节可能因误差累积而丢失。

2. Null-text Optimization

• 目标：优化每个时间步 \( t \) 的空文本嵌入 \( \emptyset_t \)，以最小化反转轨迹的预测误差。
• 实现：

  • 按时间步从 \( t=T \) 到 \( t=1 \) 逆序优化，每个步骤迭代 \( N \) 次。

  • 初始化 \( z_t = z_t^* \)，固定扩散模型参数，仅优化空文本嵌入 \( \emptyset_t \)。

  • 损失函数为：

    \(\min_{\emptyset_t} | z_{t-1}^* - z_{t-1}(z_t, \emptyset_t, C) |_2^2\)

    其中 \( C \) 为条件文本嵌入，\( z_{t-1}(z_t, \emptyset_t, C) \) 是结合CFG的反向扩散预测结果。

  • 通过逐步优化，空文本嵌入被调整为适配当前图像的条件，从而减少反转误差。

3. 编辑生成

优化后的空文本嵌入与目标文本提示结合，通过扩散模型的反向过程生成编辑后的图像。由于空文本嵌入已适配原图结构，编辑仅局部修改与目标文本相关的区域，保留非编辑区域细节。

三、技术贡献与优势

1. 无需模型微调：仅优化空文本嵌入，保留预训练模型的生成能力，支持即插即用式编辑。
2. 高保真编辑：通过逆序优化策略，有效抑制反转误差累积，保留原图结构与细节。
3. 兼容性强：可无缝集成至Stable Diffusion等主流扩散模型，支持文本引导的多样化编辑（如替换、风格迁移）。
4. 计算高效：单张图像优化仅需数分钟，显著低于传统参数微调方法。

四、实验验证

1. 定性评估

• 复杂场景编辑：在自然图像数据集（如ImageNet）中展示物体替换（如“狗→猫”）、属性调整（如“调整光照强度”）等任务，生成结果在结构一致性与文本对齐性上优于DiffEdit、SDEdit等基线方法。
• 真实图像编辑：通过结合Prompt-to-Prompt框架，实现局部语义控制（如仅修改“背景”或“物体颜色”）。

2. 定量对比

• 用户研究：70%参与者认为NULL-text Inversion的编辑结果在保真度与编辑质量上优于基线方法。
• 指标分析：CLIP得分（衡量文本-图像对齐性）与LPIPS（评估结构相似性）显示，该方法在两者间达到最佳平衡。

3. 消融实验

• 优化顺序影响：逆序优化（\( t=T→1 \)）相比顺序优化（\( t=1→T \)）显著降低误差累积。
• 空文本嵌入必要性：若不优化空文本，直接使用默认嵌入会导致编辑区域模糊或结构失真。

五、理论分析与局限

1. 理论基础
   NULL-text Inversion的本质是通过优化空文本嵌入，调整CFG的条件分布，使其适配特定图像的隐空间轨迹。这一过程可视为一种隐式的分布对齐，减少条件生成中的域偏移。
2. 局限性：
   • 复杂语义修改受限：若目标文本与原图语义差异过大（如“汽车→飞机”），可能生成结构不合理的结果。
   • 高分辨率计算开销：需结合分层扩散模型或加速采样策略（如DDIM子序列采样）以降低耗时。
   • 多对象编辑挑战：同时修改多个不相关区域时，注意力机制可能产生冲突。

六、应用与拓展

1. 医学图像编辑：结合局部注意力控制，实现病灶区域的精准修改（如肿瘤尺寸调整）。
2. 艺术创作：支持风格迁移与内容保留的独立控制，例如将真实照片转为特定艺术风格。
3. 多模态扩展：与IP-Adapter等图像提示技术结合，实现多模态条件生成（如草图+文本联合引导）。

七、总结

《NULL-text Inversion for Editing Real Images Using Guided Diffusion Models》通过优化空文本嵌入，为基于扩散模型的图像编辑提供了一种高效、高保真的解决方案。其核心创新在于将编辑过程解耦为隐空间轨迹优化与条件分布适配，既保留了原始图像结构，又实现了多样化的语义修改。尽管存在复杂编辑与计算效率的挑战，该方法为后续研究（如可控生成、多模态对齐）提供了重要参考，并在医疗影像、艺术创作等领域展现了广阔的应用前景。

Simple Diffusion: End-to-end diffusion for high resolution images

1. 研究背景与挑战

传统扩散模型（如DDPM）在生成高分辨率图像时面临两大挑战：

• 计算复杂度高：直接在像素空间训练高分辨率图像需要处理高维数据，导致内存和计算资源需求剧增。
• 优化困难：模型需在单次前向传递中同时捕捉全局语义和局部细节，导致训练不稳定。
  现有解决方案（如LDM、级联模型）通过引入潜在空间或分阶段生成降低复杂度，但牺牲了信息完整性并增加了训练复杂性。

2. 核心创新与方法

（1）信噪比分析与噪声调度优化

• 问题分析：论文指出，传统噪声调度在高分辨率下会导致高频细节过早丢失，影响生成质量。通过重新设计信噪比（SNR）曲线，平衡不同分辨率下的噪声分布，确保训练过程中保留更多细节。
• 多尺度噪声调度：对不同分辨率层级的特征采用差异化的噪声强度，避免全局统一调度带来的信息损失。

（2）端到端的多尺度架构设计

• 嵌套UNet结构：借鉴U-ViT和DiT的思想，将Transformer块引入UNet，通过长跳跃连接整合低层细节与高层语义，提升模型对高分辨率特征的表达能力。
• 渐进式训练策略：从低分辨率（如64×64）开始训练，逐步扩展至高分辨率（如1024×1024），减少初始训练复杂度并加速收敛。

（3）多尺度损失函数

• 联合优化目标：在多个分辨率层级上计算去噪损失，强制模型同时学习全局结构和局部细节。例如，低分辨率分支关注整体布局，高分辨率分支细化纹理。

3. 实验结果与优势

• 生成质量：在ImageNet 256×256和1024×1024数据集上，Simple Diffusion的FID和IS指标优于传统级联模型（如DALL-E 2）和潜在扩散模型（如Stable Diffusion）。
• 效率提升：通过端到端训练和渐进式策略，训练时间相比级联模型减少40%，显存占用降低30%。
• 数据兼容性：在仅1.2亿图像的CC12M数据集上实现零样本泛化，验证了方法的鲁棒性。

4. 与相关工作的对比

• vs 级联模型：避免分阶段训练导致的误差累积，提升全局一致性。
• vs 潜在扩散模型：直接在像素空间操作，避免自动编码器压缩带来的信息损失，更适合细节敏感任务（如超分辨率）。
• vs Matryoshka Diffusion：两者均采用多尺度架构，但Simple Diffusion通过信噪比优化和Transformer块设计，在训练效率上更具优势。

5. 应用与影响

• 高分辨率生成：支持单模型端到端生成1024×1024图像，为影视、游戏等工业场景提供新工具。
• 跨模态扩展：方法框架可扩展至视频生成（如Lumiere的时空扩散架构），通过时间维度扩展实现连贯运动建模。
• 开源生态：论文代码已整合至Hugging Face Diffusers库，推动社区在高分辨率生成领域的研究。

6. 局限与未来方向

• 硬件依赖：训练1024×1024模型仍需大量GPU资源，限制了个人研究者的可及性。
• 动态内容生成：当前方法对复杂动态场景（如人物交互）的生成效果有限，需结合时空注意力机制改进。
• 模态融合：未来可探索文本、音频等多模态条件下的高分辨率生成，提升应用广度。

总结

《Simple Diffusion》通过端到端架构设计、噪声调度优化和多尺度训练策略，突破了高分辨率扩散模型的训练瓶颈，为像素级生成任务提供了高效且高质量的解决方案。其方法不仅推动了生成模型的技术边界，也为视频、3D等复杂模态的端到端生成奠定了基础。

One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale

1. 研究背景与目标

多模态生成模型是通用人工智能的重要方向，但现有模型（如DALL·E 2、Stable Diffusion）仅支持单一模态生成（如文生图），难以实现任意模态间的互操作。清华大学朱军团队提出UniDiffuser，旨在通过统一的扩散模型框架，支持图像、文本、图文联合生成、条件生成等多样化任务，突破传统模型的局限性。

2. 核心创新点

（1）统一的概率建模框架

• 多模态分布的统一建模：传统扩散模型需为不同分布（边缘、条件、联合）单独设计，而UniDiffuser通过动态调整各模态的噪声扰动级别（时间步长），将多模态生成任务统一为噪声预测问题。例如：
  • 文生图：将文本的时间步长设为0（即无噪声），图像的时间步长逐步去噪。
  • 联合生成：图文时间步长同步变化，生成匹配的图文对。
• 训练目标函数：通过联合预测多模态噪声，最小化噪声预测误差，支持所有分布的同步学习。

（2）基于Transformer的U-ViT架构

• 统一处理多模态输入：将不同模态数据（如图像隐空间编码、文本CLIP嵌入）转换为token序列，通过U型连接的Transformer块进行交互。
• 高效性：结合Stable Diffusion的图像编解码器与自研的GPT-2文本解码器，参数规模达十亿级，支持单卡（10GB显存）推理。

（3）零成本的Classifier-Free Guidance (CFG)

• 通过线性组合条件生成与无条件生成模型，提升生成质量。例如，在文生图任务中，通过调整guidance scale平衡文本对齐与图像真实性。

3. 实验结果与性能

• 多任务生成能力：支持7种生成模式（如文生图、图生文、图文互跳、图像插值等），生成效果在CLIP Score和FID指标上优于通用模型Versatile Diffusion，甚至接近专用模型（如Stable Diffusion）。
• 效率优势：使用DPM-Solver快速采样算法，仅需约20步即可生成高质量样本，显著降低计算成本。
• 数据兼容性：基于LAION-5B大规模图文数据集训练，支持不同噪声水平的数据（如WebData与内部数据）。

4. 应用与影响

• 开源与生态整合：代码与模型已在GitHub和Hugging Face开源，并与Diffusers库集成，支持灵活调用。
• 推动多模态技术发展：UniDiffuser的框架被后续工作（如视频生成模型Vidu）采用，成为多模态生成领域的核心技术之一。
• 学术贡献：相关成果发表于ICML 2023，并衍生出U-ViT、DPM-Solver等关键技术，被OpenAI等机构借鉴。

5. 局限与未来方向

• 生成分辨率限制：当前版本支持512×512分辨率，尚未扩展至更高清输出。
• 模态扩展性：目前主要针对图文模态，未来可探索视频、音频等多模态联合生成。

总结

UniDiffuser通过统一的扩散框架和Transformer架构，首次实现了多模态生成任务的“一模型多用”，在性能、灵活性和效率上均达到前沿水平。其开源生态与理论创新为通用生成模型的进一步发展提供了重要基础。

Scalable Diffusion Models with Transformers

DiT

1. 核心思想与创新点

该论文提出了一种基于Transformer架构的扩散模型——Diffusion Transformer（DiT），旨在替代传统扩散模型中的U-Net主干网络。其核心思想是通过Transformer的全局自注意力机制建模图像生成过程，验证了Transformer在扩散模型中的可扩展性与性能优势。主要创新点包括：

• 架构革新：首次用纯Transformer替换U-Net，解决了U-Net因局部感受野导致的全局一致性不足问题。
• 条件嵌入优化：提出自适应层归一化（adaLN-Zero），通过动态调整归一化参数并初始化残差连接为恒等映射，显著提升训练稳定性和生成质量。
• 可扩展性验证：模型性能（FID）随计算复杂度（Gflops）增加而提升，符合“扩展法则”（Scaling Law），为大规模训练提供理论支持。

2. 模型架构与关键技术

DiT的架构设计围绕以下关键组件展开：

• 输入处理：
  • Patchify模块：将潜在空间特征图（如32×32×4）分割为小块（如2×2），线性投影为Token序列，模拟ViT的图像处理方式。
  • 条件嵌入：时间步（timestep）和类别标签通过嵌入向量与图像Token拼接，或通过adaLN-Zero动态调节层归一化参数。
• Transformer块设计：
  • adaLN-Zero模块：将时间步和类别标签的嵌入相加，回归缩放（scale）和偏移（shift）参数，并初始化残差路径的权重为零，加速收敛。
  • 长跳跃连接：在浅层与深层之间引入跨层连接，保留局部细节信息，提升生成质量。
• 解码器：通过线性层将Transformer输出的Token序列还原为噪声预测和协方差预测，保持与输入相同的空间维度。

3. 实验与性能

• 基准测试：
  • ImageNet 256×256：DiT-XL/2（118.6 Gflops）的FID达2.27，显著优于LDM（3.60）和ADM等模型。
  • ImageNet 512×512：FID为3.04，超越同期所有模型（如StyleGAN-XL）。
• 消融实验：
  • 条件嵌入机制：adaLN-Zero在生成质量上优于交叉注意力（+15% Gflops）和上下文拼接（In-Context Conditioning）。
  • 模型规模与Patch大小：增大模型深度/宽度或减小Patch尺寸（增加Token数量）均能显著提升FID，验证了可扩展性。

4. 优势与影响

• 计算效率：相比U-Net，DiT在相同分辨率下训练速度提升1.5倍，内存占用减少30%。
• 多任务泛化：架构灵活性使其易于扩展至视频生成（如Sora模型），通过时空Patch处理实现长序列建模。
• 行业影响：为OpenAI的Sora提供了核心技术基础，推动扩散模型从图像到视频生成的跨越。

5. 局限性与未来方向

• 计算成本：高分辨率生成仍需依赖潜在空间压缩，可能损失细节；DiT-XL/2的单次推理需524.6 Gflops，对硬件要求较高。
• 多样性限制：同一提示多次生成结果相似性较高，需结合动态阈值采样或隐变量优化。
• 未来方向：
  • 连续时间建模：结合随机微分方程（SDE）理论，优化时间步的连续化处理。
  • 多模态扩展：探索与Mamba架构或自监督预训练（如MAE）的结合，提升长视频生成的时序一致性。

总结

DiT通过Transformer架构的统一性与可扩展性，重新定义了扩散模型的设计范式。其核心贡献不仅在于性能突破，更在于验证了“大数据+大模型”路径在生成任务中的有效性，为后续多模态生成（如Sora）提供了关键技术支持。然而，其在计算效率与生成多样性上的挑战仍需进一步探索轻量化与随机性增强策略。

All are Worth Words: A ViT Backbone for Score-based Diffusion Models

1. 核心思想与背景

该论文提出了一种基于视觉Transformer（ViT）的扩散模型主干网络 U-ViT，旨在替代传统扩散模型中广泛使用的U-Net架构。其核心思想是将图像生成过程中的所有输入（包括噪声图像块、时间步长、条件信息）统一视为“令牌”（Token），通过ViT的全局自注意力机制进行建模。这一设计突破了扩散模型对U-Net的依赖，展示了纯Transformer架构在生成任务中的潜力。

2. 架构设计

U-ViT的主要架构特点包括：

• 输入统一化：将噪声图像块（如16×16像素）、时间步长编码（time embedding）和条件嵌入（如文本描述）均转换为Token序列输入Transformer。这种设计简化了多模态信息的融合，避免了U-Net中复杂的跨模态注意力层。
• 长跳跃连接（Long Skip Connections）：在浅层与深层之间引入跨层连接，直接传递低层特征，缓解了扩散模型噪声预测任务对局部细节敏感的问题。实验表明，长跳跃连接对生成质量至关重要，例如在CIFAR10上可将FID从4.32降至2.29。
• 轻量化卷积模块：在Transformer块后添加3×3卷积层以增强局部特征提取，但相比U-Net的下采样和上采样操作，其计算复杂度更低。

3. 关键创新点

• 全局注意力替代局部卷积：通过ViT的全局自注意力机制捕捉长程依赖，解决了U-Net因局部感受野导致的全局一致性不足问题。例如，在生成复杂场景（如“棒球运动员挥棒击球”）时，U-ViT能更准确地关联文本与图像内容。
• 动态条件融合：时间步长和条件信息作为Token直接输入，使模型在每一层都能进行多模态交互，而U-Net仅在特定层（如交叉注意力层）融合条件信号，导致信息利用不足。
• 训练效率优化：采用分块训练策略（如32×32潜在空间），结合轻量化设计，U-ViT在ImageNet 256×256上的训练速度比U-Net快1.5倍，且内存占用减少30%。

4. 实验与性能

• 生成质量：在多个基准测试中，U-ViT表现出与U-Net相当甚至更优的性能。例如：
  • ImageNet 256×256：类条件生成FID为2.29，优于LDM（潜在扩散模型）的3.60。
  • MS-COCO文本到图像生成：FID达5.48，超越同期基于U-Net的模型。
• 消融研究：长跳跃连接对性能提升贡献最大，移除后FID上升约40%；时间步长作为Token输入比自适应归一化（AdaLN）更有效。
• 扩展性：通过增加Transformer层数（如从13层到17层），模型可进一步提升生成质量，验证了ViT架构的可扩展性。

5. 局限性与未来方向

• 计算成本：尽管训练效率提升，高分辨率生成（如1024×1024）仍需依赖潜在空间压缩，可能损失细节。
• 多样性限制：同一文本提示多次生成的结果相似性较高，需结合随机性增强策略（如动态阈值采样）。
• 未来方向：可探索与Mamba架构（如ZigMa）结合，利用状态空间模型的长序列建模能力优化计算效率；或结合自监督表征（如RCG框架）提升无标签数据下的生成多样性。
• 控制信号注入：没有看到控制信号注入相关的结构和实验。

6. 应用场景

• 高分辨率图像生成：通过潜在空间建模支持1024×1024分辨率输出，适用于影视特效、游戏场景设计。
• 多模态生成：灵活的条件输入机制使其易于扩展至文本、草图、音频等多模态生成任务。
• 医学图像合成：结合潜在扩散的高效性，可生成高质量医学影像用于数据增强。

总结

U-ViT通过统一化的Transformer架构，验证了ViT在扩散模型中的有效性，为生成模型的设计提供了新范式。其核心贡献不仅在于性能提升，更在于揭示了全局注意力机制与条件融合的协同优势，为后续研究（如高效Mamba架构、自监督条件生成）奠定了基础。

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

1. 核心思想与创新点

该论文提出了一种名为 Vision Transformer (ViT) 的纯Transformer架构，用于图像分类任务。其核心思想是将图像分割为固定大小的块（如16x16像素），并将每个块视为一个“单词”，通过线性投影转换为嵌入向量序列，直接输入标准Transformer编码器进行处理。这一方法突破了传统卷积神经网络（CNN）在视觉任务中的主导地位，证明了纯Transformer在图像识别中的有效性。

关键创新点：

• 图像块序列化：将图像分割为块（Patch），通过线性投影生成嵌入向量序列，模拟NLP中的词嵌入处理方式。
• 全局自注意力机制：抛弃CNN的局部感受野设计，利用Transformer的全局注意力捕捉长程依赖。
• 极简归纳偏置：仅通过位置编码保留空间信息，减少对图像先验知识（如平移不变性）的依赖，依赖数据驱动学习。

2. 模型架构

ViT的架构主要包含以下部分：

1. 图像分块与嵌入：

   • 输入图像（如224x224）被划分为 \( N = (224/16)^2 = 196 \) 个16x16的块，每个块展平后通过线性投影映射到维度 \( D \)（如768维）的嵌入向量。
   • 添加可学习的[class]标记作为分类信号，并与块嵌入拼接，形成输入序列。

2. 位置编码：

   • 使用一维可学习位置编码，与块嵌入相加，弥补分块后丢失的空间信息。实验表明，二维编码并未显著提升性能。

3. Transformer编码器：

   • 由多层多头自注意力（MSA）和MLP块交替组成，每层包含残差连接和层归一化（LayerNorm）。
   • 最终通过[class]标记的输出向量进行分类。

4. 混合架构（可选）：

   • 可先用CNN提取特征图，再将特征图分块输入Transformer，结合CNN的局部性与Transformer的全局性。

3. 训练与微调策略

• 预训练：在大规模数据集（如JFT-300M、ImageNet-21k）上训练，采用监督学习目标。
• 微调：移除预训练的分类头，替换为任务相关的线性层，并对更高分辨率的输入进行位置编码插值以适应序列长度变化。

4. 实验与性能

• 大数据集优势：在JFT-300M等大规模数据集预训练后，ViT在ImageNet上达到88.55%的准确率，超越ResNet和EfficientNet等CNN模型。
• 小数据集局限性：在数据量不足时（如仅ImageNet），ViT因缺乏归纳偏置，性能低于CNN，需依赖大规模数据弥补。
• 计算效率：相比CNN，ViT在同等计算资源下训练速度更快，尤其在微调阶段表现出高效迁移能力。

5. 关键分析

• 注意力机制的可视化：深层Transformer块中的注意力头能够覆盖全局区域，而浅层头则更多关注局部，表明模型自适应学习空间关系。
• 位置编码的作用：一维编码虽简单，但通过插值适应不同分辨率，证明了其有效性。
• 归纳偏置对比：CNN通过卷积核强制引入局部性和平移等变性，而ViT仅通过分块和位置编码隐式学习，灵活性更高但数据需求更大。

6. 局限性及未来方向

• 计算成本：预训练需大量算力，模型参数量大（如ViT-Huge达6亿参数），限制了实际应用。
• 任务扩展性：需探索ViT在检测、分割等任务中的表现，后续工作如DETR、Swin Transformer已部分解决。
• 自监督预训练：论文指出自监督方法（如MAE）是未来方向，可减少对标注数据的依赖。

7. 影响与意义

ViT的提出标志着视觉与NLP任务在模型架构上的统一，启发了多模态模型（如CLIP、BEiT）的发展。其核心贡献在于：

• 架构创新：验证纯Transformer在视觉任务中的可行性。
• 扩展性证明：展示Transformer在大规模数据下的优越性能，推动“大数据+大模型”研究范式。

总结

ViT通过将图像视为块序列并应用标准Transformer，成功实现了图像分类任务的性能突破。其设计简洁且可扩展，为后续视觉Transformer研究奠定了基础，同时也揭示了数据规模与模型泛化能力之间的深刻联系。

eDiff-I: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers

1. 核心技术与架构

eDiff-I 是由 NVIDIA 提出的文本到图像扩散模型，其核心创新在于通过 专家去噪器集合（Ensemble of Expert Denoisers） 解决传统扩散模型在生成过程中不同阶段对文本依赖的动态变化问题。模型架构包括以下关键设计：

• 专家去噪器分阶段训练：研究发现，扩散模型在生成早期阶段依赖文本提示生成内容，而在后期更关注视觉保真度。eDiff-I 将生成过程分为多个阶段，每个阶段由专门的去噪器（专家）处理。初始阶段训练一个共享模型，随后通过微调将其拆分为针对不同阶段的专家模型，既提高生成质量，又避免增加推理时的计算成本。
• 多编码器联合条件化：模型同时利用 T5 文本编码器、CLIP 文本编码器和 CLIP 图像编码器的嵌入。T5 编码器增强文本细节理解，CLIP 编码器优化全局风格，而 CLIP 图像嵌入支持风格迁移（如参考图风格迁移至生成图像），三者结合显著提升生成多样性与对齐性。
• “以文字绘图（Paint-with-Words）”功能：通过语义掩码与交叉注意力机制，用户可在画布上绘制特定区域并关联文本提示词，从而精确控制生成图像的布局与内容，无需额外训练。

2. 关键创新点

• 动态阶段化去噪：通过分阶段专家模型，eDiff-I 在早期阶段（高噪声水平）强化文本对齐，后期（低噪声水平）专注于视觉细节优化，解决了传统模型在生成过程中条件信号逐渐失效的问题。
• 条件嵌入的协同作用：T5 与 CLIP 的互补性被充分挖掘——T5 编码器捕捉文本细粒度语义（如对象属性），而 CLIP 编码器提供风格与全局一致性。实验表明，联合使用两者生成的图像在细节和风格上均优于单一编码器。
• 高效训练策略：采用“预训练-微调”两阶段训练方案，先训练共享模型，再拆分微调专家模型，大幅降低训练复杂度，同时保持模型容量扩展的灵活性。

3. 实验与性能

• 基准测试：在标准文本到图像生成任务中，eDiff-I 在 FID（Frechet Inception Distance） 和 CLIP Score 等指标上优于同期模型（如 DALL-E 2 和 Imagen），尤其在复杂文本提示下（如多对象组合、空间关系）表现更优。
• 风格迁移能力：通过 CLIP 图像嵌入，eDiff-I 可将参考图的风格迁移至生成图像（如油画风格或摄影风格），且无需额外训练，展示了跨模态条件的灵活性。
• 用户控制验证：Paint-with-Words 功能在用户研究中被证实能有效提升生成图像的空间控制精度，尤其在需要精确对象定位的场景（如“猫坐在左侧椅子上”）中表现突出。

4. 与同类模型的对比

• 与 Imagen 的差异：Imagen 依赖级联扩散模型（分阶段提升分辨率），而 eDiff-I 强调同一分辨率下不同生成阶段的专家分工，更关注时间维度的条件动态性。
• 与 Stable Diffusion 的对比：Stable Diffusion 基于潜在空间扩散，而 eDiff-I 直接在像素空间操作，结合多编码器提供更丰富的条件信号，文本对齐能力更强。

5. 局限性与未来方向

• 计算成本：专家集合虽不增加推理成本，但多阶段训练仍需要大量算力。
• 多样性限制：生成结果对初始噪声敏感，同一文本多次生成可能缺乏多样性。
• 扩展应用：未来可探索专家模型与其他条件控制（如布局、草图）的结合，或与潜在优化技术（如网页5提到的隐变量优化）融合，进一步提升可控性。

6. 应用场景

eDiff-I 的潜力覆盖以下领域：

• 创意设计：支持用户通过文本与手绘草图的混合输入生成定制化图像，适用于广告、游戏场景设计等。
• 教育可视化：结合复杂科学概念的文本描述与风格参考图，生成教学素材。
• 数据增强：生成与特定布局对齐的合成图像，用于提升下游模型（如语义分割）的域泛化能力（类似网页2中 ALDM 的思路）。

启发

1. eDiff-I 通过专家去噪器集合与多编码器协同，显著提升了文本到图像生成的精度与可控性。其核心贡献不仅在于模型性能的突破，更在于揭示了扩散模型阶段化优化的潜力，为后续研究（如动态条件注入、多阶段控制）提供了新范式。
2. 用图像Clip Embedding可实现参考图像的风格迁移。

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding

1. 核心技术与架构

Imagen 是由 Google 提出的基于扩散模型（Diffusion Model）的文本到图像生成模型，其核心创新在于结合了大型预训练语言模型（如 T5）的文本理解能力与扩散模型的高保真图像生成能力。模型架构主要包括以下部分：

• 冻结的文本编码器：采用 T5-XXL（4.6B 参数）等大规模语言模型，将输入文本编码为语义嵌入向量。研究发现，单纯增大语言模型规模比增大图像扩散模型更能显著提升生成质量。
• 级联扩散模型：分为三级生成流程：
  1. 基础模型：生成 64×64 分辨率的初始图像；
  2. 超分辨率模型：将图像逐步提升至 256×256 和 1024×1024 分辨率。每级模型均基于改进的 U-Net 架构，并通过跨模态注意力机制融合文本嵌入。
• 动态阈值采样（Dynamic Thresholding）：允许使用更大的引导权重（Classifier-Free Guidance），避免像素过饱和，从而提升图像真实感与文本对齐效果。

2. 关键创新点

• 语言模型的跨模态应用：首次验证纯文本预训练的大语言模型（如 T5）可直接用于图像生成任务，且其性能远超传统图文对齐模型（如 CLIP）。这一发现颠覆了视觉-语言任务需依赖多模态联合训练的认知。
• 高效的 U-Net 优化：通过调整残差块数量、下采样顺序及注意力机制，显著提升模型收敛速度与内存效率。例如，在低分辨率层增加残差块并调整跳跃连接权重，使训练速度提升 2-3 倍。
• 级联生成与噪声调节：通过分阶段生成高分辨率图像并结合噪声调节增强技术，确保生成过程的稳定性和细节保真度。

主要方法

Improved DDPM + UNet

3. 评估与实验结果

• DrawBench 基准：提出包含 200 个复杂文本提示的评估框架，涵盖组合性、空间关系、罕见词理解等维度。人类评估显示，Imagen 在图像质量和文本对齐上显著优于 DALL-E 2、GLIDE 等模型。
• 定量指标：在 COCO 数据集上，Imagen 的零样本 FID 得分达 6.66，优于同期主流模型。
• 生成示例：展示了对复杂文本（如“宇航员骑马的油画”）的高保真生成能力，细节处理优于 DALL-E 2。

4. 局限性及未来方向

• 计算成本：级联扩散模型需多阶段生成，对算力要求较高；
• 多样性限制：同一文本多次生成可能输出相似图像，需改进随机性策略；
• 社会偏见：依赖大规模网络数据训练的模型可能继承语言模型的社会偏见。

启发

1. 单纯增大语言模型规模比增大图像扩散模型更能显著提升生成质量
2. 纯文本预训练的大语言模型（如 T5）可直接用于图像生成任务，且其性能远超传统图文对齐模型（如 CLIP）

DreamFusion: Text-to-3D using 2D Diffusion

这是一篇开创性的论文，提出了一种无需3D训练数据、仅依赖预训练2D文本-图像扩散模型（如Imagen）生成高质量3D内容的方法。以下从背景、方法、贡献与局限性等方面进行解读：

1. 背景与动机

• 问题挑战：传统3D生成依赖大规模标注的3D数据集，而这类数据稀缺且获取成本高。此外，2D扩散模型在图像生成上表现优异，但直接迁移到3D面临模态差异和计算复杂度问题。
• 核心目标：利用2D扩散模型的先验知识，绕过3D数据限制，实现开放域文本到3D的高效生成，同时支持多视角一致性和几何细节。

Suppose there is a text-to-image diffusion model.
Goal: optimize NeRF parameter such that each angle “looks good” from the text-to-image model.

2. 方法创新：Score Distillation Sampling（SDS）与NeRF优化

Score Distillation Sampling（SDS）

方法

SDS是论文的核心贡献，解决了如何通过2D扩散模型指导3D参数优化的难题：

• 原理：将3D模型（如NeRF）的渲染图像视为扩散模型中的噪声样本，通过预测噪声残差计算梯度，反向传播优化3D参数。公式上省略U-Net的雅可比矩阵项，简化梯度计算：

$$ \nabla_ \theta \mathcal{L}_ {\mathrm{SDS}} \propto \mathbb{E}_ {t, \epsilon} \left[ w(t)(\hat{\epsilon}_ \phi(\mathbf{z}_ t; y, t) - \epsilon) \frac{\partial \mathbf{x}}{\partial \theta} \right] $$

✅ 参数不在 2D 空间而是在 Nerf 空间，构成优化问题，通过更新 Nerf 参数来满足 loss.

Unlike ancestral sampling (e.g., DDIM), the underlying parameters are being optimized over some loss function.

优化

无需对扩散模型反向传播，仅需冻结模型作为“评论家”，通过多视角渲染迭代优化3D模型。

✅ 这一页描述 Image → Loss 的过程。

✅ 公式 1 为 diffusion model objective function.

✅ 公式 2 为算法中使用的 loss，常系数都省掉了。
由于\(x =g(\theta )\)，\(\frac{\partial L}{\partial \theta } =\frac{\partial L}{\partial x } \cdot \frac{\partial x }{\partial \theta } \)，其中 \(\frac{\partial L}{\partial x }\) 又分为第一项和第二项。
✅ 第二项：\( \partial \) Output／ \( \partial \) Input．这一项要计算 diffusion model 的梯度，成本非常高。
✅ 第三项：\( \partial \) Input Image／ \( \partial \) Nerf Angle

✅ 公式 3 把公式 2 中的第二项去掉了，为本文最终使用的 loss.

损失函数

Consider the KL term to minimize (given t):

$$ \mathbf{KL} (q(\mathbf{z} _ t|g(\theta );y,t)||p\phi (\mathbf{z} _ t;y,t)) $$

KL between noisy real image distribution and generated image distributions, conditioned on y!

KL and its gradient is defined as:

(B) can be derived from chain rule

$$ \nabla _ \theta \log p _ \phi (\mathbf{z} _ t|y)=s _ \phi (\mathbf{z} _ t|y)\frac{\partial \mathbf{z} _ t}{\partial \theta }=\alpha _ ts _ \phi (\mathbf{z} _ t|y)\frac{\partial \mathbf{x} }{\partial \theta } =-\frac{\alpha _ t}{\sigma _ t}\hat{\epsilon }_ \phi (\mathbf{z} _ t|y)\frac{\partial \mathbf{x} }{\partial \theta }
$$

(A) is the gradient of the entropy of the forward process with fixed variance = 0.

✅ A: the gradient of the entropy of the forward process。由于前向只是加噪，因此 A 是固定值，即 0.
✅ P27 和 P28 证明 P26 中的第二项可以不需要。
❓ KL 散度用来做什么？LOSS 里没有这一项。
✅ KL 用于度量 \(P(\mathbf{Z}_t｜t)\) 和 \(q(\mathbf{Z}_t｜t)\)．
✅ KL 第一项为 Nerf 的渲染结果加噪，KL 第二项为真实数据加噪。

$$ (A)+(B)= \frac{\alpha _ t}{\sigma _ t} \hat{\epsilon } _ \phi (\mathbf{z} _ t|y) \frac{\partial \mathbf{x} }{\partial \theta } $$

However, this objective can be quite noisy.
Alternatively, we can consider a “baseline” approach in reinforcement learning: add a component that has zero mean but reduces variance. Writing out (A) again:

Thus, we have:

This has the same mean, but reduced variance, as we train \(\hat{\epsilon } _ \phi\) to predict \(\epsilon\)

NeRF的改进与渲染策略

• 神经辐射场（NeRF）：采用mip-NeRF 360表示3D场景，参数化体积密度和反照率（颜色），支持光线追踪和视角一致性。
• 着色与几何增强：
  • 法线计算：通过密度梯度估计表面法线，结合随机光照增强几何细节。
  • 反照率随机替换：以一定概率将材质颜色替换为白色，防止模型退化为平面纹理（如将3D结构简化为2D贴图）。
  • 背景合成：通过alpha混合避免相机近端密度堆积，提升场景合理性。

P29

DreamFusion in Text-to-3D

• SDS can be used to optimize a 3D representation, like NeRF.

✅ 左下：以相机视角为参数，推断出每个点的 Nerf 参数。
✅ 左上：从相机视角，生成 object 的投影。
✅ 左中：左上和左下结合，得到渲染图像。
✅ 生成随机噪声，对渲染图像加噪。
✅ 右上：使用 diffusion model 从加噪图像中恢复出原始图像。（包含多个 step）
✅ 右下：得到噪声，并与原始噪声求 loss.
✅ 根据 loss 反传梯度优化左下的 MLP.

3. 实验结果与贡献

• 高质量生成：能够生成多视角一致、支持任意光照和合成的3D模型，例如“冲浪板上的孔雀”等复杂场景。
• 零样本泛化：无需3D数据，仅依赖文本提示即可生成开放域3D内容，显著降低创作门槛。
• 与基线对比：相比基于CLIP的方法（如DreamFields），DreamFusion在几何准确性和视觉保真度上表现更优。

4. 局限性与改进方向

• 生成质量缺陷：SDS生成的3D模型存在过饱和、过平滑问题，且多样性受限（不同随机种子生成结果差异小）。
• 分辨率限制：依赖64×64的Imagen基础模型，细节层次不足（后续工作如Magic3D通过提升分辨率改进）。
• 效率问题：NeRF优化耗时较长，后续研究采用Instant-NGP等加速方案。

5. 后续影响与扩展

• 领域推动：DreamFusion成为文本到3D生成的基准方法，启发了SJC、VSD等改进算法。
• ProlificDreamer的突破：清华大学团队提出变分得分蒸馏（VSD），将3D参数建模为概率分布，解决了SDS的过平滑问题，并支持更高分辨率和多样性。
• 应用前景：在游戏、虚拟现实、数字孪生等领域具有潜力，推动AIGC从2D向3D扩展。

总结

DreamFusion通过结合2D扩散模型与NeRF，开创了无3D数据依赖的文本到3D生成范式。其核心创新SDS为后续研究奠定了基础，尽管存在生成质量限制，但通过算法优化（如VSD）和工程改进（如高效NeRF变体），这一方向正逐步走向实用化。

GLIGEN: Open-Set Grounded Text-to-Image Generation

1. 研究背景与核心问题

现有的大规模文本到图像扩散模型（如Stable Diffusion）虽然能生成高质量图像，但仅依赖文本输入难以精确控制生成内容的空间布局和细节。例如，用户难以通过文本准确描述物体的位置或形状，导致生成结果可能偏离预期。此外，传统布局到图像生成模型通常局限于封闭集（如COCO的80个类别），无法泛化到未见过的新实体或复杂语义场景。因此，如何通过引入多模态条件输入（如边界框、关键点、参考图像等）实现开放集的可控生成成为关键挑战。

2. 方法创新：GLIGEN架构与训练策略

GLIGEN的核心目标是在不破坏预训练模型知识的前提下，扩展其多模态条件控制能力。具体设计如下：

• 冻结预训练权重 + 可训练门控层
  模型冻结原始扩散模型的参数，仅通过新增的门控Transformer层引入定位信息（如边界框）。这些层通过门控机制（初始化为0）逐步融合定位条件，避免灾难性遗忘。例如，边界框与文本实体通过MLP编码为特征向量，并与视觉特征拼接后输入门控层。
• 多模态条件支持
  支持四类输入组合：文本+边界框、图像+边界框、图像风格+文本+边界框、文本+关键点。其中，边界框因其跨类别泛化能力优于关键点而被广泛采用。
• 计划采样（Scheduled Sampling）
  在生成过程中，前20%的步骤（tau=0.2）使用全模型（包含门控层），后续步骤仅用原始模型。这种设计在早期确定布局轮廓，后期优化细节，兼顾控制精度与图像质量。

GLIGEN对比ControlNet：

GLIGEN	ControlNet
✅ 新增 Gated Self-Attention 层，加在 Attention 和 Cross Attention 之间。 ✅ GLIGEN 把 Condition 和 init feature 作 Concat	✅ Control Net 分别处理 feature 和 Control 并把结果叠加。

P66

GLIGEN Result

3. 实验与性能验证

• 数据集与指标
  在COCO2014和LVIS数据集上进行评估，使用FID（生成图像与真实图像的相似性）、IS（生成质量）、LDM（布局对齐度）等指标。
• 开放集泛化能力
  GLIGEN在COCO训练集未包含的实体（如“蓝鸦”“羊角面包”）上仍能生成符合定位条件的图像，证明其开放集能力。例如，通过文本编码器泛化定位信息至新概念。
• 零样本性能优势
  在LVIS（含1203个长尾类别）的零样本评估中，GLIGEN的GLIP得分显著优于有监督基线，表明预训练知识的高效迁移。

Result

4. 贡献与意义

• 开放集可控生成
  首次实现基于边界框的开放世界图像生成，支持训练中未见的实体和布局组合。
• 高效知识迁移
  通过冻结预训练权重和门控机制，在少量标注数据（如千级样本）下实现高性能，避免从头训练的高成本。
• 多模态扩展潜力
  框架可扩展至其他定位条件（如深度图、参考图像），为工业设计、游戏开发等场景提供灵活工具。

5. 局限与未来方向

• 数据依赖与泛化瓶颈
  模型性能高度依赖定位信息的质量，且对复杂细节（如物体纹理）的生成能力有限。
• 计算效率
  尽管训练成本较低，但推理时需协调多模态输入，可能增加计算复杂度。
• 未来改进方向
  作者建议探索动态条件生成、更细粒度的多模态融合（如3D法线图），以及结合大语言模型（LLM）生成复杂布局指令。

总结

GLIGEN通过创新的门控机制与冻结预训练权重策略，显著提升了文本到图像生成的可控性和开放集泛化能力。其方法不仅为AIGC的精细化控制提供了新思路，也为预训练模型的下游任务适配树立了范例。未来在多模态交互与细节生成方面的突破将进一步推动其应用落地。

Adding Conditional Control to Text-to-Image Diffusion Models

✅ Control Net 是一种通过引入额外条件来控制 Diffusion Model 的网络架构。

1. 背景与核心问题

现有的文本到图像扩散模型（如Stable Diffusion）虽然能生成高质量图像，但仅依赖文本提示难以精确控制生成图像的空间布局、姿态、形状等细节。用户需反复调整提示词才能接近预期结果，效率较低。因此，如何通过引入额外的空间条件（如边缘图、深度图、人体姿势骨架等）实现更细粒度的控制成为关键问题。

2. 方法：ControlNet架构

ControlNet的核心思想是通过克隆预训练模型的网络块，并引入“零卷积”连接，实现在不破坏原模型能力的前提下学习条件控制。具体设计包括：

• 锁定与克隆：将预训练模型的参数冻结（锁定），并克隆其网络块作为可训练副本，以复用其大规模预训练的特征提取能力。
• 零卷积连接：在克隆块与原模型之间插入零初始化的1×1卷积层（权重和偏置初始化为0）。这种设计确保训练初期不会引入噪声，逐渐从零增长参数，保护预训练模型的稳定性。

✅ Zero Convolution：1-1 卷积层，初始的 \(w\) 和 \(b\) 都为 0．

• 条件编码：外部条件（如边缘图）通过4层卷积网络（通道数16→32→64→128）编码为特征向量，与扩散模型输入融合。

✅ 方法：(1) 预训练好 Diffusion Model (2) 参数复制一份，原始网络 fix (3) 用各种 condition finetune 复制出来的网络参数。 (4) 两个网络结合到一起。

以Stable Diffusion为例来说明ControlNet的用法。

$$ \mathcal{L} =\mathbb{E} _ {\mathbb{z}_0,t,\mathbf{c} _ t,\mathbf{c} _ f,\epsilon \sim \mathcal{N} (0,1)}[||\epsilon -\epsilon _\theta (\mathbf{z} _ t,t,\mathbf{c} _ t,\mathbf{c}_f)||^2_2] $$

where t is the time step, \(\mathbf{c} _t\) is the text prompts, \(\mathbf{c} _ f\) is the task-specific conditions

需要（x, cf, ct）的pair data。

3. 训练策略

• 随机提示替换：训练时，50%的文本提示被替换为空字符串，迫使模型从条件图像中学习语义信息，而非依赖文本提示。
• 突然收敛现象：在约10,000步训练后，模型会突然学会根据条件生成图像，而非渐进式学习。例如，在6,133步时，模型可能突然拟合苹果轮廓。
• 计算效率：仅需增加约23%的GPU内存和34%的训练时间（基于NVIDIA A100测试），因冻结原模型参数可节省梯度计算。

4. 实验与结果

• 支持的条件类型：包括Canny边缘、Hough线、用户涂鸦、人体关键点、分割图、深度图等，且支持多条件组合（如同时使用姿势和边缘）。
• 定量评估：
  • FID与CLIP分数：ControlNet在生成图像与真实图像分布接近度（FID）、文本-图像语义一致性（CLIP-score）上优于基线模型。
  • 消融实验：若替换零卷积为普通卷积，性能显著下降，表明预训练模型知识在微调时易被破坏。
• 鲁棒性：无论数据集规模（小至50k或大至1m）如何，训练均稳定有效。

5. 创新与意义

• 高效微调机制：通过锁定原模型参数和零卷积设计，避免灾难性遗忘，同时实现高效参数更新。
• 多模态控制：为图像生成引入结构化输入，扩展了扩散模型在工业设计、游戏开发等需精确控制场景的应用潜力。
• 开源与可扩展性：官方代码已开源，支持社区进一步探索新条件类型（如3D法线图）及与其他模型（如LLM）的适配。

6. 局限与未来方向

• 计算资源需求：尽管训练效率较高，但大规模联合训练（如解锁原模型参数）仍需高性能计算集群。
• 条件泛化性：当前条件类型有限，未来可能需探索动态条件生成或更复杂的多模态融合方法。

ControlNet的提出标志着文本到图像生成从“随机创作”迈向“可控设计”的重要一步，为AI绘画的商用落地提供了技术基础。

T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models

1. 研究背景与动机

• 问题定义：
  大规模文本到图像（T2I）模型（如Stable Diffusion）虽然能生成高质量图像，但仅依赖文本提示难以实现精细化控制（如结构、颜色分布）。例如，生成“带翅膀的汽车”时，文本无法提供准确的结构指导，导致生成结果不符合预期。
• 核心目标：
  通过轻量级适配器（Adapter）挖掘预训练T2I模型隐式学习的能力，将外部控制信号（如草图、深度图）与模型内部知识对齐，实现更精准的生成控制。

2. 方法设计

2.1 总体架构

通过引入一个额外的adapter来增加对已有文生图模型的控制方法。

• 即插即用：保持预训练T2I模型（如Stable Diffusion）的权重固定，仅训练适配器模块。
• 轻量化设计：
  • 参数量约77M，存储空间约300MB，仅为ControlNet的1/3。
  • 适配器由4个特征提取块和3个下采样块组成，输入条件图（如草图）通过pixel unshuffle下采样至64×64分辨率，提取多尺度特征并与UNet编码器特征相加。

2.2 控制条件支持

• 结构控制：支持草图（Sketch）、深度图（Depth Map）、语义分割图（Semantic Map）、姿态图（Pose）等。
• 颜色控制：通过空间调色板（Spatial Color Palette）控制色调和颜色分布，采用双三次下采样保留颜色信息，上采样后形成色块特征。
• 多条件组合：多个适配器的特征可线性加权融合，无需额外训练即可实现多条件控制（如“草图+颜色”）。

✅ Adapter 包含4个 feature extraction blocks 和3个 down sample blocks. 其中4个feature extraction block对应4个新增加的控制方法。3次降采样，对应于 UNET 的不同 Level.

2.3 训练策略

• 非均匀时间步采样：
  在扩散过程的早期阶段（图像结构形成期）增加采样概率，提升控制信号的有效性。例如，通过三次函数调整时间步分布，增强早期控制。
• 损失函数：沿用扩散模型的噪声预测损失，仅优化适配器参数。

3. 关键创新点

1. 参数高效性：
   • 仅需微调0.3%的参数量（对比ControlNet的完整UNet复制），推理速度更快。
2. 灵活性与可组合性：
   • 支持多种控制条件独立或组合使用，适配器可独立训练、灵活加载。
3. 泛化能力：
   • 适配器可迁移至基于同一基础模型（如SD 1.4或SDXL）的微调版本，无需重新训练。

4. 实验结果

4.1 生成质量

• 单条件控制：在草图、深度图等任务中，生成图像的结构保真度优于Textual Inversion，与ControlNet相当。
• 多条件组合：例如“草图+颜色”控制下，生成结果同时满足结构和色彩要求，组合效果稳定。

4.2 效率对比

• 训练成本：在4块V100 GPU上训练3天即可完成，远低于全参数微调。
• 推理速度：适配器仅需在扩散过程运行一次，而ControlNet需在每一步迭代中计算，速度提升显著。

5. 应用场景

1. 艺术创作：通过草图控制生成结构，结合颜色调色板调整整体色调。
2. 广告设计：快速生成符合品牌元素（如LOGO位置、配色）的宣传图。
3. 数据增强：为计算机视觉任务（如自动驾驶）生成结构可控的合成数据。

6. 局限性

• 复杂交互限制：对需要物理逻辑的场景（如物体遮挡关系）支持有限，需后处理。
• 时间步依赖性：非均匀采样策略虽提升控制效果，但仍依赖早期阶段的强引导，后期细节调整能力较弱。

7. 后续影响

• 技术扩展：启发了IP-Adapter（多模态控制）、Video-Adapter（视频生成控制）等衍生工作。
• 工业应用：被集成至Hugging Face Diffusers库，支持SDXL等最新模型，推动可控生成技术的普及。

总结

T2I-Adapter通过轻量化适配器和多条件融合机制，在文本到图像生成中实现了高效可控性。其核心贡献在于平衡了生成质量与计算效率，为精细化内容创作提供了实用工具。未来方向可能包括提升复杂逻辑控制能力及扩展至视频生成领域。

Multi-Concept Customization of Text-to-Image Diffusion

这篇论文提出了一种针对文本到图像扩散模型（如Stable Diffusion）的多概念定制化方法，旨在解决现有技术（如Textual Inversion、DreamBooth、LoRA等）在同时学习多个视觉概念时面临的概念混淆、训练效率低和组合泛化性差的问题。

现有方法局限：

• DreamBooth：全参数微调导致存储成本高（约3GB/概念）且难以组合多概念。
• Textual Inversion：仅优化文本嵌入，生成保真度低且无法灵活组合。

1. 核心问题与挑战

现有单概念定制化方法（如DreamBooth或LoRA）在需要同时学习多个概念（例如“一只特定的狗”+“一种特定的帽子”）时存在以下问题：

1. 概念混淆（Concept Interference）：多个概念在训练过程中相互干扰，导致生成的图像混合了不同概念的属性（例如狗的脸和帽子的形状结合异常）。
2. 组合泛化性差：独立训练的单概念模型在组合时无法保证语义一致性（例如“狗戴帽子”可能生成不合理的结构）。
3. 计算成本高：逐个微调每个概念需要重复训练，效率低下。

2. 方法设计

论文提出了一种名为Custom Diffusion的框架，通过以下关键技术实现高效多概念定制：

2.1 多概念联合训练策略

• 正则化数据集：使用与目标图像标题相似的真实图像（如从LAION-400M检索）防止过拟合，提升泛化性。

用少量的数据finetune整个模型，容易造成过拟合。
✅ 解决方法：通过在训练过程中引入一个正则化项来防止过拟合

✅ 从large scale image dataset中选择一些所标注文本与左图文本相似度比较高的图像。这些图像与文本的pair data用于计算正则化项。

• 多概念组合优化：

将不同概念的训练数据合并，联合优化其对应的K和V矩阵。

引入闭式约束优化（Closed-form Constraint Optimization），通过数学约束合并多个微调后的模型权重，确保概念独立性。

2.2 参数高效微调

优化对象：仅更新扩散模型（UNet）交叉注意力层（Cross-Attention）中的键（K）和值（V）投影矩阵，冻结其他参数（如查询矩阵Q、卷积层等）。

参数量：仅占模型总参数的3%（约75MB/概念），支持进一步压缩至5-15MB。

训练速度：单概念微调约6分钟（2块A100 GPU），多概念联合训练效率更高。

✅ 选择模型的部分参数进行 finetune．问题是怎么选择？
作者通过分析模型各参数的重要性，insights 应该 finetune 哪些参数。

✅ Cross-Attn 层用于结合图像和文本的特征。
✅ Self-Attn 用于图像内部。
✅ Other 主要是卷积和 Normalization.
✅ 通过比较 pretrained 模型和 finetune 模型，change 主要发生成Cross-Attn 层，说明 Cross-Attn 层在 finetune 过程中更重要！

✅ 由以上观察结果，finetune 时只更新 K 和 V 的参数。

• 参数量对比：
  • 全参数微调：约860M参数（Stable Diffusion 1.4）。
  • Custom Diffusion：仅需训练约5M参数（每新增一个概念增加约1M）。

超类语义对齐

键值锁定（Key-Locking）：将新概念的键向量与预定义语义类（如“狗”）对齐，避免偏离预训练知识，减少遗忘问题。

3. 关键优势

1. 多概念保真度：
   • 可同时学习3-5个概念，生成图像中各概念的属性（如形状、纹理）保持高度一致性（见图1对比）。
2. 零样本组合能力：
   • 支持训练中未见的组合（例如“狗戴帽子+墨镜”），无需重新训练。
3. 训练效率：
   • 相比逐个训练单概念LoRA，训练时间减少50%以上（实验显示5个概念仅需1.5小时，A100 GPU）。

4. 实验结果

4.1 单概念生成

保真度：在CLIP图像对齐指标上比Textual Inversion高15%，生成图像背景多样性与DreamBooth相当。

抗过拟合：KID指标显示过拟合程度比DreamBooth降低30%46。

4.2 多概念组合

零样本组合：支持未训练的组合（如“宠物猫+太阳镜+花园场景”），生成结果在文本对齐和视觉一致性上优于基线方法。

用户研究：85%的用户认为生成的多概念图像更合理，且概念间干扰更少。

4.3 效率对比

存储需求：每个概念仅需75MB（DreamBooth为3GB），支持低秩压缩至5-15MB28。

训练速度：多概念联合训练时间比逐个训练DreamBooth缩短50%。

5. 应用场景

1. 个性化内容创作：用户上传多个自定义物体/风格，生成组合图像（如“我的宠物+我的背包+莫奈风格”）。
2. 广告设计：快速合成包含多个品牌元素（如logo、产品）的宣传图。
3. 数据增强：为多对象交互场景（如“人+家具+宠物”）生成训练数据。

6. 局限性

• 概念数量上限：超过5个概念时性能下降（需更大秩的LoRA或分层训练）。
• 复杂交互：对需要物理逻辑的组合（如“杯子放在桌子的边缘”）仍需后处理。

7. 后续影响

• 扩展工作：
  • Cones（NeurIPS 2023）：通过概念神经元分解改进多概念解耦。
  • UniTune（ICML 2024）：统一单模型支持任意概念组合。
• 工业应用：被Adobe Firefly等工具集成，支持多元素定制生成。

总结

该论文通过参数高效微调和多概念联合优化，在文本到图像生成领域实现了高效的多概念定制。其核心贡献在于：

1. 轻量化：仅微调交叉注意力层的K/V矩阵，显著降低计算和存储成本。

2. 组合泛化性：支持零样本多概念组合生成，突破传统方法的限制。

3. 抗过拟合设计：通过正则化数据集和超类语义对齐，平衡生成多样性与保真度。

该方法为个性化内容创作和工业级应用提供了重要技术基础。

P37

An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion

通过优化文本嵌入（text embeddings）来实现对复杂视觉概念的精准捕捉和复用。