本仓库论文方向

动画方向

让看到的景象成为一个会动的景象，其管线为：

景象 --(建模)--> 动画代理 --(驱动)--> 会动的代理 --(渲染)--> 会动的景象

根据代理的表达不同，又可以分为2D管线（2D建模）、3D管线(3D建模)。
不同的代理有不同的驱动和渲染方式。驱动需要外观信息（来自代理）、动作信息（来自动画数据）和外观与动作的关联关系，由此引申出动作生成和动作驱动两个领域。
将建模与驱动显式地分成两个步骤的方式，称为静态建模与驱动。也可以是由景象直接得到会动的的代理，称为动态建模与驱动。甚至直接由景象得到会动的景象，这就是可控文生视频。

3D管线

优势：由于会在3D进行建模，擅长时间、空间上的一致性的保持。不太容易出现非常奇怪的驱动的结果。
局限性：通常用于比较明确的主体

2D管线

优势：被驱动的内容更广泛，可以是任意图像内容
局限性：自由度高，时间、空间的一致性是难点，可能出现非常奇怪的结果，通常比较耗时

仿真方向

创造一个具有物理真实感的景象，其管线为：

(建模)--> 仿真代理 --(驱动)--> 会动的代理 --(渲染)--> 会动的景象

仿真代理与动画代理相似但不同。
驱动所需要的动作信息中包含物理规律。
有些工作中，会同时结合动画与仿真。

总结

通用的AI技术

1. Diffusion技术

读论文方法

转载出处：GAMES 在线报告227

找论文

1. 找方向

• 主流会议的paper session

2. 找综述，精读

• 搜索“方向”相关的关键词

3. 找经典论文，精读

• 综述里面被highlight的论文
• 引用非常高的论文
• 获奖论文

4. 延伸

• reference：综述里（第二章）被metion的论文次之
• citation：在google里点击“被引用”

5. 习惯

• 维持一个paper queue，经典论文提高优先级
• 从队首选一篇
• 把reference和citation（筛去不相关）放入队尾

6. 多交流

读论文

1. Quick skim

内容：看图，看视频（会议的 presentation view） 目的：对文章了解大概 时间：十分钟

2. Critical reading

内容：

• Title
• Abstract
• Introduction
• discussion/limitation

目的：

• 核心问题是什么
• 核心贡献是什么？
• 大致方法是什么？有效？缺陷？验证？
• 启发

记笔记

1. Summary
2. Fact.

• motivafion
• contribution
• method
• evaluation

3. Crifical thinking

• 批判优缺点

4. Creative thinking

如何启发了我

• 想到什么idea
• 怎么improve
• 怎么generalize

5. what I have learned

精读：1周1～2篇

求反馈

• 对照作者video的重点
• 对照作者总结的limitaton
• 分享，交流

基于骨骼代理的Mesh的驱动

---
title: 基于骨骼代理的Mesh的驱动
---
flowchart LR
    Mesh[("Mesh")]
    骨骼动作[("骨骼动作")]
    骨骼代理(["骨骼代理"])
    蒙皮权重(["蒙皮权重"])
    被驱动的Mesh(["被驱动的Mesh"])

    艺术家制作[("艺术家制作")]
    动画师制作[("动画师制作")]

    Mesh重建技术 & Mesh生成技术 & 艺术家制作 --> Mesh
    动作提取技术 & 动作生成技术 & 动画师制作 --> 动作迁移技术 --> 动作优化技术 --> 骨骼动作
    Mesh-->蒙皮绑定技术-->骨骼代理 & 蒙皮权重
    骨骼代理 & 蒙皮权重 & 骨骼动作 --> 被驱动的Mesh

mindmap
相关技术
    Mesh重建技术
    Mesh生成技术
    动作提取技术
    动作生成技术
        按动作表示分
            基于连续表示的动作生成
            基于离散表示的动作生成
        按动作控制方式分
            无控制
            文本控制
            声音控制
            交互控制
    动作优化技术
        动作先验
    动作迁移技术
    蒙皮绑定技术

动作先验 / 动作优化

这一个系列的论文通常包含三个主题：

mindmap
骨骼动作先验
    构建骨骼动作先验
    基于动作先验的应用
        动作生成任务
        动作优化任务
    动作先验与其它算法相结合的应用
        动作生成&优化任务
        动作交互任务

在本文中，动作生成任务、动作优化任务、动作生成&优化任务的区别在于

如果一个方法中使用了多种先验，还需要考虑这些先验之间怎么结合。

构建动作先验：

要解决的问题：如何通过数据或规则构造动作先验。

mindmap
构建骨骼动作先验
    基于数据的先验
    基于规则的先验
    基于数据+规则的先验

基于动作先验的应用

基于动作先验完成以下任务：
（1）动作生成任务：可以基于动作先验进行动作生成（无控制条件），生成结果为最符合动作先验的动作。
要解决的问题：怎样基于动作先验进行生成
（2）动作优化任务：可以基于动作先验对已有的动作进行优化，生成结果为与原始动作最接近的且最符合动作先验的任务。
要解决的问题：怎样基于动作先验对已有动作进行优化

mindmap
基于动作先验的应用
    动作生成任务
        从先验分布中采样
        随机采样后向先验分布靠近
    动作优化任务
        以提升动作合理性作为优化目标
        向合理动作的区域步进

动作先验与其它算法相结合的应用

动作先验与其它算法结合完成以下任务，此时动作先验只用于约束动作的合理性。

（1）动作生成&优化任务：可以使用额外的动作生成方法（基于控制条件）先生成再优化，或者生成与优化迭代进行，得到即使符合生成要求又符合动作先验的动作。
要解决的问题：怎样把动作生成和动作优化结合起来
（2）动作交互任务：使用额外的交互算法与用户交互，通过动作先验的约束，使得交互结果符合动作先验。
要解决的问题：如何把动作先验实时地融入到交互结果中

如果文章中通过使用动作先验结合其它算法实现来完成任务，但方法是没有体现动作先给与其它算法的结合，而是分阶段进行，则将归类为基于动作先验的动作优化任务。
对于归于此类的文章，如果关键创新点在动作先验，则归到本页。如果关键创新点在其它算法，则归到其它算法对应的页面。

mindmap
动作先验与其它算法相结合的应用
    动作生成&优化任务
    动作交互任务

基于数据的动作先验

mindmap
基于数据构建骨骼动作先验
    按先验信息的内容分
        对一帧动作的分布建模
        对一段动作的分布建模
        以上一帧为条件对下一帧的分布建模（自回归）
        以上一帧为条件对动作转移关系建模（自回归）
    按先验的表达方式分
        将数据建模为正态分布（VAE）
        将数据建模为NDF
        将数据建模为归一化流

VAE

Normalizing Flows

NDF

基于规则的动作先验

基于规则的先验，通常是使用物理规则。物理规则是客观存在的，不需要刻意去构建。关键在于怎么把物理规则应用到具体的任务中。

mindmap
基于物理规则的应用  
    基于动作先验的应用
        动作交互任务
        动作优化任务
    动作先验与其它算法相结合的应用
        动作生成+物理约束
        动作捕捉+物理约束

物理规则不是一种分布，无法采样，所以没有单纯基于物理规则的生成任务。
基于动作先验交互任务是指，给角色一个力，角色如何响应或者保持平衡。
根据动作优化过程是否与其上游过程耦合，还区分是单纯的动作优化任务，还是动作优化结合其它算法的任务。

动作先验与其它算法相结合的应用

借助物理引擎

常见套路：
其它算法->物理约束->其它算法

要解决的问题：

1. 通过物理引擎约束后，其结果可能又存在僵硬等artifacts了
2. 物理引擎约束这一步可能不可微，导致不能端到端优化
3. 物理引擎的计算可能会比较耗时、笨重

向物理合理的方向移动一小步（需要结合diffsion这种多步生成方法）

常见套路：
在其它算法过程中的每一小步，进行一次小的物理约束

要解决的问题：

1. 物理约束这一步的计算可能会比较耗时、笨重
2. 物理约束这一步可能借助物理引擎或者构造Loss，但必须可微
3. 需要结合diffusion这种多step的算法

将物理方程作为损失函数约束

要解决的问题：

1. 将物理约束转化为Loss

基于数据+规则的动作先验

mindmap
基于『数据+规则』构建骨骼动作先验
    依次使用不同的先验
    通过数据学习规则的关系参数

基于离散表示的骨骼动作生成

不管是离散表示还是连续表示，动作生成任务要解决的问题、所使用的数据集、评价指标等都是相似的。这里把离散表示的动作生成单独提成一页，是考虑到：

• 离散表示所构建的是真实数据的离散分布
• 离散分布的采样与连续分布的采样对于构建生成模型有较大的影响
• 采样是生成算法的重要环节

mindmap
基于学习的动作生成
    按生成方式分
        自回归生成
        非自回归生成
            Regression
            完形填空式（Bert Style）
    按生成模型分
        确定性映射
        离散空间采样
            离散分布采样(GPT Style)
            掩码语言模型(Bert Style)
            离散去噪扩散概率模型（D3PM）
        连续空间采样
            VAE
            GAN
            diffusion
    按控制信号分
        文本驱动
            Action/Label驱动
            自然语言驱动
        声音驱动
            音乐驱动舞蹈
            语言驱动手势
        动作驱动
            轨迹驱动
            关键帧驱动
        场景驱动
            场景交互

VQ-VAE及其变体将动作编码为离散标记，本质上将运动生成问题从回归任务转化为分类任务。然而受限于码本结构，VQ-VAE倾向于存储已知动作而非泛化到新动作。虽然这些模型在训练数据分布内能精确生成和重建动作，却难以处理分布外运动导致信息损失和动作感知失真。

离散空间采样

GPT Style

『离散表示+自回归生成框架』能够实现文生动作任务，且生成动作的质量非常高。

离散表示把motion序列变成了token序列。
动作生成的控制信号也可以有离散形式的或者连续形式。如果控制信号正好也是离散的token表达，那么通过将控制信号的离散表达与动作的离散表达进行对齐，那么可以提升跨模态生成的一致性。

要解决的问题：

1. 生成结果与控制信号的匹配度
2. 生成时长
3. 生成质量

多模态Latent Code对齐

Latent Code对齐用于以下场景：

1. 输入（控制信号）与输出（生成动作）都是离散表达
2. 输入与输出具体不同的表达语义（例如语言和动作）
3. 输入包含不同语义的控制信号（例如语言+动作）

不需要Latent Code对齐

以下场景不需要Latent Code对齐：

1. 输入（控制信号）与输出（生成动作）具有相同的语义，例如历史动作预测未来动作的任务。
2. 输入（控制信号）使用连续表示方式，不能与输出（生成动作）的离散表示方式共享空间。

Bert Style

『离散表示 + 掩码语言模型生成框架』的文生动作模型。

• 核心思想： 将动作序列离散化 为令牌序列（类似 NLP 中的单词）。在训练时，随机或有策略地掩码 (Mask) 一部分令牌，让模型基于上下文（未掩码令牌和文本条件）预测被掩码的令牌。
• 优势： 通常比扩散模型效率更高，能有效学习动作的时空依赖关系。

Text to Motion

music 2 dance

离散去噪概率模型 D3PM

Text to Motion

连续空间采样

Diffusion

Score Matching

离散表示 vs 连续表示对比表

基于Diffusion的文生动作

基于扩散的方法直接在连续运动空间操作（如原始动作数据或VAE编码的隐表征），支持高质量动作生成。但这些方法主要进行片段级建模——一次性生成整个动作序列的所有帧。该设计使得修改特定帧时难以保持整体动作一致性与质量。且通常仍局限于粗粒度语义引导或轨迹级控制，导致其缺乏细粒度时间控制能力，用户无法在生成过程中精确定义或编辑动作细节。

mindmap
基于diffusion的动作生成
    相同点
        控制条件：文本
            CLIP
            Roberta
            LLM
        生成方式：非自回归
        表示方式：连续表示
        生成模型：DDPM/DDIM
    按表示方式分：
        原始数据
        Latent表示
    按要解决的问题分
        与文本的匹配
            长文本
            细节控制能力
            文本契合度
        生成质量
        生成多样性
        生成速度
            Latent Space
            减少采样步骤
            LCM
        长序列生成
        训练数据
    按基础架构分
        Transformer Based
        UNet Based
        Masked Modeling

生成质量

生成多样性

框架演进

生成速度

文本控制性

长序列生成

训练数据

Mamba

Human Pose Estimation

输出关节位置、旋转、连接关系

mindmap
基于视觉的人类动作捕捉
    输入信息
        单帧图像/连续视频
        单目/多目
        相机位姿固定/不固定
    输出格式
        SMPL/SMPLX/SMPLH骨骼动作
        自定义骨骼动作
    输出对象
        单人骨骼动作
        多人骨骼动作
        人类骨骼动作 + 物体位姿
        相机位姿
    方法
        特定数据的优化方法
        前向推理方法
    要解决的问题
        动作的连续性
        动作的合理性
        视频数据的摭挡问题与歧义性
        实时流式输出
        与图像数据的一致性
        接触准确且不穿模
        人类动作、相机位姿、人类体型之间的耦合关系

单人HPE

图像单人HPE

Solving Depth Ambiguity

Solving Body Structure Understanding

Solving Occlusion Problems

Solving Data Lacking

图像人物-物体交互 (HOI)

视频单人HPE

Solving Single-frame Limitation

Solving Real-time Problems

Solving Body Structure Understanding

Solving Occlusion Problems

Solving Data Lacking

多人HPE

Human Mesh Recovery

Template-based human mesh recovery

Naked human body recovery

Multimodal Methods

Utilizing Attention Mechanism

Exploiting Temporal Information

Multi-view Methods.

Boosting Efficiency

Developing Various Representations

Utilizing Structural Information

Choosing Appropriate Learning Strategies

Detailed human body recovery

With Clothes

With Hands

Whole Body

Template-free human body recovery

运动相机场景

提取相机轨迹

Evaluation

Evaluation metrics

For pose and shape reconstruction

mean per-joint error (MPJPE), Procrustes-aligned perjoint error (PA-MPJPE),
per-vertex error (PVE)

To evaluate the motion smoothness

acceleration error (ACCEL) against the ground truth acceleration

For human trajectory evaluation,

we slice a sequence into 100-frame segments and evaluate 3D joint error after aligning the first two frames (W-MPJPE100) or the entire segment (WA-MPJPE100) [93].
evaluate the error of the entire trajectory after aligning the first frame, with root translation error (RTE), root orientation error (ROE), and egocentric root velocity error (ERVE).

For camera trajectory evaluation

absolute trajectory error (ATE) [75], which performs Procrustes with scaling to align the estimation with ground truth before computing error.

To evaluate the accuracy of our scale estimation

evaluate ATE using our estimated scale (ATE-S) [35].

Reference

1. Deep Learning for 3D Human Pose Estimation and Mesh Recovery: A Survey

Face Reenactment and Identity Preservation

3D Face Generation and Editing

Text-to-Face and Style-Based Face Generation

【翻译】

可动画头部建模

参数化3D头部模型作为统计先验被广泛应用于可动画头部建模。3D可变形模型（3DMM）[Paysan等，2009]通过低维主成分表示头部形状。在此基础上，FLAME模型[Li等，2017]引入形状与姿势混合形状（blendshapes），实现了下颌、颈部及眼球的运动控制。后续研究[Daněček等，2022；Feng等，2021，2023]基于参数化头部模型[Blanz与Vetter，2023；Li等，2017；Ploumpis等，2020]进一步建模细节表情与情感。ROME方法[Khakhulin等，2022]提出顶点偏移量以捕捉头发几何，但这些方法因固定拓扑和有限表达能力常产生过度平滑的表面，难以处理头饰或复杂发型等几何结构。另一类研究探索混合表示：DELTA[Feng等，2023]将面部显式网格与NeRF头发建模结合，支持多样化发型。

为实现高质量渲染，多项工作[Gafni等，2021；Grassal等，2022；Xu等，2023]采用神经辐射场（NeRF）[Mildenhall等，2021]建模头部虚拟形象。HeadNeRF[Hong等，2022]提出参数化NeRF模型，将头部模型融入NeRF；INSTA[Zielonka等，2023]基于InstantNGP[Müller等，2022]开发动态NeRF。PointAvatar[Zheng等，2023]提出基于点的表征，通过FLAME表情驱动点云形变场。NeRFBlendshape[Gao等，2022]构建基于NeRF的混合形状模型，结合多级体素场与表情系数实现语义动画控制与超写实渲染。

近期研究[Chen等，2024；Dhamo等，2025；Ma等，2024等]利用3D高斯溅射（3D Gaussian Splatting）[Kerbl等，2023]建模头部形象。FlashAvatar[Xiang等，2024]在网格上附加可学习偏移量的高斯点；GaussianBlendshapes[Ma等，2024]将偏移解耦为混合形状。尽管这些方法对写实形象有效，但难以处理风格化内容。

生成式头部建模

头部建模领域的最新进展利用生成模型合成新视角。PanoHead[An等，2023]采用三网格神经体积表征，支持360度头部合成；Rodin[Wang等，2023b]及其扩展RodinHD[Zhang等，2024]通过扩散模型生成头部三平面图。但这些生成的头部均为静态，无法动画。Liveportrait[Guo等，2024]可将单图动态化为视频，但局限于2D空间。CAT4D[Wu等，2024a]训练多视角可变形扩散模型创建动态形象，但基于扩散的方法常面临跨视角一致性挑战。

另一类研究[Chen等，2023a；Liao等，2024等]通过分数蒸馏采样（SDS）将2D扩散先验提炼至3D，虽能实现高质量，但单形象生成需数小时。相比之下，前馈方法[Hong等，2023；Tang等，2025等]在大规模3D数据集训练后可在秒级生成资产，但因训练数据为通用物体，应用于头部时存在显著领域差距，常产生形状失真。总体而言，现有推理方法仍局限于静态形象重建。

【深度解析】

技术演进图谱

关键技术瓶颈突破

1. 动态-静态表征鸿沟

   • 现有生成式方法（如扩散模型）多聚焦静态输出，需通过时序感知的潜在空间编码将动画参数（如FACS系数）注入生成过程
   • 潜在解决方案：在NeRF体积场中嵌入可驱动的形变场（如SE(3)-Field），实现表情驱动的密度场变化

2. 风格化内容建模

   • 传统参数化模型对非写实风格的泛化能力弱，需开发解耦式风格迁移框架：
     • 几何风格（如卡通比例）通过对抗学习在顶点位移空间建模
     • 外观风格（如赛博朋克色调）通过纹理生成网络实现

3. 跨模态控制

   • 现有方法缺乏多粒度控制接口，理想系统应支持：
     • 高层语义控制：通过自然语言描述调整发型（如"蓬松卷发+金属耳环"）
     • 底层参数控制：精确调节混合形状权重与骨骼绑定

该领域正经历从"重建-驱动"到"生成-动画"的范式转换，下一阶段突破将取决于神经符号系统（结合生成式AI与参数化建模）与物理启发生成（模拟真实肌肉运动）的深度融合。

以下是整理后的表格，概述了文本到人脸生成与编辑模型的关键特性：

关键说明

1. 架构演进：
   • 基础模型：多数基于StyleGAN，逐步引入CLIP、ControlNet等多模态组件。
   • 编辑方式：从线性（StyleGAN）→ 非线性（AdaTrans）→ 分层（GuidedStyle）→ 开放世界（AnyFace）。
2. 多模态支持：
   • M3Face支持文本、掩码、地标混合输入，扩展应用场景。
3. 生成可控性：
   • StyleT2I通过文本到方向模块实现语义精准控制；GuidedStyle利用稀疏注意力避免属性干扰。
4. 开放性与多样性：
   • AnyFace通过两流框架与多样性损失，突破传统模型的词汇限制与模式崩溃问题。

Speech-Driven and Multimodal Expression Generation

以下是整理后的表格，概述了3D面部动画生成与编辑模型的关键特性：

关键说明

1. 多模态驱动：
   • [37] 和 ExpCLIP 通过音频/文本/图像多模态输入增强动画表现力。
   • NFR 专注于网格数据的解耦与重定向，适用于影视与游戏制作。
2. 个性化与解耦：
   • [42] 和 AdaMesh 通过解缠表示或模块化适配器提升身份保留与个性化控制。
   • [47] 结合扩散模型实现随机运动多样性，平衡可控性与自然性。
3. 技术挑战：
   • 部分模型（如 [42]）牺牲计算效率以提升生成质量，需进一步优化实时性。
   • 情感类型限制（如 CSTalk 仅支持5种情感）仍是细分场景应用的瓶颈。

此表格总结了3D面部动画生成模型的核心技术路径，突出多模态驱动、解耦表示与个性化适配的演进方向。

Reference

1. Generative AI for Character Animation: A Comprehensive Survey of Techniques, Applications, and Future Directions

mindmap
基于学习的动作生成
    按生成方式分
        自回归生成
        非自回归生成
            Regression
            完形填空式（Bert Style）
    按动作表示分
        连续表示
            原始表示
            AE/VAE Latent Code
        离散表示
            VQ-VAE
    按生成模型分
        确定性映射
        离散空间采样
            离散分布采样(GPT Style)
            掩码语言模型(Bert Style)
            离散去噪扩散概率模型（D3PM）
        连续空间采样
            VAE
            GAN
            diffusion

无条件动作生成

GAN

TEXT-CONDITIONED MOTION GENERATION

Action to Motion

VAE

Normalizing Flows

Text to Motion

潜在表征对齐

VAE

Motion-Conditioned Motion Generation

Training Free

AUDIO-CONDITIONED MOTION GENERATION

Speech to Gesture

SCENE-CONDITIONED MOTION GENERATION

确定性映射

VAE Based

Diffusion

交互动作生成

多人动作生成

3D人体运动生成与合成数据集

文本到动作生成评估指标

Reference

1. Generative AI for Character Animation: A Comprehensive Survey of Techniques, Applications, and Future Directions
2. Human Motion Generation Summary
3. Text-driven Motion Generation: Overview, Challenges and Directions

NeRF： 将一个连续场景表示为一个神经网络。这个网络输入一个3D坐标和2D观察方向，输出该点的颜色和密度。通过体渲染技术，将无数个这样的点合成一张2D图像。其核心是隐式表示和基于辐射场的可微分渲染。

Nerf的优点与缺点

优点

1. 高质量的连续视图合成与平滑性

• 优点描述： NeRF学习的是一个连续的场景函数，因此它可以在任意尺度下进行渲染，并且生成的结果非常平滑，没有明显的瑕疵或“孔洞”。对于光滑的表面、复杂的材质和精细的细节，NeRF往往能产生更“保真”和物理上更合理的结果。
• 原因： 神经网络本身就是一个平滑的先验，它内在地填充了场景的空隙，并对输入数据进行了正则化。

2. 优秀的内存压缩能力

• 优点描述： NeRF的模型（一个几MB到几十MB的神经网络权重文件）可以表示一个非常庞大的场景。它本质上是一个强大的压缩算法，将数十亿体素的信息压缩到一个紧凑的神经网络中。
• 原因： 神经网络的权重共享和泛化能力使得它可以用相对较小的参数量拟合一个复杂函数。

3. 强大的泛化与先验知识

• 优点描述： 这是NeRF一个潜力巨大的优势。通过在大规模数据集上预训练，NeRF模型可以学习到关于物体形状、材质、光照的通用先验知识。这使得它能够：
  • 在输入图像极少的情况下进行重建。
  • 处理有遮挡物或不确定性的区域。
  • 实现语义编辑、风格迁移等任务。
• 原因： 神经网络架构天然适合迁移学习和预训练。

4. 对噪声和异常值的鲁棒性更强

• 优点描述： 由于神经网络的平滑性，NeRF对输入图像中的噪声和匹配错误（如SfM产生的错误点）不那么敏感。
• 原因： 网络在训练过程中倾向于学习数据中的主要模式，而不是过拟合每一个噪声点。

缺点

1. 训练和渲染速度极慢

• 缺点描述： 这是原始NeRF最大的痛点。训练一个高质量模型需要数小时甚至数天，渲染一张高分辨率图像也需要数秒到数分钟。
• 原因： 需要为每条射线查询数百次神经网络，计算量巨大。

2. 容易陷入局部最优，出现“浮游物”瑕疵

• 缺点描述： NeRF在优化过程中，有时会在空白空间错误地生成半透明的“浮游物”或伪几何，尤其是在缺少视角观察的区域。
• 原因： 基于梯度的优化在复杂的、高维的损失空间中容易收敛到不完美的局部最优点。

3. 编辑和控制的困难

• 缺点描述： 由于NeRF是隐式表示，场景信息被编码在神经网络的权重中，人类很难直观地理解和编辑它。例如，想要移动场景中的一个杯子，在NeRF中是非常困难的操作。
• 原因： 隐式表示缺乏显式的几何和语义结构。
• 3DGS对比： 3DGS是显式的点云，编辑相对直观。你可以直接选择、移动、删除或修改一组高斯球。这为场景编辑、动画和组合打开了大门。

4. 对初始化和超参数敏感

• 缺点描述： 许多NeRF变体对相机位姿的准确性要求极高，并且其性能受学习率、网络结构等超参数的影响较大。
• 原因： 神经网络的训练本身就是一个复杂的优化问题。
• 3DGS对比： 3DGS虽然也依赖SfM初始化，但其优化过程相对鲁棒，且社区已经形成了比较固定的超参数设置，开箱即用性更好。

3D静态Nerf

基于Nerf的3D生成

基于Nerf的单图3D场景重建

动态Nerf(基于NeRF的变体，实现动态场景重建)

核心思想： 扩展静态 NeRF（学习从空间位置和视角到颜色/密度的映射），增加时间维度或变形场来建模动态。
代表技术： 可变形 NeRF, 时变 NeRF。
优点： 理论上能建模非常复杂、连续的动态效果（如流体、布料）。
主要缺点：

• 优化时间长： 训练/优化过程非常耗时。
• 渲染效率低： 体渲染过程计算开销巨大。
• 重建质量受限： 由于优化和渲染的挑战，最终重建或生成的质量（清晰度、细节）可能不如人意。
• 与现代引擎兼容性差： 输出格式非标准网格/点云，难以集成到游戏/影视渲染管线。

mindmap
静态高斯驱动
    静态高斯的构建
        DreamGaussianHD
    表达对象
        场景
        单个3D对象
        人/动物
    任务类型
        4D重建
            单视角视频
            多视角视频
        视频续写
        3DGS的驱动
            基于特定视频先验
            基于通用先验
    驱动方式
        直接驱动
        Mesh/骨骼代理驱动
        参数化线条驱动
        活物的合理运动特点
        物理属性驱动
        稀疏锚点驱动
        粒子-网格模型
    运动建模方式
        针对单个视频的优化
        前向推理
    监督方式
        Video SDS
        视频重建
    要解决的问题
        时空一致性
        前向式/非优化/跨ID

Video SDS (视频分数蒸馏) 来从视频扩散模型中“蒸馏”运动信息

输入：单/多视角视频，静态3DGS（Optional）
输出：GS的动态属性，静态3DGS（Optional）

3DGS： 将一个场景显式地表示为数百万个可学习的3D高斯椭球体。每个高斯球拥有位置、协方差（尺度/旋转）、不透明度和球谐函数系数（表示颜色和视角相关外观）。通过光栅化技术，将这些球体投影并融合成2D图像。其核心是显式表示和基于点的可微分光栅化。

3DGS能够克服隐式方法（特别是动态 NeRF）的效率瓶颈和兼容性问题。
但由于缺乏真实的4D标注数据，只能依赖多视角渲染进行监督学习，因此容易出现视角间的不一致性问题。

显式驱动静态高斯属性

与动态高斯的对比

核心思路： 利用控制点/蒙皮等显式或参数化结构来驱动显式图元（如高斯椭球）的变形，从而表示动态。这比纯隐式 NeRF 更高效且渲染质量更高。
优点：

• 将静态几何与动态运动解耦。静态部分可以高效优化/表示，动态部分专注于运动。这通常比直接拟合整个时空函数更有效率。

主要缺点：

• 要解决如何有效控制显式图元随时间的变形以保持时空一致性和高质量。

问题定义

输入：首帧图像或静态3DGS，控制信号
输出：GS的动态属性， 静态3DGS（Optional）

通过控制信号驱动GS，需要先学习到GS的运动方式与控制信号之间的关联。

flowchart LR

用户 -->|生成| 控制信号 -->|驱动| GS运动

如果控制控制是视频，控制信号与GS运动的关系非常直观，通过Video SDS和视频重建来约束，就可以实现驱动效果。
但如果控制号与GS运动不是那么显性的关系，就需要借助GS的运动代理来驱动GS了。
所以GS的运动方式可以是直接驱动每个高斯点，也可以是借助运动代理驱动高斯点。

flowchart LR

3DGS资产 -->|生成| GS运动代理
用户 -->|生成| 控制信号
控制信号 & GS运动代理 -->|驱动| 变形GS运动代理
变形GS运动代理 & 3DGS资产 --> |带动| 变形GS资产

借助运动代理来驱动GS有这些好处：

1. 高斯资产中的高斯球数量巨大，简化的代理更容易学习
2. 邻近的高斯球的运动是相关联的，通过运动代理可以学到high level的运动趋势
3. 运动代理更方便于运动迁移

因此高斯的驱动可以拆分为以下两个模块：
（1）

flowchart LR
高斯球Motion --> 代理Motion --> 高斯球Motion

可以通过以下方式配置运动代理：

• 人工配置
• 基于规则
• 学习

(2)

flowchart LR
驱动代理 & 交互信号 --> 驱动代理Motion

驱动代理可以是：

• 原始高斯球（无代理）
• 点云
• Mesh
• Skeleton
• 物理仿真对象

交互信号驱动驱动代理的方式与具体的驱动代理的形式有关，因此下文使用不同驱动代理的类型作为第一级分类。

技术图谱

mindmap
静态高斯驱动
    静态高斯的构建
        DreamGaussianHD
    表达对象
        场景
        单个3D对象
        人/动物
    控制信号
        单/多视角视频
        文本
        力
    驱动方式
        直接驱动
        Mesh/骨骼代理驱动
        参数化线条驱动
        活物的合理运动特点
        物理属性驱动
        稀疏锚点驱动
        粒子-网格模型
    运动建模方式
        针对单个视频的优化
        前向推理
    监督方式
        Video SDS
        视频重建
    要解决的问题
        时空一致性
        前向式/非优化/跨ID

Video SDS (视频分数蒸馏) 来从视频扩散模型中“蒸馏”运动信息

子类问题

GS的运动代理：无

无需要代理，直接控制每个高斯球的运动。

控制信号：多/视角视频控制，GS运动代理：无

由视频直接驱动每个高斯点的运动控制信号与GS运动的关系非常直观，通过Video SDS和视频重建来约束，就可以实现驱动效果。
这实际上是一个基于3DGS的4D重建的问题。

控制信号：文本，GS运动代理：无

先用文本和首帧生成视频，再用视频驱动GS，即：

TI2V + 基于3DGS的4D重建

GS运动代理：物理仿真对象

使用物理仿真对象作为仿真代理，需要：

• 从静态高斯对象是提取出物理仿真代理。 一个高斯场景中可能包含多个高斯对象，这些对象具有不同的物理属性。这就需要显式或隐式的高斯对象分割。 即使一个具体相同物理属性的高斯对象，高斯球的数量非常多，也需要提取代理。代理通常是由高斯球采样或人工挑选出的粒子。这些粒子可以再重组成Particle或Mesh或Grid或其混合形式进行物理仿真。
• 物理属性估计 物理属性可能是人工配置或者从视频中学习

控制信号：力，GS运动代理：具有物理属性的GS球/点云

技术一：生成运动代理

1. 直接使用所有高斯球，无额外代理
2. 从高斯球中采样出点云

技术二：学习每个粒子（GS球或者由GS采样出的点云）的物理属性。

1. 对粒子做分割。每一组高斯粒子赋予相似的物理属性。依赖人工标注。
2. 通过视频，无差别地学习每个高斯粒子的物理属性。依赖于特定的视频。
3. 一种通用的根据粒子属性估计粒子物理属性的方法。

技术三：通过力来驱动具有物理属性的粒子

1. 借助物理仿真方法（粒子系统、网格系统）
2. 神经网络方法

借助物理仿真的方法

神经网络方法

直接预测动态高斯属性

INTRODUCTION

需求：基于图像的3D场景重建

发展史：

BACKGROUND

Problem Formulation

Radiance Field

GAMES101课程关于光场的介绍

光场是三维空间中光分布的表示，它捕获光如何与环境中的表面和材料相互作用[30]。在数学上，光场可以描述为函数

$$ L : (x, y, z, θ, φ) \in R^5 → R^+ $$

其中(x, y, z)为映射空间中的一个点，(θ, φ)为球坐标指定的方向。
radiance value为非值。
L可以通过隐式或显式表示来封装，每种表示对于场景表示和渲染都有特定的优势。

Implicit Radiance Field

隐式辐射场表示场景中的光分布，而无需显式定义场景的几何形状。

L经常使用神经网络来学习连续的体积场景表示[35]，[36]。最突出的例子是 NeRF [15]。

在 NeRF 中，神经网络（通常是MLP）将一组空间坐标 (x, y, z) 和观察方向 (θ, φ) 映射到颜色和密度值。任何点的辐射度都不会显式存储，而是通过查询 MLP 即时计算。因此，该函数可以写为：

$$ L = MLP(x, y, z, θ, φ) $$

Good：这种格式允许对复杂场景进行可微分和紧凑的表示
Bad：然而由于volumetric ray marching [12]，渲染的计算负载高。

Explicit Radiance Field

显式辐射场直接表示离散空间结构中的光分布，例如体素、网格、点云。该结构中的每个元素存储其各自空间位置的辐射信息。

显式辐射场表示的通用形式可以写为：

$$ L = \text {DataStructure}[(x,y,z)] \cdot f(θ, φ) $$

Good：这种方法允许更直接且通常更快地访问radiance value。
Bad：代价是更高的内存使用量和可能更低的分辨率。

3D Gaussian Splatting: 两全其美

3D GS [12]是显式辐射场，又具有隐式辐射场的优点。因为它结合了基于神经网络的优化和显式结构化数据存储的优点。因此可以实时、高质量渲染，并且需要更少的训练时间，特别是对于复杂场景和高分辨率输出。 3D 高斯表示形式为：

$$ L = \sum_i G(x,y,z,\mu_i, \sigma_i)\cdot c_i(θ, φ) $$

显式的方法，只能把radiance绑定在点上，因此受限于点的分辨率，而点的分辨率又受限于内存。
3D GS把radiance绑定在有体积的点（球）上，所以对点的分辨率要求低一点。球的作用有点像点之间的插值。

背景和术语

场景重建与渲染

3D重建：图像->3D模型
渲染：3D模型->图像

神经渲染和辐射场

体积表示和ray marching

体积表示不仅将对象和场景建模为表面，而且将其建模为充满材料或空白空间的体积[46]。这种方法可以更准确地渲染雾、烟或半透明材料等现象。
光线行进是一种与体积表示一起使用的技术，通过增量跟踪穿过体积的光路来渲染图像[13]、[14]。

非表面模型的渲染

NeRF [15] 与体积射线行进有着相同的精神，并引入了重要性采样和位置编码来提高合成图像的质量。因此高质量的结果，高计算成本。

基于点的渲染

基于点的渲染是一种使用点而不是传统多边形来可视化 3D 场景的技术。可以通过可学习神经网络等附加属性来增强点描述符[47]、[48]，并有效渲染[49]、[50]。

Good：对于渲染复杂、非结构化或稀疏的几何数据特别有效。 Bad：存在渲染漏洞或锯齿效应等问题。 3D GS [12] 通过使用各向异性高斯函数扩展了这一概念，以实现更连续、更有凝聚力的场景表示。

3D GAUSSIAN SPLATTING: PRINCIPLES

使用学习的 3D 高斯函数进行新颖视图合成

3D GS 如何在给定结构良好的 3D 高斯的情况下合成图像，即3D GS的前向过程。

$$ L = \sum_i G(x,y,z,\mu_i, \Sigma_i)\cdot c_i(θ, φ) $$

输入

一组高斯球，每个高斯球包含以下信息：

• 位置：\(\mu\)
• 不透明度： \(\alpha\)
• 协方差：\(\Sigma\)
• 颜色：c

一个高斯球是 3D GS 中场景表示的最小元素。

所有属性都可以通过反向传播来学习和优化。现在假设这些高斯球都已经优化好了。

Splatting

首先将这些 3D 高斯投影到基于像素的图像平面上，这一过程称为“splatting”。

Frustum

相机pose确定以后，根据frustum切出能看见的高斯球。计算出相机视角下的高斯球的协方差。

可微分渲染 by pixels

此处先只介绍基本过程，不讲加速算法

给定像素 x 的位置，可以通过投影变换 W 来计算其到所有重叠高斯函数的距离，即这些高斯函数的深度，形成高斯函数 N 的排序列表。

然后，采用alpha合成来计算该像素的最终颜色：

如图所示，NeRF和3D GS的渲染可以看作是彼此的逆过程。

加速技术

像素级计算的成本比较高，因此将精度从像素级转移到块级。

具体来说，3D GS 先将图像划分为多个不重叠的图块，每个图块包含 16×16 像素。

3D GS 进一步确定每个图块被哪些投影高斯覆盖。如果一个投影高斯覆盖多个图块，则需要把高斯复制多份。

3D GS的优化：为给定场景获取构造良好的 3D 高斯

3D GS 的优化，旨在构建大量 3D 高斯集合，准确捕捉场景的本质，从而促进自由视点渲染。

参数优化

Loss

由于ray marching成本高昂，NeRF 通常在像素级别而不是图像级别计算损失。

3D GAUSSIAN SPLATTING: DIRECTIONS

APPLICATION AREAS AND TASKS

Simultaneous Localization and Mapping (SLAM)

Dynamic Scene Reconstruction

AI-Generated Content (AIGC)

Autonomous Driving

Endoscopic Scene Reconstruction

Medical Image

Reference

A Survey on 3D Gaussian Splatting

3D动物建模

3D动物运动序列生成

动物视频序列生成

动物4D生成

Video Diffusion Models章节地图

• Fundamentals of Diffusion Models
• Video Generation
  • 闭源T2V大模型
  • 开源T2V基模型
  • T2I Base Model + Control
  • T2V Base Model + Control
  • 长视频生成
  • StoryBoard
  • 多生成任务
  • Human Video Generation(link)
• Video Editing
• 视频生成的评价指标
• 数据集
• Summary

Reference

Mike Shou

Asst Prof, National U. of Singapore

Joint work with Pei Yang & Jay Wu

Slides:https://sites.google.com/view/showlab/tutorial

P2

Others

• CVPR Tutorial (English): https://www.youtube.com/watch?v=cS6JQpEY9cs
• Lil’s blog: https://lilianweng.github.io/posts/2021-07-11-diffusion-models/
• Hung-yi Lee (Chinese):
  • https://www.youtube.com/watch?v=azBugJzmz-o
  • https://www.youtube.com/watch?v=ifCDXFdeaaM
• Xing et al., “A Survey on Video Diffusion Models,” arXiv 2023.

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

P31

P34

Problem Definition

Text-Guided Video Generation

输入：Text prompt（或其它控制信号）
输出：video

T2I -> T2V

✅ 由于已有一个开源的大数据文生图预训练模型Stale Diffusion Model。为了充分利用这个预训练模型，通常的做法是把这个文生图模型改造成文生视频模型。即，从 2D 输出变成 3D 输出。
动作信息来源：文本
外观信息来源：文本

T2I/T2V -> TI2V

直接从文本生成视频，很难对视频内容进行更细节的控制，因此演生出了Image-2-Video任务。I2V通常是通过在预训练T2I的基础上，引入reference image的注入和时序层来实现。也可以通过直接在预训练的T2V上增加reference image的注入来实现。

任务1：驱动图像

外观信息来源：图像
动作信息来源：无控制地续写、或文本

任务2：以视频为控制条件的视频生成

外观信息来源：文本
动作信息来源：视频

T2I/T2V/TI2V + 其它控制信号

选一个合适的（开源）预训练模型，在此基础上

• 注入自己的控制信号，例如图像、控制点、光流、拖拽等
• 构造特定的（相对于训练基模型来说）少量的训练数据
• 根据任务特性引入一些技巧
• 经过（相对于训练基模型来说）少量的训练 就得到了针对特定任务的垂域的视频生成模型。

对于大多数社区玩家来说，只能获取到开源的预训练模型，因此要先了解可用的开源模型。

外观信息来源：图像
动作信息来源：文本、骨骼动作序列、物理规律、用户交互轨迹等

T2V -> Improved T2V

在预训练的T2V的基础上，通过一些微调手段，让它在某些方向更优，成为更强大的基模型

动作信息来源：文本
外观信息来源：文本

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

P36

ID	Year	Name	Note	Tags	Link
57	2023.9	Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation	直接在像素空间实现时序扩散模型，结合修复（inpainting）与超分辨率技术生成高分辨率视频		link
	2023.8	I2vgen-xl: High-quality image-to-video	提出级联网络，通过分离内容与运动因素提升模型性能，并利用静态图像作为引导增强数据对齐。
48	2023.4	Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models	首次将潜在扩散模型（LDM）范式引入视频生成，在潜在空间中加入时序维度 T2I(LDM) -> T2V(SVD) Cascaded generation	Video LDM	link
59	2023	AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning	1. T2I + Transformer = T2V 2. MotionLoRA实现不同风格的视频运动		link
	2023	Chen et al., “GenTron: Delving Deep into Diffusion Transformers for Image and Video Generation,”	Transformer-based diffusion for text-to-video generation ✅Transformer-based architecture extended from DiT (class-conditioned transformer-based LDM) ✅Train T2I \(\to \) insert temporal self-attn \(\to \) joint image-video finetuning (motion-free guidance)
	2023	Gupta et al., “Photorealistic Video Generation with Diffusion Models,”	Transformer-based diffusion for text-to-video generation ✅Transformer-based denoising diffusion backbone ✅Joint image-video training via unified image/video latent space (created by a joint 3D encoder with causal 3D conv layers, allowing the first frame of a video to be tokenized independently) ✅Window attention to reduce computing/memory costs ✅Cascaded pipeline for high-quality generation
	2022.11	Imagen Video: High Definition Video Generation with Diffusion Models	提出级联扩散模型以生成高清视频，并尝试将文本到图像（text-to-image）范式迁移至视频生成 级联扩散模型实现高清生成，质量与分辨率提升 ✅ 先在 image 上做 cascade 生成 ✅ 视频是在图像上增加时间维度的超分 ✅ 每次的超分都是独立的 diffusion model? 7 cascade models in total. 1 Base model (16x40x24) 3 Temporal super-resolution models. 3 Spatial super-resolution models. ✅ 通过 7 次 cascade，逐步提升顺率和像素的分辨率，每一步的训练对上一步是依赖的。	Cascade
56	2022.9	Make-A-Video: Text-to-Video Generation without Text-Video Data			link
55	2022.4	Video Diffusion Models	首次采用3D U-Net结构的扩散模型预测并生成视频序列 引入conv(2+1)D，temporal attention		link

More Works

	MagicVideo (Zhou et al.) Insert causal attention to Stable Diffusion for better temporal coherence “MagicVideo: Efficient Video Generation With Latent Diffusion Models,” arXiv 2022.
	Simple Diffusion Adapter (Xing et al.) Insert lightweight adapters to T2I models, shift latents, and finetune adapters on videos “SimDA: Simple Diffusion Adapter for Efficient Video Generation,” arXiv 2023.
	Dual-Stream Diffusion Net (Liu et al.) Leverage multiple T2I networks for T2V “Dual-Stream Diffusion Net for Text-to-Video Generation,” arXiv 2023.
	MagicVideo-V2: Multi-Stage High-Aesthetic Video Generation,2024

Traning Free

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

P67

T2I -> T2V

ID	Year	Name	Note	Tags	Link
	2025	Wan. Wan-AI/Wan2.1-T2V-14B			https://huggingface.co/Wan-AI/Wan2.1-T2V-14B
	2025	CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
	2024	Hunyuanvideo: A systematic framework for large video generative models
81	2024	CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers	1. 使用预训练T2I模型CogView2 2. 先生成1 fps关键帧再递归向中间插帧 3. 引入temporal channel，并以混合因子\(\alpha\)与spatial channel混合	CogView2（60亿参数）, Transformer Based	link
107	2023	Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators			link
58	2023	ModelScope Text-to-Video Technical Report			link
	2023	ZeroScope	✅ ZeroScope 在 ModelScope 上 finetune，使用了非常小但质量非常高的数据，得到了高分辨率的生成效果。
50	2023	Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets	Scaling latent video diffusion models to large datasets Data Processing and Annotation		link
	2023	Wang et al., “LAVIE: High-Quality Video Generation with Cascaded Latent Diffusion Models,”	Joint image-video finetuning with curriculum learning ✅ 提供了一套高质量数据集，生成的视频质量也更好（训练集很重要）。
	2023	Chen et al., “VideoCrafter1: Open Diffusion Models for High-Quality Video Generation,”		LDM

T2V -> Improved Text-2-Video

P74

其它相关工作

" Robot dancing in times square,” arXiv 2023.	" Clown fish swimming through the coral reef,” arXiv 2023.	" Melting ice cream dripping down the cone,” arXiv 2023.	" Hyper-realistic photo of an abandoned industrial site during a storm,” arXiv 2023.

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

Image-2-Video

1. 把用户控制（稀疏轨迹等）转为运动表征（光流等）
2. 用运动表征驱动图像

ID	Year	Name	Note	Tags	Link
51	2023	Motion-Conditioned Diffusion Model for Controllable Video Synthesis	✅ 用户提供的稀疏运动轨迹 -> dense光流 ✅ dense光流（condition） + Image -> 视频	Two-stage, 自回归生成	link
44	2024	Motion-I2V: Consistent and Controllable Image-to-Video Generation with Explicit Motion Modeling	✅ 用户提供的控制信号（condition）+ Image -> dense光流 ✅ dense光流（condition） + Image -> 视频	Two-stage，轨迹控制	link
	2024	Physmotion: Physicsgrounded dynamics from a single image.	轨迹控制
	2023	LFDM (Ni et al.) “Conditional Image-to-Video Generation with Latent Flow Diffusion Models,”	✅视频->光流 + Mask ✅ 光流+Mask+图像 ->视频
	2024	Generative Image Dynamics (Li et al.) “Generative Image Dynamics,”	图像（无condition） -> SV ✅ SV + 力 -> 光流 ✅ 光流 + Image -> 视频
	2023	LaMD: Latent Motion Diffusion for Video Generation	视频 -> 图像特征 + 运动特征 ✅ 运动特征+图像特征->视频
	2023	Preserve Your Own Correlation: A Noise Prior for Video Diffusion Models	PYoCo (Ge et al.) Generate video frames starting from similar noise patterns
	2023	Animate-a-story: Storytelling with retrieval-augmented video generation	深度控制

More Works 闭源

	Latent Shift (An et al.) Shift latent features for better temporal coherence “Latent-Shift: Latent Diffusion with Temporal Shift for Efficient Text-to-Video Generation,” arXiv 2023.
	Video Factory (Wang et al.) Modify attention mechanism for better temporal coherence “VideoFactory: Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation,” arXiv 2023.
	VideoFusion (Lorem et al.) Decompose noise into shared “base” and individual “residuals” “VideoFusion: ecomposed Diffusion Models for High-Quality Video Generation,” CVPR 2023.

✅ Framwork (1) 在原模型中加入 temporal layers (2) fix 原模型，训练新的 layers (3) 把 lager 插入到目标 T2 I 模型中。

Sound2Video

ID	Year	Name	Note	Tags	Link
	2023	The Power of Sound (TPoS): Audio Reactive Video Generation with Stable Diffusion	Text + Sound -> Video
	2023	AADiff: Audio-Aligned Video Synthesis with Text-to-Image Diffusion
	2023	Generative Disco (Liu et al.) “Generative Disco: Text-to-Video Generation for Music Visualization,

Bain Activity 2 Video

✅ 大脑信号控制生成。

Brain activity-guided video generation

• Task: human vision reconstruction via fMRI signal-guided video generation

Chen et al., “Cinematic Mindscapes: High-quality Video Reconstruction from Brain Activity,” arXiv 2023.

✅ 用纯文本的形式把图片描述出来。
✅ 方法：准备好 pair data，对 GPT 做 fine-tune.
✅ 用结构化的中间表示生成图片。
✅ 先用 GPT 进行文本补全。

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

Image（提供动作信息）Text(提供外观信息)-2-Video

Image（提供外观信息）-2-Video

强调符合物理规律

1. 如何描述物理规律：LLM对物理的理解、特定的数据集、已有的物理模型
2. 如何使用物理规律：数据集、损失
3. 是否显示提取物理规律

强调时序一致性

强调控制性

1. 如何对控制信号进行表示
2. 如何注入控制信号

其它未归档

P108

2.5 Storyboard

P113

ID	Year	Name	Note	Tags	Link
84	2024	Learning Long-form Video Prior via Generative Pre-Training	利用GPT生成长视频内容的结构化信息，用于帮助下游的视频生成/理解任务。	结构化信息，数据集	dataset link
61	2023	Xie et al., “VisorGPT: Learning Visual Prior via Generative Pre-Training,”	A “diffusion over diffusion” architecture for very long video generation		link
	2023	Lin et al., “VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning,”	Use storyboard as condition to generate video ✅ Control Net，把文本转为 Pixel 图片。

	Dysen-VDM (Fei et al.) Storyboard through scene graphs “Empowering Dynamics-aware Text-to-Video Diffusion with Large Language Models,” arXiv 2023.
	DirectT2V (Hong et al.) Storyboard through bounding boxes “Large Language Models are Frame-level Directors for Zero-shot Text-to-Video Generation,” arXiv 2023.
	Free-Bloom (Huang et al.) Storyboard through detailed text prompts “Free-Bloom: Zero-Shot Text-to-Video Generator with LLM Director and LDM Animator,” NeurIPS 2023.
	LLM-Grounded Video Diffusion Models (Lian et al.) Storyboard through foreground bounding boxes “LLM-grounded Video Diffusion Models,” arXiv 2023.

P104

✅ 生成电影级别的视频，而不是几秒钟的视频。

P106

✅ 文本 → 结构化的中间脚本 → 视频

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

P126

2.6 Long video generation

长视频生成主要有这样一些难点：

1. 长视频生成的复杂性
   • 训练与推理差距：模型在训练时仅接触短视频，无法学习长视频的全局时序模式，导致生成内容逻辑断裂。
   • 顺序生成的低效性：自回归生成需逐帧顺序处理，生成时间随视频长度线性增长，无法满足实际应用需求。
   • 保持内容的一致性:长篇视频包含复杂的人物、物体及其动态交互关系。
2. 数据稀缺性
   高质量的长视频标注数据（如逐帧注释）获取成本极高，现有数据集（如短视频库）难以支持长视频先验的学习。

ID	Year	Name	Note	Tags	Link
	2025.6.2	DiffuseSlide: Training-Free High Frame Rate Video Generation Diffusion		基于预训练扩散模型的高帧率视频生成新方法	link
	2025.6.1	FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation		无训练引导方法增加视频生成的连续性	link
80	2025	One-Minute Video Generation with Test-Time Training	1. 引入TTT层，通过TTT层动态调整模型隐藏状态，增强对长序列的全局理解能力。 2. 通过门控机制防止TTT层训练初期引入噪声。 3. 多阶段训练策略：从3秒片段逐步扩展至63秒，仅微调TTT层和门控参数，保留预训练模型的知识。	Test Time Training, RNN,	link
41	2024	STORYDIFFUSION: CONSISTENT SELF-ATTENTION FOR LONG-RANGE IMAGE AND VIDEO GENERATION	先生成一致的关键帧，再插帧成中间图像		link
60	2023	NUWA-XL: Diffusion over Diffusion for eXtremely Long Video Generation	diffusion over diffusion的递归架构实现长视频生成和并行生成	coarse-to-fine, 数据集	link
	2025	Ouroboros-Diffusion: Exploring Consistent Content Generation in Tuning-free Long Video Diffusion
	2022	Latent Video Diffusion Models for High-Fidelity Long Video Generation (He et al.) Generate long videos via autoregressive generation & interpolation
	2023	VidRD (Gu et al.) Autoregressive long video generation “Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation,” arXiv 2023.
	2023	VideoGen (Li et al.) Cascaded pipeline for long video generation “VideoGen: A Reference-Guided Latent Diffusion Approach for High Definition Text-to-Video Generation,” arXiv 2023.

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

P139

✅ 用文生图模型生成 appearance, dynamics 来自于 reference video.

P141

✅ 当前帧只与上帧和前一帧做 attention，大大减少计算量。
✅ 在所有帧上做 attention 开销比较大。
✅ 解决方法：前一帧与第一帧。
❓ 怎么保证生成动作与原视频动作的一致性呢?

P142

✅ 对要编辑的视频，先 DDIM Inversion，得到 inverfed noise，这是保留了原视频 pattern 的 noise.
✅ 用这个 noise 作为 init noise，还原出的视频跟原视频有比较好的结构化保留。
✅ 解法方法

P144

多生成任务

	MovieFactory (Zhu et al.) “MovieFactory: Automatic Movie Creation from Text using Large Generative Models for Language and Images,” arXiv 2023.
	CoDi (Tang et al.) “Any-to-Any Generation via Composable Diffusion,” NeurIPS 2023.
	MM-Diffusion (Ruan et al.) “MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation,” CVPR 2023.
	NExT-GPT (Wu et al.) “NExT-GPT: Any-to-Any Multimodal LLM,” arXiv 2023.

✅ 在物体改变比较大的情况下，diffusion 比其它生成方法效果更好。

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

人类视频生成的基础知

关键子任务

根据驱动生成过程的模态将现有方法分为三类：文本驱动、音频驱动和姿势驱动

文本驱动的人类视频生成

讨论了如何使用文本描述来控制生成视频中的人类外观和动作。

音频驱动的人类视频生成

语音驱动：要求生成的人体动作在高级语义方面及在情感和节奏方面与音频和谐。
音乐驱动：合成一个人在给定的音乐片段引导下跳舞或演奏某种乐器的视频，关注于低级节拍对齐。

语音驱动手势

以下是整理后的表格，概述了语音驱动人体视频生成模型的关键特性与演进：

关键说明

1. 技术演进：
   • 传统方法依赖刚性骨架，导致外观信息丢失与抖动问题；
   • ANGIE引入无监督特征与离散化建模，但受限于线性表达能力；
   • DiffTED通过解耦运动与外观、结合扩散模型，实现高质量多样化生成。
2. 核心挑战：
   • 运动-外观平衡：传统方法牺牲外观信息，DiffTED通过解耦部分保留；
   • 生成多样性：扩散模型（DiffTED）优于自回归（ANGIE）与骨架驱动方法。
3. 未来方向：
   • 结合物理仿真优化运动真实性（如减少抖动）；
   • 提升复杂区域（手部、微表情）的细粒度控制能力。

此表格对比了语音驱动手势视频生成的关键方法，凸显从结构先验到无监督学习再到解耦扩散模型的技术路径。

语音驱动口型(视频生成)

唇形同步技术需要根据输入的音频生成对应的唇部动作，同时保持头部姿态和人物身份的一致性。

Image + Audio -> Video

以下是整理后的表格，概述了音频驱动说话人脸生成方法的分类、核心特性与挑战：

关键说明

1. 输入需求差异：
   • Person-Specific：依赖目标人物大量训练数据；
   • One-Shot：仅需单张参考图，灵活性高；
   • Few-Shot：基于少量参考图进行局部（嘴部）替换。
2. 核心挑战：
   • 保真度与效率：Person-Specific保真但低效，One-Shot/Diffusion多样但计算昂贵；
   • 细节保留：牙齿、嘴部纹理与高频细节仍是技术瓶颈（尤其One-Shot与Few-Shot）。
3. 代表工作演进：
   • 3D模型 → 扩散模型：从基于物理建模转向生成式AI，提升多样性但牺牲确定性；
   • 编码器-解码器 → 变形修复：Few-Shot方法逐步优化纹理保留，但仍需解决过拟合问题。

此表格对比了音频驱动说话人脸生成的核心方法类型，凸显其在不同应用场景下的优势与待突破点。

唇音同步(视频编辑)

Video + Audio -> Video

• 扩散模型（如[29]）在细节丰富度上占优，但生成速度较慢；
• GAN类方法（如MuseTalk）牺牲部分细节以提升速度。

基于扩散模型的唇音同步方法

ID	Year	Name	Note	Tags	Link
89	2025.3.13	LatentSync: Taming Audio-Conditioned Latent Diffusion Models for Lip Sync with SyncNet Supervision	1. 在latent space训练，在pixel space监督 2. 用TREPA代表temporal layer 3. 系统性地分析SyncNet的训练参数与效果	LDM, 开源	link
	2023	Speech Driven Video Editing via an Audio-Conditioned Diffusion Model	> ✅（1）把说话的部分 mask 掉 （2）用 diffusion 根据 Audio Feature 生成说话的部分。 ✅ 额外约束：（1）reference 状态 （2）前后帧 smooth ✅ 语音驱动嘴形。

非扩散模型的唇音同步方法

| SyncNet监督生成器 | | 单阶段：生成器直接输出唇部同步视频 | 音频 → 图像 | 引入SyncNet作为判别器，提升唇部同步精度 |

姿势驱动的人类视频生成

包括单条件姿势引导方法和多条件姿势引导方法。

2D动作驱动

pose + reference Image -> video

ID	Year	Name	Note	Tags	Link
108	2025.4.30	ReVision: High-Quality, Low-Cost Video Generation with Explicit 3D Physics Modeling for Complex Motion and Interaction	参数化的三维物理知识显式地集成到一个预训练的条件视频生成模型中，从而显著增强了其生成高质量、包含复杂动作和交互的视频的能力 1.使用一个视频扩散模型生成一个粗糙的视频 2. 从该粗略视频中提取一组 2D 和 3D 特征，构建一个以对象为中心的 3D 表示，并通过我们提出的参数化物理先验模型对其进行优化，生成精确的 3D 动作序列。 3. 这一优化后的动作序列被反馈到同一个视频扩散模型中作为额外的条件输入	三阶段, 即插即用	link
	2025.5.6	FlexiAct: Towards Flexible Action Control in Heterogeneous Scenarios		姿势引导视频合成	link
	2025.5.6	Real-Time Person Image Synthesis Using a Flow Matching Model		姿势引导人物图像合成， flow matching	link
37	2024	TCAN: Animating Human Images with Temporally Consistent Pose Guidance using Diffusion Models	通过修正attention map实现背景的时序稳定性	Diffusion	link
2	2024.1	Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos	uses text descriptions to provide semantic information about the content of the characters, ensuring the generated videos align with the textual descriptions.	人体外观控制 设计了一个两阶段训练方案，利用图像姿态对和无姿态视频生成姿态可控的角色动画
	2023	DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
121	2023	MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
	2023	Dancing avatar: Pose and text-guided human motion videos synthesis with image diffusion model
	2023	Disco: Disentangled control for referring human dance generation in real world

视频动作驱动

3D动作驱动

虚拟换衣

数据集和评估指标

数据集

评估指标

link

挑战和难题

• 遮挡问题：身体部位重叠或多人遮挡很常见，但大多数模型不能很好地处理相互影响的问题[98]，[138]。
• Body Deformation
• 外观不一致
• 背景影响
• 时序不一致
• 不自然的姿势
• 文本驱动或语音驱动中，由于本身是一对多问题，可能受限于数据集而存在偏向性

影响生成质量的因素

生成范式。

与姿势驱动方法（可以视为一阶段方法）相比，文本和音频驱动方法可以分为一阶段和两阶段方法。前者直接使用输入文本或音频作为提示来指导人类视频生成，而后者从输入文本或音频生成姿势，然后使用这些生成的姿势作为信号来指导人类视频生成。在两阶段方法中引入各种姿势类型（例如骨架姿势）提供了额外的几何和语义信息，从而提高了视频运动的准确性和真实感。这使得两阶段方法明显比一阶段方法更有效，尽管会牺牲一些效率。

backbone

SD 和 SVD 等扩散模型因其卓越的性能和多样性而广泛应用于各种生成任务，包括人类视频生成。然而，与在单个采样步骤中生成样本的 GAN 不同，扩散模型需要多个采样步骤，从而增加了训练和推理的时间成本。

pose控制信号

不同类型的条件姿势之所以有效，是因为它们提供了补充信息。

• 骨骼姿势准确地描述了帧中人体的空间信息以及身体部位的相对位置。然而，它捕获离散的姿势变化而不是连续的运动细节，提供有限的时间连贯性。
• 光流本质上包括时间信息，捕获连续帧之间的变化并提供特征空间中的连续运动轨迹。这使得模型能够生成帧之间平滑过渡的视频，避免跳跃或不连续。
• 深度地图捕捉人体与背景之间的距离信息，以及表面细节和深度变化。
• 3D 网格提供了骨骼姿势所缺乏的物体表面的详细几何结构。

总之，不同类型的姿势提供互补的时空信息，并且不存在满足所有要求的统一姿势类型。不同的场景和问题可能需要不同的姿势。

未来研究方向

• 大规模高质量人类视频数据集
• 长视频生成
• 高保真视频生成
• 提高人类视频扩散模型的效率
• 细粒度可控性
• 交互性。

Reference

1. A Comprehensive Survey on Human Video Generation: Challenges, Methods, and Insights
2. https://github.com/wentaoL86/Awesome-Human-Video-Generation

Video Editing

3.1 Tuning-based

One-Shot Tuned Video Editing

Compared to training-free editing methods:

• Cons: still need 1 video for training
• Pros: supports significant shape change

P149

ID	Year	Name	Note	Tags	Link
118	2023	Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
119	2023	Dreamix: Video Diffusion Models are General Video Editors
	2023	Towards Consistent Video Editing with Text-to-Image rDiffusion Models	Modify self-attention for better temporal consistency
	2023	Video-P2P: Video Editing with Cross-attention Control	Improve input-output semantic consistency of video editing via shared embedding optimization and cross-attention control。	attention控制

P166

Multiple-Shot Tuned

Video Editing: Text Conditioned

P167

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

✅ 在一个视频上训练后可以对视频进行编辑。
✅ 训练过程：(1) 对模型的时域模块 finetune．
✅ (2) 对图像打乱后用图像 finetune．
✅ 把视频和图片进行 mix finetune.
✅ 图片 finetune 会把 tenmporal 模块 fix 住。

✅ 需要训练的模型，且针对一个模型进行训练。
✅ 基本泛式：输入：一段视频，一个文生图模型，一个文本提示词。输出：基于定制化的文生图得到文生视频。
✅ 不在大规模上训练，只在一个视频上训练，只需十分钟。

✅ 推断过程：(1) 把视频 dounsample，维度变小。
✅ (2) 加入噪声作为初始噪声，类似于 DDIM Inversion.
✅ (3) 用 diffusion model 生成。
✅ (4) 上采样。
✅ 如果有更多 reference vedio 是不是能学得更好。
✅ (1) 用几段视频学习 concept．
✅ (2) 把 concept 接入到 diffusion model 中。
✅ 通过多段视频学习 motion concept.

✅ 不仅学 motion，还可以学 camera motion，camera motion，物体轨迹。

✅ 怎么把一个 concept 应用到不同的物体上。
✅ 怎样只学 motion 而不被物体的 appearance 影响，能不能 decouple.
✅ 分支1：spatial path，灰色为 spatial LoRA，学习外表信息。
✅ 分支2：temporal path，蓝色为 temporal LoRA，这个 path 用于学习 motion.
✅ debias：去掉 appreance 对 loss 的影响。
✅ temporal LORA 学习时使用但不修改 spatial LORA 的 Weight.
✅ 应用：(1) 也可以用于 one shot
✅ (2) 可以用于 appreace 和 motion 的组合
✅ (3) 可以用于 Image Animation

3.2 Training-free

P178

ID	Year	Name	Note	Tags	Link
117	2023	TokenFlow: Consistent Diffusion Features for Consistent Video Editing
	2023	FateZero: Fusing Attentions for Zero-shot Text-based Video Editing	Attention map fusing for better temporal consistency - During DDIM inversion, save inverted self-/cross-attention maps - During editing, use some algorithms to blend inverted maps and generated maps

P187

More Works

	MeDM (Chu et al.) OpScal flow-based guidance for temporal consistency “MeDM: Mediagng Image Diffusion Models for Video-to Video Translagon with Temporal Correspondence Guidance,” arXiv 2023.
	Ground-A-Video (Jeong et al.) Improve temporal consistency via modified attention and optical flow “Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models,” arXiv 2023.
	Gen-L-Video (Lorem et al.) Edit very long videos using existing generators “Gen-L-Video: Multi-Text to Long Video Generation via Temporal Co-Denoising,” arXiv 2023.
	FLATTEN (Cong et al.) Optical flow-guided attention for temporal consistency “Flatten: optical flow-guided attention for consistent text-to-video editing,” arXiv 2023.
	InFusion (Khandelwal et al.) Improve temporal consistency via fusing latents “InFusion: Inject and Attention Fusion for Multi Concept Zero-Shot Text-based Video Editing,” ICCVW 2023.
	Vid2Vid-Zero (Wang et al.) Improve temporal consistency via cross￾attention guidance and null-text inversion “Zero-Shot Video Editing Using Off-The-Shelf Image Diffusion Models,” arXiv 2023.

P194

✅ 对于输入文本的每个 wordtoken, 都可以通过 attentior map 找到图像中的大概位置，把要去除的 token mask 掉，剩下部分保留。生成图像则把非 token 部分 mask 掉，以此进行两部分的融合。

P197

✅ 基于不同信号的各种版的 control net.

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

3.3 Controlled Edifng (depth/pose/point/ControlNet)

✅ 已有一段视频，通过 guidance 或文本描述，修改视频。

P189

P190

Depth Control

Depth estimating network

ID	Year	Name	Note	Tags	Link
	2022	Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer	✅ 深变信息 Encode 成 latent code, 与 noise concat 到一起。
122	2023	Structure and Content-Guided Video Synthesis with Diffusion Models	Transfer the style of a video using text prompts given a “driving video”，以多种形式在预训练图像扩散模型中融入时序混合层进行扩展		Gen-1, Framewise, depth-guided
123	2023	Pix2Video: Video Editing using Image Diffusion	Framewise depth-guided video editing

P199

ControlNet / Multiple Control

也是control net 形式，但用到更多控制条件。

ID	Year	Name	Note	Tags	Link
124	2023	ControlVideo: Training-free Controllable Text-to-Video Generation
	2023	VideoControlNet: A Motion-Guided Video-to-Video Translation Framework by Using Diffusion Model with ControlNet	Optical flow-guided video editing; I, P, B frames in video compression ✅ 内容一致性，适用于 style transfer, 但需要对物体有较大编辑力度时不适用(例如编辑物体形状)。
	2023	CCEdit: Creative and Controllable Video Editing via Diffusion Models
	2023	VideoComposer: Compositional Video Synthesis with Motion Controllability	Image-, sketch-, motion-, depth-, mask-controlled video editing ✅ 每个 condition 进来，都过一个 STC-Encoder, 然后把不同 condition fuse 到一起，输入到 U-Net. Spako-Temporal Condikon encoder (STC-encoder): a unified input interface for condikons
	2023	Control-A-Video: Controllable Text-to-Video Generagon with Diffusion Models	通过边缘图或深度图等序列化控制信号生成视频，并提出两种运动自适应噪声初始化策略
	2024	Vmc: Video motion customization using temporal attention adaption for text-to-video diffusion models.	轨迹控制
	2023	MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation
	2023	Make-Your-Video: Customized Video Generation Using Textual and Structural Guidance
	2023	MagicEdit: High-Fidelity and Temporally Coherent Video Editing
	2023	EVE: Efficient zero-shot text-based Video Editing with Depth Map Guidance and Temporal Consistency Constraints

P225

Point-Control

P226

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

3.4 3D-Aware

P243

ID	Year	Name	Note	Tags	Link
	2023	Layered Neural Atlases for Consistent Video Editing	- Decompose a video into a foreground image + a background image - Edit the foreground/background image = edit the video ✅ 对背景进行编辑（图片编辑、风格迁移）再传播到不同帧上去。
	2023	VidEdit: Zero-Shot and Spagally Aware Text-Driven Video Edigng	Atlas-based video editing - Decompose a video into a foreground image + a background image - Edit the foreground/background image = edit the video - Use diffusion to edit foreground/background atlas > ✅ 前景编辑： (1) 抠出第一帧前景并进行编辑得到 Partial Atlas. ✅ (2) Partial Atlas 作为下一帧的 condition 整体上是自回归的。 ✅ 所有 Partial 合起来得到一个整体。 ✅ 背景使用深度信息作为 cordition.
	2023	Shape-aware Text-driven Layered Video Editing	Atlas-based video editing
	2023.11	Stablevideo: Text-driven consistency-aware diffusion video editing	✅ 给一个场景的多视角图片，基于 MLP 学习 3D 场景的隐式表达。
115	2023	CoDeF: Content Deformation Fields for Temporally Consistent Video Processing			link
	2023	HOSNeRF: Dynamic Human-Object-Scene Neural Radiance Fields from a Single Video
116	2023	DynVideo-E: Harnessing Dynamic NeRF for Large-Scale Motion- and View-Change Human-Centric Video Editing			link

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

3.5 Other Guidance

P264

ID	Year	Name	Note	Tags	Link
	2023	InstructVid2Vid: Controllable Video Editing with Natural Language Instructions	- Generate ⟨instruction, video⟩ dataset using ChatGPT, BLIP and Tune-A-Video - Train inflated Stable Diffusion for instruction-guided video editing
	2023	Soundini: Sound-Guided Diffusion for Natural Video Editing	Sound-guided video editing
	2023	DragNUWA: Fine-grained Control in Video Generation by Integrating Text, Image, and Trajectory			轨迹控制
	2023	Collaborative Score Distillation for Consistent Visual Synthesis
	2023	Make-A-Protagonist: Generic Video Edigng with An Ensemble of Experts

P272

✅ showlab/Awesome-Video-Diffusion

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

评价指标

图像质量、视频质量、一致性、多样性、美学和动作准确性

Image-level Evaluation Metrics

• Fréchet Inception Distance (FID, ↓): semantic similarity between images
• Peak Signal-to-Noise Ratio (PSNR, ↑): pixel-level similarity between images
• Structural Similarity Index (SSIM, ↓): pixel-level similarity between images
• CLIPSIM (↑): image-text relevance

Fréchet Inception Distance (FID)

✅ FID：评估两个 distribution 的差距有多大。
✅ 由于使用了网络的高层 feature，可以评价 high／evel 的语义相似性。

✅ CNN＋Softmax 是一个预训练好的图像分类网络，取 softmax 上一层做为图像的 feature.
✅ 取大量真实图像的 feature 和预训练模型生成的图 feature.
✅ 假设两类图像的 feature 各自符合高斯分布，计算两个分布的距离。
✅ 优点：评价结果与人类直觉很接近，缺点：需要大量 sample.

P49

Peak Signal-to-Noise Ratio (PSNR)

Pixel-level similarity between images

• For two images \(x,y \text{ of shape } M\times N\):

\begin{align*} \mathrm{PSNR} (x,y) = 10 \log_{10}{} \frac{255^2}{\mathrm{MSE} (x,y)} \end{align*}

where

\begin{align*} \mathrm{MSE} (x,y) = \frac{1}{MN} \sum_{i=1}^{M} \sum_{j=1}^{N} (x_{ij}-y_{ij})^2\end{align*}

P50

Structural Similarity Index Measure (SSIM)

Pixel-level similarity between images

• Model any image distortion as a combination of:
  (1) loss of correlation, (2) luminance distortion, (3) contrast distortion

• For two images \(x,y \text{ of shape } M\times N\):

\begin{align*} \mathrm{SSIM} (x,y)=l(x,y)\cdot c(x,y)\cdot s(x,y)\end{align*}

where

\begin{align*} \begin{cases} \text{Lumiannce Comparison Funckon:} l(x,y)=\frac{2\mu _x\mu _y+C_1}{\mu _x^2+\mu _y^2+C_1} \\ \text{Contrast Comparison Funckon:} c(x,y)=\frac{2\sigma _x\sigma _y+C_2}{\sigma _x^2+\sigma _y^2+C_2} \\ \text{Structure Comparison Funckon:} s(x,y)=\frac{\sigma _{xy}+C_3}{\sigma _{x}\sigma _{y}+C_3} \end{cases}\end{align*}

P51

CLIP Similarity

✅ CLIP Score，衡量与文字的匹配度。

Video-level Evaluation Metrics

• Fréchet Video Distance (FVD, ↓): semantic similarity & temporal coherence
• Kernel Video Distance (KVD, ↓): video quality (via semantic features and MMD)
• Video Inception Score (IS, ↑): video quality and diversity
• Frame Consistency CLIP Score (↑): frame temporal semantic consistency

P52

Fréchet Video Distance (FVD)

Semantic similarity and temporal coherence between two videos

P53

Kernel Video Distance

Video quality assessment via semantic features and MMD

P54

Video Inception Score (IS)

Video quality and diversity

✅ 多样性，在不给定 condition 的情况生成的分布的多样性。
✅ 质量：在给 condition 的条件下应生成特定的类别。

P55

Frame Consistence CLIP scores

Frame temporal semantic consistency

• Compute CLIP image embeddings for all frames
• Report average cosine similarity between all pairs of frames

P57

主观评价

Hybrid evaluation：EvalCrafter

• Creates a balanced prompt list for evaluation
• Multi-criteria decision analysis on 18 metrics: visual quality, content quality…
• Regress the coefficients of all metrics to generate an overall score aligned with user opinions

P45

Datasets

The WebVid-10M Dataset

Bain et al., “Frozen in Time: A Joint Video and Image Encoder for End to End Paper,” ICCV 2021.

✅ WebVid 是常用的视频数据集，有高清视频及配对文本。

Agenda

01 Flow Matching Basics

• 生成模型的基本范式
• Flow Matching 的参数化、训练、推断

02 Flow Matching Advanced Designs

• 条件生成
• Inverse Problem(训练方法)
• 使用 Flow Matching 生成(对称的或黎曼流型的)几何

03 Model Adaptation

• Faster Sampling
• Inverse Problems (Training-Free)
• Reward Fine-tuning

04 Generator Matching and Discrete Flows

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

P1

Flow Matching Basics

P6
WHAT IS FLOW MATCHING?
A scalable method to train flow generative models.

HOW DOES IT WORK?
Train by regressing a velocity, sample by following the velocity

P11

增量生成方法

Marginal probability path

flow matching属于增量生成方法，需要学习边缘概率路径。
边缘概率路径是指，任意一个特定的 \(t\) 时刻，\(X_t\) 所属于的分布 \(p_t\)。 即连续时间上的分布簇。

生成模型最重要的是，边缘概率路径以 \(P\) 分布开始，以 \(Q\) 分布结束。

P12

三种增量生成模型的特点

相比于其它增量生成方法，流的特点：(1) 确定性，已知 \(X_t\)，那么 \(X_{t+h}\) 是确定的。(2) 平滑
流的优势：(1) sample 速度快 (2) 可以构建模型似然的无偏估计器。
Diffusion 和 Jump 具有更大的设计空间，因此具有更多生成能力。

P13

Flow 生成模型

Flow 的参数化

\(\Psi_t\) 是 flow 生成模型的转移函数。
\(\Psi_t\) 是一个双射函数，因此它可以重塑空间而不丢失信息。
通过对高维空间的 warping，使 \(P\) 分布逐步变为 \(Q\) 分布。
双射函数的特性：

• 一一对应：每个输入对应唯一的输出，且每个输出都被某个输入映射到。
• 可逆性：存在逆函数 \( f^{-1}: Y \to X \)，满足 \( f^{-1}(f(x)) = x \) 且 \( f(f^{-1}(y)) = y \)。

flow Model 是一个马尔可夫过程。
马尔可夫过程（Markov Process）是一类具有无记忆性（马尔可夫性质）的随机过程，其核心特点是未来状态仅依赖于当前状态，而与历史状态无关。

直接参数化会遇到的问题

对两个双射函数做线性组合，得到的函数不能保持其双射的特性，因此，基于双射函数的模型难以被参数化。

$$ \alpha X_ {t|1}+\beta X_ {t|2}\ne \Psi _ t(\alpha X_ {t|1}+\beta X_ {t|2}) $$

网络模型中通常包含大量线性组合，激活函数等会破坏双射性的结构，因此很难让网络学到一个双射函数。
“模型的参数化”（Parameterization of a Model）是指用一组可调整的参数（Parameters）来定义模型的结构和功能的过程。它是模型设计的核心步骤，决定了模型如何从输入数据中学习规律、进行预测或生成输出。包括（设计模型结构、连接方式，定义参数如何初始化，哪些参数可以被优化）。

P14

利用速度对流做参数化

因此利用速度对流做参数化。在这里，速度是指 \(P_t\) 分布中的每个 sample 向 \(Q\) 分布中对应 sample 变化的速度（快慢和方向）。
Flow 和 velocity 是可以互相转化的。对 Flow 做微分可以得到 velocity，对 velocily 解常微分方程，可以得到 Flow.

使用速度的好处：速度是线性的，可以相加或分解，因此可以对速度做参数化。
使用速度的缺点：需要对 sample 出速度做 ODE，解出图像。

$$ \frac{d}{dt} \Psi _t(x)=u_t(\Psi _t(x)) $$

$$ \frac{d}{dt}\Psi _t(\alpha X_1+\beta X_2)=\alpha u_t(\psi _t(X_1))+\beta u_t(\psi _t(X_2)) $$

P15

Velocity \(u_t\) generates \(p_t\) if

$$ X _t=\Psi _t(X_0)\sim p_t $$

使用速度来定义边缘概率路径，\(\Psi_t\) 是基于速度的转移函数。

P16

Flow Matching 的训练

学习一个速度模型，由速度得到边缘路径概率 \(P_t\)，使得 \(P_0 = P\)， \(P_1= Q\)

P17

Sampling a flow model

Flow Matching 的推断：
(1) 从 \(P\) 分布中 sample 一个 noise
(2) 根随速度（解ODE）得到对应在 \(Q\) 分布中的 sample。

$$ \frac{d}{dt} X_t=u^0_t(X_t) $$

Use any ODE numerical solver.
One that works well: Midpoint

P19

Simplest version of Flow Matching

flow matching 的训练

(1) 随机构造源 \(X_0\) 和目标 \(X_1\)。
(2) 在 [0，1] 区间随机采样一个时间步 \(t\)。
(3) \(X_t\) 是 \(X_0\) 与 \(X_1\) 的线性组合。
(4) \(X_t\) 是网络输入，让网络输出逼近\(X_1-X_0\)。

$$ \mathbb{E } _{t,X_0,X_1}||u_t^0(X_t)-(X_1-X_0)||^2 $$

🔎 "Flow Matching for Generative Modeling" Lipman el al. (2022)
🔎 "Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow" Liu et al. (2022)
🔎 "Building Normalizing Flows with Stochastic Interpolants" Albergo et al. (2022)

P20

这里没有对 \(X_0\) 和 \(X_1\) 所属的分布作限制。 \(X_0\) 和 \(X_1\) 可以是独立的噪声和图像，也可以是具有某种关系（例如黑白与彩色）的 pair data。

Why does it work?

• Build flow from conditional flows

如何从一个更简单的速度或流（称为条件流）构建一个速度或流。条件流是指一些简单的，固定的部分。

• Regress conditional flows

通过观察更简单的条件流来学习复杂的部分。

P21

局部问题

假设目标分布只有 \(X_1\) 这一个点，那么流和速度是这样的。

$$ X_t=\Psi _t(X_0|x_1)=(1-t)X_0+tx_1 $$

这是一个条件流。
\(p_{t|1}(x|x_1)\) 是 conditional probability
\(u_t(x|x_1)\) 是 conditional velocity，是常数。

P22

全局问题

实际的 \(Q\) 分布包含很多 \(x_1\) 这样的 sample，每一个 sample 都可以作为一个 condition，得到一个 \(P_{t|条件}\) ，综合所有 \(P_{t|条件}\) 得到的 \(p_t(X)\) 是这 \(P_{t|条件}\) 的期望。可以证明，\(p_t(X)\) 以 \(P\) 开始，以 \(Q\) 结束。对 \(Q\) 分布中的所有的 \(x_1\)，对 \(U_t(X|X_1)\) 取平均，得到生成“边缘概率路径”的速度。
\(p_t(x)= \mathbb{E} _ {X_ 1}p_{t|1}(x|X_ 1)\)
\(u_t(X)\) 也可以以这种方式得出。

\(u_t(x)=\mathbb{E} [u_t(X_t|X_1)|X_t=x]\)

这个速度场称为边缘速度。

P23

Theorem*: The marginal velocity (边缘速度) generates the marginal probability path (边缘概率路径)。

以上公式中的期望，实际含义是“平均”。

P24

conditional loss

目标函数：回归边缘速度场。

(1) 直接回归边缘速度场

$$ ℒ_{FM}(θ) = \mathbb{E} _{t,X_t}||u^θ_t (X_t) − u_t(X_t)||^ 2 $$

其中，\(u_t(X_t)\) 是通过许多数据计算出的均值(根据上文中的公式)。
(2) 回归条件速度

$$ ℒ_{CFM}(θ) = \mathbb{E} _{t,X_1,X_t}||u^θ_t (X_t) − u_t(X_t|X_1)||^ 2 $$

Theorem: Losses are equivalent,

$$ \nabla_θℒ_{FM}(θ) = \nabla_θℒ_{CFM}(θ) $$

结论：仅回归条件速度，与直接回归速度相同。
使用条件分布(公式 2)相比于公式 1 的好处是，可以逐个样本去计算，而不需要对整个数集做平均。

P25
Theorem: Losses are equivalent if \(D\) is a Bregman divergence.

更进一步，使用任意的 Bregman Divergence Loss \((D(\cdot ,\cdot ))\) 散度代替 \(L2(||\cdot ,\cdot ||^2)\)，都能得到相同结论，L2 Loss 只是其中一种。

P26

因为要学习的是一个“期望”。

P27

How to choose \(ψ_t(x|x_1)\)?

Optimal Transport minimizes Kinetic Energy

在上文中，定义

$$ ψ _t(x|x_1)=tx_1+(1-t)x $$

这样定义，是基于“最小化动能”的考虑。

如果最小化动能，能让路径变得直，且速度恒定。
所以将 \(ψ _t(X_0|X_1)\) 定义为 \(X_0\) 和 \(X_1\) 连线上的一个点，其中 \(X_0\) 可以是空间中任意一点定义为 \(X\) 。

直接优化动能不容易，因为它不依赖于具体的条件。因此给它设定一个 Jensen bound，来限制边缘速度的动能。

Jensen bound 是具体的条件 \((X_0,X_1)\) 下的期望。
当 \(X_0\) 和 \(X_1\) 确定时，Jensen bound 可以被算出来，也可以(通过优化\(ψ _t\))被最小化。

结论： 当 \(ψ _t(x|x_1)\) 定义为 \(tX_1+(1-t)X\) 时，Jensen bound 被最小化，此时 \(X_0\) 到 \(X_1\) 是直线。

Linear conditional flow总结:
• Minimizes bound，而不是直接优化动能。
• Reduces Kinetic Energy of initial coupling
把 \(ψ _t\) 代入 Jensen bound 公式可得出此结论。

• Exact Optimal Transport for single data points
如果 \(Q\) 分布中只有一个 \(X_1\)。此时公式左右两边相等，是最优传输。

• Not Optimal Transport (but in high dim straighter)
如果 \(Q\) 分布里不止一个点，不是最优传输，\(X_0\) 到 \(X_1\) 也不是直线。

🔎 "Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow" Liu et al. (2022)
🔎 "On Kinetic Optimal Probability Paths for Generative Models" Shaul et al. (2023)

P29
好的最优传输，可以通过单个欧拉步骤采样。

$$ \frac{d}{dt} \Psi _t(x)=u_t(\Psi _t(x)) $$

$$ ℒ_{CFM}(θ) = \mathbb{E}D(u^θ_t (X_t),u_t(X_t|X_1)) $$

D 是一个 Bregman 散度，L2 Loss 是其中一种，根据上文中 \(ψ _t\) 的定义，把L2 和条件速度代入公式得：对于特定的 \(X_0\) 和 \(X_1\) ， \(X_1-X_0\) 是条件路径的条件速度。

$$ ℒ_{CFM}(θ) = \mathbb{E}||u^θ_t (X_t)-(X_1-X_0)||^ 2 $$

因此，这个算法是特定条件流 + 特定 Loss 下的一个 flow matching 实例。

P30

Affine paths

在前面的方法中，\(ψ_t(x|x_1)\) 是 \(x\) 与 \(x_1\) 的线性组合，这只是一种选择。现在假设其为仿射组合。

这种情况下，\(X_0\) 到 \(X_1\) 不再是直线。
由此得到不同的参数化速度的方式，例如：
(1) \(u_t(x)=\frac{d\psi t}{dt}\) ，直接预测速度

(2) 源预测：通过 \(X_0\) 的条件期望来参数化速度。预测 \(X_0\) ，再转化为 \(x\) 的速度

(3) 目标预测类似，预测 \(X_1\) ，再转化为 \(x\)的速度

根据 \(\alpha _t\) 和 \(\sigma _t\) 的定义不同，推导出的 \(a_t,b_t,c_t,d_t\) 不同。
以上公式中的“期望”部分，都是网络要预测的部分。预测的内容不同，最终目的都是为了求 \(x\) 的速度。

P31

Gaussian paths

目前为止，没有对源分布 \(P\) 和目标分布 \(Q\) 做任何假设。
如果假设 \(P\) 是一个高斯分布，\(P\) 和 \(Q\) 是独立的，这个过程即与 diffusion 的 ODE 过程吻合。

$$ p(x) = 𝒩(x |0 , I) \quad π_{0,1}(x_0, x_1) = p(x_0)q(x_1) $$

diffusion 的噪声预测，在 \(x\) 接近噪声时(初始 steps)会有奇异性问题。

P32 　

Affine and Gaussian paths

参数比较

蓝色部分适用于所有的仿射路径(包括高斯 path)。粉色部分仅适用于高斯 path.
[❓] 表格怎么看？

P33

flow matching 与确定性 diffusion 之间的关系:
1.diffusion 通过定义 forward process 然后再反转来生成概率路径。
flow matching 通过将所有已知的条件概率路径的聚合来生成概率路径。
2.diffusion 构造了 forward prossess，需要一个根据 forward process 构造条件概率的闭式解，因此会要求 \(P\) 是高斯，且 \(P\) 和 \(Q\) 独立。
flow matching 没有这样的限制，\(P\) 和 \(Q\) 可以是任意的分布。

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

P34

Flow Matching Advanced Designs

P35

1．条件生成
2．\(P\) 分布和 \(Q\) 分布耦合的场景
3．在几何域上使用 flow matching 构造生成模型

P37

Conditioning and Guidance

问题定义：
数据集：样本 + 标签
生成：给定标签，从具有特标签的分布中采样

P39

Conditional Models

公式定义

$$ p_ {t,1|Y} (x, x_1|y) = p_ {t|1}(x|x_1)q(x_1|y) $$

无条件	条件
边缘概率分布
边缘速度

将条件概率路径构建为不显式依赖于条件 \(Y\)。

P40

网络训练

Train same neural network on all conditions:

对于网络训练的影响在于，数据增加一个维度来表示\(Y\)。

P41

Examples

🔎 “Flow Matching for Generative Modeling” Lipman et al. (2022)
🔎 “GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models” Nichol et al. (2021)

局限性

此方法在“每个条件都有大量数据”时很有用，例如条件是类别时。
条件是文本时不适用，因为数据集里一段文本通常只对应一张图像。

P42

Condition as Guidance

Score Matching 和 diffusion

classifier Guidance：通过引入分类器，将无条件模型变成条件模型.

CFG：条件生成结果与无条件生成结果外插。

🔎 CFG

P43

Flow Matching with Caussian Path

Assume a velocity field trained with Gaussian paths.以上来自 score matching 的公式，同样可以适配到 flow matching.

P44
相关工作：
🔎 "Guided Flows for Generative Modeling and Decision Making" Zheng et al. (2023)
🔎 "Mosaic-SDF for 3D Generative Models" Yariv et al. (2023)
🔎 "Audiobox: Unified Audio Generation with Natural Language Prompts" Vyas et al. (2023)
🔎 "Scaling Rectified Flow Transformers for High-Resolution Image Synthesis" Esser et al. (2024)
🔎 "Movie Gen: A Cast of Media Foundation Models" Polyak et al. (2024)

P45

其中，movie Gen 发现使用 flow matching loss，在生成质量和文本一致性上，均优于 diffusion loss.

P46

非 Gaussian Path

Open Problem
How to guide FM with non-Gaussian paths?

CFG 要求正在学习的是具有高斯路径的 flow matching 模型，但 flow matching 不局限于高斯源。

P52

Data Couplings

前面工作都假设 \(P\) 和 \(Q\) 是独立的。What about dependent couplings?

• Non-Gaussian source distribution • Alternative conditioning approach • Inverse problems	• Applications to Optimal Transport • Efficiency: straighter trajectories

两种方法，利用 \(P\) 和 \(Q\) 的耦合关系优化生成过程。
1．利用耦合关系，构造另一种条件方法，用于解决 Inverse 问题。
2．试图找到多样本之间的耦合关系，用于优化采样效率。

P58

Paired Data

问题定义

方法

Alter source distribution and coupling instead of adding condition

改变源分布和耦合，而不是添加条件。
从数据中取出样本\((X_1,Y)\)
[❓] \(X_1\) 和 Y 有什么区别？
根据Y构造\(X_0\)

$$ X_0=Y+\epsilon \sim p $$

源分布不是噪声，而是 \(Y\) 添加噪声，损失不变。

P61

Result

P63

Multisample Couplings

问题定义

Given uncoupled source and target distributions,can we build a coupling to induce straighter paths?

有一个预训练的 flow matching 模型，构建一种耦合，使 \(P\) 到 \(Q\) 的路径更直线，或 \(Q\) 能更好地采样。

P64

耦合的本质

耦合 cost 限制了动能．降低 coupling cost，就能减少动能。

对于不同的耦合关系会得到不同的 \(u_t\) 和动能。但它有上限，降低上限能减少动能。

Marginal \(u_t\) with cond-OT FM and \(π_{0,1}\)

P69

方法

Use mini batch optimal transport couplings

1. 从 \(P\) 分布和 \(Q\) 分布中随机采样 \(k\) 个点。
2. 寻找两组点之间的最优排列，来最小化 cost.
3. 假设找到了最优组合，随机选择一对。

P70
$$ \mathrm{When} \quad k = 1 → π_{0,1} = p(X_0)q(X_1) $$

当 \(k＝1\) 时，相当于 \(P\) 和 \(Q\) 是独立的。

P71

When \(k → ∞, u_t\) generates the Optimal Transport map

P72

Result

• High dimensions-minor improvement in sampling speed compared to tailored samplers.

低维时，此方法能明显降低 cost

• Shows promise in lower dimensional problems for scientific applications (e.g. protein backbone design [Bose et al.'23]).

高维时，路径本身已接近直线，因此效果不明显。

P73

相关工作

Paired data:
🔎 "I2SB: Image-to-Image Schrödinger Bridge" Liu et al. (2023)
🔎 "Stochastic interpolants with data-dependent couplings" Albergo et al. (2024)
🔎 "Simulation-Free Training of Neural ODEs on Paired Data" Kim et al. (2024)

Multisample couplings:
🔎 "Multisample Flow Matching: Straightening Flows with Minibatch Couplings" Pooladian et al. (2023)
🔎 "Improving and generalizing flow-based generative models with minibatch optimal transport" Tong et al. (2023)
🔎 "SE(3)-Stochastic Flow Matching for Protein Backbone Generation" Bose et al. (2023)
🔎 "Sequence-Augmented SE(3)-Flow Matching For Conditional Protein Backbone Generation" Huguet et al. (2024)
🔎 "Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow" Liu et al. (2022)

P75

Geometric Flow Matching

使用 Flow Matching 生成(对称的或黎曼流型的)几何

Data with Symmetries	Riemannian Manifolds
• Equivariant flows → invariant densities • Alignment couplings	• Simulation free on simple manifolds • General geometries

P87

Data with Symmetries

问题定义

有些对象具有对称性，希望生成的对象也能满足这些特征。

对称性的直观理解和公式表示

原始 \(P、Q\) 分布与对称 \(P、Q\) 分布应具有相同的密度或似然性。
边缘概率路径也应具有对称性，且原概率路径保持不变。

$$ p_t(g\cdot x)=p_t(x) $$

等变性：是教学中关于的群的术语，在这里简单理解为具有对称性。
边缘概率路径具有对称性和边缘速度具有对称性，是等价的。
等变速度场可以生成不变的概率路径和等变流。

🔎 "Equivariant Flows: Exact Likelihood Generative Learning for Symmetric Densities" Köhler et al. (2020)

P88

方法

因此，只需要构建一个能生成等变速度的 flow matching model。

Equivariant Velocity

$$ u^θ_t (g⋅x) = g⋅u^θ_t(x) $$

Train with CFM:

🔎 "Equivariant flow matching" Klein et al. (2023)
🔎 "Equivariant Flow Matching with Hybrid Probability Transport" Song et al. (2023)

P89

存在的问题

数据是具有对称性的。

如果没有考虑数据的对称性，仍假设 \(P\) 和 \(Q\) 是独立的，会发生这种情况。

P90

导致模型学到的轨迹弯曲。降低 sample 的效率。

P91

解决方法

🔎 "Equivariant flow matching" Klein et al. (2023)
🔎 "Equivariant Flow Matching with Hybrid Probability Transport" Song et al. (2023)

这两篇 Paper 提出对齐耦合；解决以上问题。

P92

Result

"Fast Point Cloud Generation with Straight Flows" Wu et al. (2022)	"Equivariant Flow Matching with Hybrid Probability Transport" Song et al. (2023) "Equivariant flow matching" Klein et al. (2023)

此方法适用于点云和分子。

P94

Generative Modeling on Manifolds

生成流形数据，例如 Nesh，轨迹、曲面等而不是整个欧拉空间。

P95
Need to re-define the geometric structures we have in Euclidean space.

重新定义几何结构，以便定义 flow matching 模型。
此处以黎曼流形为例。

P98

定义几何结构

🔎 黎曼流形

假设只考虑黎曼流形
1．光滑流形，即可微，能够定义切空间。

切空间是某点\(x\)处所有方向导数的集合。
2．选择一个内积来计算黎曼度量，描述流形上的角度和距离。

P99

Pl00

构建黎曼流形时，速度定义在切空间上。
这样速度 \(v\) 和流形 \(x\) 不在同一空间，计算出 \(v\) 以后，要投影回 \(x\)，转成流形。

P101

构建 Riemannian Flow Matching

图像上的 flow matching 与黎曼空间上的 flow matching，具有相同的数据构造、训练方法、唯一的不同是 Loss 的定义。黎曼度量代替 L2 Loss。

• Riemannian Flow Matching loss:

P102
• Riemannian Conditional Flow Matching loss:

Losses are equivalent 的结论在这里同样适用：

$$ ∇_θℒ_{RFM}(θ) = ∇_θℒ_{RCFM}(θ) $$

P103

Conditional Flows - Simple Geometries

flow matching 中的直线推广到这里就是测地线，因为测地线是流形上的最短路径。

For simple manifolds (e.g. Euclidean, sphere, torus, hyperbolic)，测地线的计算具有闭式表达：

$$ \Psi _t(x_0|x_1)=\mathrm{exp} _{x_0}(\kappa (t)\mathrm{log} _{x_0}(x_1)),\quad t \in [0,1] $$

$$ \mathrm{Scheduler }\quad \kappa (t):\kappa (0)=0,\quad \kappa (1)=1 $$

这种情况，无需模拟就能计算条件流。

P104

Conditional Flows - General Geometries

对于一般的几何结构，可能存在两个问题：

1. Geodesics can be hard to compute

2. Concentrate probability at boundary

因此难以计算。

P105

Choose a premetric satisfying:

1. Non-negative:\(d(x,y) ≥ 0\).
2. Positive: \(d(x, y) = 0\) iff \(x = y\).
3. Non-degenerate:\(∇d(x, y) ≠ 0\) iff \(x ≠ y\).

Build conditional flow satisfying:

$$ d(ψ_t(x_0|x_1),x_1) = \tilde{κ}(t)d(x_0,x_1) $$

$$ \mathrm{Scheduler} \quad \tilde{κ} (t) = 1 − κ(t) $$

为了解决以上问题，提出了一种新的度量方法。

P106

对时间求导，得到微分方程。

🔎 "Flow Matching on General Geometries" Chen & Lipman (2023)

P107

新度量方法与测地距离比较。

P108

Riemannian Flow vs. Score Matching

flow matching 的优势
（1）simulate free，速度快。PPT例子中快20倍。
（2）解 ODE 比解 SDE 容易
（3）\(u_t(X_t|X_1)\)是精确值，\(\nabla \mathrm{log}\) \(p_t(x|x_0)\) 是近似值。

P109

🔎 "Riemannian Score-Based Generative Modelling" De Bortoli et al. (2022)
🔎 "Flow Matching on General Geometries" Chen & Lipman (2023)

P110

相关工作

Equivariant Flow Matching:

🔎 "Fast Point Cloud Generation with Straight Flows" Wu et al. (2022)
🔎 "Equivariant flow matching" Klein et al. (2023)
🔎 "Equivariant Flow Matching with Hybrid Probability Transport" Song et al. (2023)
🔎 "Mosaic-SDF for 3D Generative Models" Yariv et al. (2023)

Riemannian Flow Matching:

🔎 "Flow Matching on General Geometries" Chen & Lipman (2023)
🔎 "SE(3)-Stochastic Flow Matching for Protein Backbone Generation" Bose et al. (2023)
🔎 "Sequence-Augmented SE(3)-Flow Matching For Conditional Protein Backbone Generation" Huguet et al. (2024)
🔎 "FlowMM: Generating Materials with Riemannian Flow Matching" Miller et al. (2024)
🔎 "FlowLLM: Flow Matching for Material Generation with Large Language Models as Base Distributions" Sriram et al. (2024)
🔎 "Metric Flow Matching for Smooth Interpolations on the Data Manifold" Kapuśniak et al. (2024)

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

P111

Model Adaptation

P112

You’ve trained a model. What next?

已有一个预训练模，可以做什么？

P113

Faster Sampling

P114

Recitde Flow-Faster sampling by straightening the flow

方法

$$ ℒ(θ) = \mathbb{E} _ {t,(X_0,X_1)∼π_ {0,1}^0}||u^θ_t (X_t) − (X_1 − X_0)||^2 $$

Rectified Flow refits using the pre-trained (noise, data) coupling.
Leads to straight flows.

Rectified Flow：让 flow 从源直接到目标。
第1步：训练 flow matching，flow matching 模型定义了源和目标的耦合关系，也得到了噪声与数据的 pair data.
第2步：用 pair data 继续训练。

🔎 “Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow” Liu et al. (2022)

P115

P116

Result

Diffusion 对比 Rectified Flow

局限性

Enforcing straightness restricts the model. Often a slight drop in sample quality

🔎 “InstaFlow: One Step is Enough for High-Quality Diffusion-Based Text-to-Image Generation” Liu et al. (2022)

P118

Faster sampling by self-consistency loss

增大 \(h\)，在 \(x_t\) 和 \(X_{t＋h}\) 之间建立 shortcut，类似于 diffusion 中的蒸馏方法。

原理

P119

方法

P121

Result

局限性

Shortcuts with \(h\) >0 do not work with classifier-free guidance (CFG).
CFG weight can & must be specified before training.

short cuts 直接预测流而不是速度，流是非线性的，不能对结果加权组合，因此不能结合 CFG.
针对此问题的 workaround：预置 CFG 权重

🔎 “One Step Diffusion via Shortcut Models” Frans et al. (2024)

P124

Faster sampling by only modifying the solver

以上两种方法，都需训练。此方法不需要训练，而是修改 solver.

补充：关于调度器．\(\beta, \alpha _t\) 和 \(\sigma _t\)的 trick．

Can adapt pre-trainedmodels to different schedulers.

有一个用 scheduler A 训练好的模型，现在要一个用 scheduler B 继续训练，这两个模型是什么关系？

结论：这两个 scheduler 及其 flow 可以通过 \(X\) 的缩放和时间的重参数化关联起来。
时间重参数化是指，匹配两个 scheduler 的 SNR 和 scaling。

Related by a scaling & time transformation:

如图所示，调整 scheduler,流会表现出不同，但 \(X_0\) 与 \(X_1\) 的耦合关系不变。

🔎 “Elucidating the design space of diffusion-based generative models” Karras et al. (2023)

P126

修改 scheduler 的例子

Bespoke solvers:
Decouples model & solver.
Model is left unchanged.
Parameterize solver and optimize.

模型与 solver 解耦：模型不变，仅优化求 solver.
向 solver 中传入参数(表达 scheduler)，优化这些参数相当于在优化 scheduler。

Can be interpreted as finding best scheduler + more.

Solver consistency: sample quality is retained as NFE → ∞.

由于仅优化solver，好处：
1．可以利用 solver 的一致性，把步数取到无穷大，仍然能准确地解 ODE。做法是，用数据集 A 训练生成模型后，用数据集 B 训练 scheduler 的新参数。
2．在不同的模型(不同数据集、分辨率等训练出来的模型)之间可迁移。

Bespoke solvers can transfer across different data sets and resolutions.

局限性：

虽然能(不重训生成模型)直接迁移到另一个模型，但比在另一个模型上蒸馏(重训)效果要差一点。

P127

However, does not reach distillation performance at extremely low NFEs.

P128

相关工作

Rectified flows:
🔎 “Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow” Liu et al. (2022)
🔎 “InstaFlow: One Step is Enough for High-Quality Diffusion-Based Text-to-Image Generation” Liu et al. (2024)
🔎 “Improving the Training of Rectified Flows” Lee et al. (2024)

Consistency & shortcut models:
🔎 “Consistency Models” Song et al. (2023)
🔎 “Improved Techniques for Training Consistency Models” Song & Dhariwal (2023)
🔎 “One Step Diffusion via Shortcut Models” Frans et al. (2024)

Trained & bespoke solvers:

🔎 “DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics” Zheng et al. (2023)
🔎 “Bespoke Solvers for Generative Flow Models” Shaul et al. (2023)
🔎 “Bespoke Non-Stationary Solvers for Fast Sampling of Diffusion and Flow Models” Shaul et al. (2024)

P129

Inverse Problems (Training-Free)

Inverse Problem：填充、去糊、超分、编辑。
与上节中的 data coupling 中要解决的问题不同的是，这里要利用在完全干净的数据集上训好的预训练模型，不经过重训，得到解决 Inverse Problem 的效果。

P133

Solving inverse problems by posterior inference

\(x_1\) 为干净图像，\(y\) 为噪声图像。

用高斯来近似其中未知的部分 (score function)
score function 可能是 multi 的，但实验证明仅用高斯也能有比较好的效果。

P134

局限性

Typically requires known linear corruption and Gaussian prob path.
Can randomly fail due to the heuristic sampling.

🔎 “Pseudoinverse-Guided Diffusion Models for Inverse Problems” Song et al. (2023)
🔎 “Training-free Linear Image Inverses via Flows” Pokle et al. (2024)

P135

Solving inverse problems by optimizing the source

观察结论

1. Don’t want to rely on likelihoods / densities.

预训练一个生成模型，然后有这个模型来评估数据，评估结果很不可靠，它把数据集中的数据评估为低密度，非数据集中的数据评估为低密度。
因为，高密度\(\ne\) 高采样率。

2. Have observation \(y\) being nonlinear in \(x_1\).

\(y\) 是真实图像，\(X_1\) 是模型 sample,\(X_1\) 与 \(y\) 之间差了一个 Decoder.因此它们的关系是非线性的。

🔎 “Do Deep Generative Models Know What They Don't Know?” Nalisnick et al. (2018)

P138

方法

逆问题转化为优化问题。

$$ X_1=\psi (X_0) $$

\(\psi \) 是预训练的生成模型，不优化 \(\psi \) 的参数，那就优化\(X_0\) 。因为 \(\psi \) 是一个平滑、可逆、可微的函数。

P139

特点与局限性

$$ \min_{x_0} L(\psi ^\theta _1(x_0)) $$

Theory: Jacobian of the flow \(\nabla _{x_0}\psi ^\theta_1\) projects the gradient along the data manifold.

Intuition: Diffeomorphism enables mode hopping!

P140

Simplicity allows application in multiple domains.

Caveat: Requires multiple simulations and differentiation of \(\psi ^\theta _1\).

求导链路很长，计算成本很高。

🔎 “D-Flow: Differentiating through Flows for Controlled Generation” Ben-Hamu et al. (2024)

P141

Inverse problems references

Online sampling methods inspired by posterior inference:

🔎 “Diffusion Posterior Sampling for General Noisy Inverse Problems” Chung et al. (2022)
🔎 “A Variational Perspective on Solving Inverse Problems with Diffusion Models” Mardani et al. (2023)
🔎 “Pseudoinverse-Guided Diffusion Models for Inverse Problems” Song et al. (2023)
🔎 “Training-free Linear Image Inverses via Flows” Pokle et al. (2023)
🔎 “Practical and Asymptotically Exact Conditional Sampling in Diffusion Models” Wu et al. (2023)
🔎 “Monte Carlo guided Diffusion for Bayesian linear inverse problems” Cardoso et al. (2023)

Source point optimization:

🔎 “Differentiable Gaussianization Layers for Inverse Problems Regularized by Deep Generative Models" Li (2021)
🔎 “End-to-End Diffusion Latent Optimization Improves Classifier Guidance” Wallace et al. (2023)
🔎 “D-Flow: Differentiating through Flows for Controlled Generation” Ben-Hamu et al. (2024)

方法 1：通过修改 sample 方法来逐步接近目标。这些方法大多数受到某种后验推断的启发，可以在准确性和效率之间 trade off.
方法 2：简单但开销很大。

P144

Reward Fine-tuning

Data-driven and reward-driven fine-tuning

A lot of focus put into data set curation through human filtering.	Can use human preference models or text-to-image alignment.

Data-driven 的关键在于精心准备数据集。
Reward-driven 不增加训练数据，而是给模型输出一个 reward。finetune 的目标是生成得分高的 sample.
此处仅介绍后者。

P145

Reward fine-tuning by gradient descent

Initializing with a pre-trained flow model \(p^\theta\)：

$$ \max_{\theta } \mathbb{E} _{X_1\sim p^\theta }[r(X_1)] $$

Optimize the reward model with RL [Black et al. 2023]
or direct gradients [Xu et al. 2023, Clark et al. 2024]

P146
优点：
不同的奖励模型可以组合，得到综合的效果。

局限性：
Requires using LoRA to heuristically stay close to the original model.
Still relatively easy to over-optimize reward models; “reward hacking”.

这种方法没有 GT，所以生成结果有可能对 reward model 过拟合。因此需要使用 LoRA.

🔎 “Training diffusion models with reinforcement learning” Black et al. (2023)
🔎 “Imagereward: Learning and evaluating human preferences for text-to-image generation.” Xu et al. (2023)
🔎 “Directly fine-tuning diffusion models on differentiable rewards.” Clark et al. (2024)

P149

Reward fine-tuning by stochastic optimal control

方法1：RLHF

和直接优化相比，RLHF 将一个预训练分布倾科为能得到更高奖励的分布。

正则化：微调模型分布应与预训练模型分布接近。常用方法是增加KL 项，如下面公式蓝色部分。但这里不这样用。因为，我们要优化的不是概率路径，而是与 \(X_0\) 相关的 something.
这里采用公式（3），即引入 value function bias．
value function bias 是 \(X＝X_0\)时，所有可能的 \(X_1\) 的期望。

P150
原理：

Intuition: Both initial noise \(p(X_0)\) and the model \(u_t^{base}\) affect \(p^{base}(X_1)\).

原理：某一时刻的分布受到 noise 分布和模型的共同影响，即使是同一个预预训练模型改变 noise 的分布，那么 \(X_1\) 的分布也会改变。
由于 \(X_1\) 同时受模型和 noise 分布的影响，那么 RLHF 同时优化这两个因素。

[Uehara et al. 2024] (即 RLHF) proposes to learn the optimal source distribution \(p^\ast (X_0)\).

方法2：Adjoint Matching

或者，改变采样方法，让 \(X_0\) 分布与 \(X_1\) 分布独立。那么此时，value function 是一个常数。

[Domingo-Enrich et al. 2024] proposes to remove the dependency between \(X_0, X_1\).

$$ p^\ast (X_{(0,1)})=p^{base}(X_{(0,1)})\mathrm{exp} (r(X_1)+const.)\Rightarrow p^\ast (X_1)\propto p^{base}(X_1)\mathrm{exp} (r(X_1)) $$

🔎 “Fine-tuning of continuous-time diffusion models as entropy regularized control” Uehara et al. (2024)

P151

🔎 “Adjoint matching: Fine-tuning flow and diffusion generative models with memoryless stochastic optimal control” Domingo-Enrich et al. (2024)

这篇论文的主要内容：
1．使用 flow matching 在真实图像上训练后，再使用 ODE 采样，能得到真实的输出。
2．把 ODE 过程改成无记忆 SDE（强制 \(X_0\) 与 \(X_1\) 独立），那么在早期的 sample step 实际上没有什么收益，因为那时候 \(X\) 大部分都是噪声。因此 SD 的采样结果不符合预训练的分布。
3．把 2 用于 finetune 的过程，因此 finetune 过程，不使用 flow 的 sample 方式，而是 SDE 的 sample 方式。
4．finetune 之后，可以把 SDE 换回成 ODE。

P152

Reward fine-tuning 总结

Gradient-based optimization:

🔎 “DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models” Fan et al. (2023)
🔎 “Training diffusion models with reinforcement learning” Black et al. (2023)
🔎 “Imagereward: Learning and evaluating human preferences for text-to-image generation.” Xu et al. (2023)
🔎 “Directly fine-tuning diffusion models on differentiable rewards.” Clark et al. (2024)

Stochastic optimal control:

🔎 “Fine-tuning of continuous-time diffusion models as entropy regularized control” Uehara et al. (2024)
🔎 “Adjoint matching: Fine-tuning flow and diffusion generative models with memoryless stochastic optimal control” Domingo-Enrich et al. (2024)

本文出自CaterpillarStudyGroup，转载请注明出处。

https://caterpillarstudygroup.github.io/ImportantArticles/

P153

Generator Matching and Discrete Flows

P155

这一节比较抽象，旨在提供思考的素材，以及这个框架还能用来做什么。

Continuous Time Markov Processes

flow：通过特定的“宏观的随机的过程”，将 source 平滑转换为 target.
这个过程称为连续时间马尔可夫过程。转移空间可以是连续的或偏散的。

CTMC 是一个离散空间上的过程转移的例子。所有的状态来自某个离散的集合。

状态转移的过程称为 transition kernel. 输入当前状态，输出下一个状态的概率分布，根据分布采样，得到下一个状态。

P156

Generator

如果要以离散状态转换的方式实现 flow matching，关键是找出线性的 transition kernal.
速度是线性的关键。
transition kernel 的导数被称为生成器

Generalize the notion of velocity to arbitrary CTMP

🔎 "Generator Matching: Generative modeling with arbitrary Markov processes" Holderrieth et al. (2024)

P157

CTMP via generator

取一个速度，并用它定义流。类似于用生成器定义一个连续时间过程的轨迹。

P158

训练的目标仍然是让边缘概率路径以 \(p\) 分布开始，以 \(Q\) 分布结束。

P163

Building generator from conditional generators

Repeating the Kata from flows……

P164

也可以从简单 condition 推广到所有数据，之前的结论同样适用。

🔎 "Generator Matching: Generative modeling with arbitrary Markov processes" Holderrieth et al. (2024)

P165

Discrete Flow Matching

这里讲的是与具体场景无关的通用方法。

\(u_t\) 是一个巨大的转移矩阵。
彩色圆点代表质量函数，类似于前面的概率密度的概念。

🔎 “Generative Flows on Discrete State-Spaces: Enabling Multimodal Flows with Applications to Protein Co-Design” Campbell et al. (2024)
🔎 “Discrete Flow Matching” Gat el al. (2024)

P166

Factorized velocities

Similar to continuous case \(𝒮 = ℝ^d\) :

$$ u_t(x) = [u^1_t (x),…, u^d_t (x)] $$

但如果状态表太多这种方法不可行。解决方法是分解速度，一次只修改矩阵某一个维度上的某一个数值。

🔎 “A Continuous Time Framework for Discrete Denoising Models” Campbell et al. (2022)

P167

Build (factorized) velocities