本仓库论文方向

动画方向

让看到的景象成为一个会动的景象，其管线为：

景象 --(建模)--> 动画代理 --(驱动)--> 会动的代理 --(渲染)--> 会动的景象

根据代理的表达不同，又可以分为2D管线（2D建模）、3D管线(3D建模)。
不同的代理有不同的驱动和渲染方式。驱动需要外观信息（来自代理）、动作信息（来自动画数据）和外观与动作的关联关系，由此引申出动作生成和动作驱动两个领域。
将建模与驱动显式地分成两个步骤的方式，称为静态建模与驱动。也可以是由景象直接得到会动的的代理，称为动态建模与驱动。甚至直接由景象得到会动的景象，这就是可控文生视频。

3D管线

优势：由于会在3D进行建模，擅长时间、空间上的一致性的保持。不太容易出现非常奇怪的驱动的结果。
局限性：通常用于比较明确的主体

建模（外观来源、驱动代理）	驱动方式（外观与动作的关联）	动作（动作来源）	渲染
Mesh建模 + 骨骼蒙皮	LBS	骨骼动作生成、骨骼动作捕捉、骨骼动作迁移	无
Mesh	无（逐顶点直接驱动）	Mesh顶点运动生成、运动捕捉、运动迁移	无
静态3DGS建模	3DGS直接驱动	无	3DGS渲染
静态3DGS建模	3DGS动作提取	3DGS绑定到骨骼	3DGS渲染
无	动态3DGS同时实现建模和驱动	无	3DGS渲染
3D点云重建	3D点云驱动	无	3D点云渲染
Nerf建模			Nerf渲染

2D管线

优势：被驱动的内容更广泛，可以是任意图像内容
局限性：自由度高，时间、空间的一致性是难点，可能出现非常奇怪的结果，通常比较耗时

建模（外观来源）	动作（动作来源）	驱动（外观与动作的关联）	渲染

仿真方向

创造一个具有物理真实感的景象，其管线为：

(建模)--> 仿真代理 --(驱动)--> 会动的代理 --(渲染)--> 会动的景象

仿真代理与动画代理相似但不同。
驱动所需要的动作信息中包含物理规律。
有些工作中，会同时结合动画与仿真。

总结

Pipeline	3D建模（外观来源、驱动/仿真代理）	驱动方式（外观与动作的关联）	动作（动作来源）	渲染
1	3DMesh 相关技术：3DMesh重建	骨骼带动Mesh顶点相关技术：蒙皮绑定、LBS	骨骼动作相关技术：骨骼动作生成、骨骼动作捕捉、骨骼动作迁移	无
2		不同Mesh形变基的线性组合相关技术：表情基绑定	表情基系数相关技术：表情基系数预测	无
3		逐顶点直接驱动	Mesh顶点运动 4DMesh生成、运动捕捉、运动迁移	无
4		顶点作为粒子，线作为约束，以物理规律控制顶点运动关键技术：软体仿真	力	无
5	3DGS 相关技术：静态3DGS建模	3DGS直接驱动	3DGS运动相关技术：3DGS驱动	3DGS渲染
6		3DGS绑定到骨骼，骨骼驱动高斯点相关技术：3DGS绑定	骨骼动作	3DGS渲染
7		每一帧都重新生成3DGS	3DGS的全部属性相关技术：动态3DGS	3DGS渲染
8	3D点云相关技术：3D点云重建	逐顶点驱动	点云运动数据相关技术：3D点云驱动	3D点云渲染相关技术：3D点云渲染
9	3D仿真粒子	基于物理规律的粒子运动相关技术：粒子仿真	粒子控制	仿真粒子的渲染
10	Nerf相关技术:Nerf建模	[?]	[?]	Nerf渲染

Pipeline	2D建模（外观来源、驱动代理）	驱动方式（外观与动作的关联）	动作（动作来源）	渲染
1	MAT建模	MAT动作提取	MAT驱动	MAT渲染
2	2D图形建模	2D图形动作提取	2D图形驱动	2D图形渲染
3	像素	控制信号直接驱动像素关键技术：可控图生视频	控制信号	无
4	像素	光流驱动像素 + inpainting 关键技术：inpainting	光流关键技术：控制信号生成光流	无
5	2DMesh建模	Mesh绑定到控制点上，由控制点带动Mesh	控制点运动	无
6		Mesh绑定到骨骼上，由骨骼带动Mesh	骨骼运动	无