eDiff-I: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers

1. 核心技术与架构

eDiff-I 是由 NVIDIA 提出的文本到图像扩散模型，其核心创新在于通过 专家去噪器集合（Ensemble of Expert Denoisers） 解决传统扩散模型在生成过程中不同阶段对文本依赖的动态变化问题。模型架构包括以下关键设计：

专家去噪器分阶段训练：研究发现，扩散模型在生成早期阶段依赖文本提示生成内容，而在后期更关注视觉保真度。eDiff-I 将生成过程分为多个阶段，每个阶段由专门的去噪器（专家）处理。初始阶段训练一个共享模型，随后通过微调将其拆分为针对不同阶段的专家模型，既提高生成质量，又避免增加推理时的计算成本。
多编码器联合条件化：模型同时利用 T5 文本编码器、CLIP 文本编码器和 CLIP 图像编码器的嵌入。T5 编码器增强文本细节理解，CLIP 编码器优化全局风格，而 CLIP 图像嵌入支持风格迁移（如参考图风格迁移至生成图像），三者结合显著提升生成多样性与对齐性。
“以文字绘图（Paint-with-Words）”功能：通过语义掩码与交叉注意力机制，用户可在画布上绘制特定区域并关联文本提示词，从而精确控制生成图像的布局与内容，无需额外训练。

2. 关键创新点

动态阶段化去噪：通过分阶段专家模型，eDiff-I 在早期阶段（高噪声水平）强化文本对齐，后期（低噪声水平）专注于视觉细节优化，解决了传统模型在生成过程中条件信号逐渐失效的问题。
条件嵌入的协同作用：T5 与 CLIP 的互补性被充分挖掘——T5 编码器捕捉文本细粒度语义（如对象属性），而 CLIP 编码器提供风格与全局一致性。实验表明，联合使用两者生成的图像在细节和风格上均优于单一编码器。
高效训练策略：采用“预训练-微调”两阶段训练方案，先训练共享模型，再拆分微调专家模型，大幅降低训练复杂度，同时保持模型容量扩展的灵活性。

3. 实验与性能

基准测试：在标准文本到图像生成任务中，eDiff-I 在 FID（Frechet Inception Distance） 和 CLIP Score 等指标上优于同期模型（如 DALL-E 2 和 Imagen），尤其在复杂文本提示下（如多对象组合、空间关系）表现更优。
风格迁移能力：通过 CLIP 图像嵌入，eDiff-I 可将参考图的风格迁移至生成图像（如油画风格或摄影风格），且无需额外训练，展示了跨模态条件的灵活性。
用户控制验证：Paint-with-Words 功能在用户研究中被证实能有效提升生成图像的空间控制精度，尤其在需要精确对象定位的场景（如“猫坐在左侧椅子上”）中表现突出。

4. 与同类模型的对比

与 Imagen 的差异：Imagen 依赖级联扩散模型（分阶段提升分辨率），而 eDiff-I 强调同一分辨率下不同生成阶段的专家分工，更关注时间维度的条件动态性。
与 Stable Diffusion 的对比：Stable Diffusion 基于潜在空间扩散，而 eDiff-I 直接在像素空间操作，结合多编码器提供更丰富的条件信号，文本对齐能力更强。

5. 局限性与未来方向

计算成本：专家集合虽不增加推理成本，但多阶段训练仍需要大量算力。
多样性限制：生成结果对初始噪声敏感，同一文本多次生成可能缺乏多样性。
扩展应用：未来可探索专家模型与其他条件控制（如布局、草图）的结合，或与潜在优化技术（如网页5提到的隐变量优化）融合，进一步提升可控性。

6. 应用场景

eDiff-I 的潜力覆盖以下领域：

创意设计：支持用户通过文本与手绘草图的混合输入生成定制化图像，适用于广告、游戏场景设计等。
教育可视化：结合复杂科学概念的文本描述与风格参考图，生成教学素材。
数据增强：生成与特定布局对齐的合成图像，用于提升下游模型（如语义分割）的域泛化能力（类似网页2中 ALDM 的思路）。

启发

eDiff-I 通过专家去噪器集合与多编码器协同，显著提升了文本到图像生成的精度与可控性。其核心贡献不仅在于模型性能的突破，更在于揭示了扩散模型阶段化优化的潜力，为后续研究（如动态条件注入、多阶段控制）提供了新范式。
用图像Clip Embedding可实现参考图像的风格迁移。