Multi-Concept Customization of Text-to-Image Diffusion

这篇论文提出了一种针对文本到图像扩散模型（如Stable Diffusion）的多概念定制化方法，旨在解决现有技术（如Textual Inversion、DreamBooth、LoRA等）在同时学习多个视觉概念时面临的概念混淆、训练效率低和组合泛化性差的问题。

现有方法局限：

DreamBooth：全参数微调导致存储成本高（约3GB/概念）且难以组合多概念。
Textual Inversion：仅优化文本嵌入，生成保真度低且无法灵活组合。

1. 核心问题与挑战

现有单概念定制化方法（如DreamBooth或LoRA）在需要同时学习多个概念（例如“一只特定的狗”+“一种特定的帽子”）时存在以下问题：

概念混淆（Concept Interference）：多个概念在训练过程中相互干扰，导致生成的图像混合了不同概念的属性（例如狗的脸和帽子的形状结合异常）。
组合泛化性差：独立训练的单概念模型在组合时无法保证语义一致性（例如“狗戴帽子”可能生成不合理的结构）。
计算成本高：逐个微调每个概念需要重复训练，效率低下。

2. 方法设计

论文提出了一种名为Custom Diffusion的框架，通过以下关键技术实现高效多概念定制：

2.1 多概念联合训练策略

正则化数据集：使用与目标图像标题相似的真实图像（如从LAION-400M检索）防止过拟合，提升泛化性。

用少量的数据finetune整个模型，容易造成过拟合。
✅ 解决方法：通过在训练过程中引入一个正则化项来防止过拟合

✅ 从large scale image dataset中选择一些所标注文本与左图文本相似度比较高的图像。这些图像与文本的pair data用于计算正则化项。

多概念组合优化：

将不同概念的训练数据合并，联合优化其对应的K和V矩阵。

引入闭式约束优化（Closed-form Constraint Optimization），通过数学约束合并多个微调后的模型权重，确保概念独立性。

2.2 参数高效微调

优化对象：仅更新扩散模型（UNet）交叉注意力层（Cross-Attention）中的键（K）和值（V）投影矩阵，冻结其他参数（如查询矩阵Q、卷积层等）。

参数量：仅占模型总参数的3%（约75MB/概念），支持进一步压缩至5-15MB。

训练速度：单概念微调约6分钟（2块A100 GPU），多概念联合训练效率更高。

✅ 选择模型的部分参数进行 finetune．问题是怎么选择？
作者通过分析模型各参数的重要性，insights 应该 finetune 哪些参数。

✅ Cross-Attn 层用于结合图像和文本的特征。
✅ Self-Attn 用于图像内部。
✅ Other 主要是卷积和 Normalization.
✅ 通过比较 pretrained 模型和 finetune 模型，change 主要发生成Cross-Attn 层，说明 Cross-Attn 层在 finetune 过程中更重要！

✅ 由以上观察结果，finetune 时只更新 K 和 V 的参数。