ControlNet
✅ Control Net 是一种通过引入额外条件来控制 Diffusion Model 的网络架构。
✅ 方法：(1) 预训练好 Diffusion Model (2) 参数复制一份，原始网络 fix (3) 用各种 condition finetune 复制出来的网络参数。 (4) 两个网络结合到一起。
✅ (a) 是预训练的 diffusion model. C 是要添加的新的condition.
✅ 把 (a) 的网络复制一份，finetune copy 的网络，结果叠加。
✅ Zero Convolution：1-1 卷积层，初始的 \(w\) 和 \(b\) 都为 0．
以Stable Diffusion为例来说明ControlNet的用法。
$$ \mathcal{L} =\mathbb{E} _ {\mathbb{z}_0,t,\mathbf{c} _ t,\mathbf{c} _ f,\epsilon \sim \mathcal{N} (0,1)}[||\epsilon -\epsilon _\theta (\mathbf{z} _ t,t,\mathbf{c} _ t,\mathbf{c}_f)||^2_2] $$
where t is the time step, \(\mathbf{c} _t\) is the text prompts, \(\mathbf{c} _ f\) is the task-specific conditions
需要（x, cf, ct）的pair data。