注入控制
P56
T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models
通过引入一个额外的apapter来增加对已有文生图模型的控制方法。
Pipeline
✅ Adapter 包含4个 feature extraction blocks 和3个 down sample blocks. 其中4个feature extraction block对应4个新增加的控制方法。3次降采样,对应于 UNET 的不同 Level.
优点
这个方法具有以下优点:
- Plug-and-play. Not affect original network topology and generation ability
易使用
- Simple and small. ~77M parameters and ~300M storage
简单、易训
- Flexible. Various adapters for different control conditions
- Composable. Several adapters to achieve multi-condition control
不同的adaper可以combine,成为新的guidance。
- Generalizable. Can be directly used on customed models
P57
Result
✅ Adapter 可以使用于多种形式的 Control.