注入控制

P56

T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models

通过引入一个额外的apapter来增加对已有文生图模型的控制方法。

Pipeline

✅ Adapter 包含4个 feature extraction blocks 和3个 down sample blocks. 其中4个feature extraction block对应4个新增加的控制方法。3次降采样,对应于 UNET 的不同 Level.

优点

这个方法具有以下优点:

  • Plug-and-play. Not affect original network topology and generation ability

易使用

  • Simple and small. ~77M parameters and ~300M storage

简单、易训

  • Flexible. Various adapters for different control conditions
  • Composable. Several adapters to achieve multi-condition control

不同的adaper可以combine,成为新的guidance。

  • Generalizable. Can be directly used on customed models

P57

Result

✅ Adapter 可以使用于多种形式的 Control.