Style Transfer with DDIM inversion

Recap DDIM Inversion

Song et al., "Denoising Diffusion Implicit Models", ICLR 2021

✅ DDIM 方法中,从 noise 到图像的映射关系是确定的。同样也可以让图像与 noise 的关系是确定的。这个过程称为 DDIM Inversion.
✅ DDIM Inversion 是图像编辑的常用方法。

P19

Pipeline

✅ 假设已有一个 文生图的pretrained DDIM model.
✅ 任务:把老虎的图像变成猫的图像,且不改变 Sryle.
✅ (1) 老虎图像 + DDIM Inversion + “老虎”标签 → noise
✅ (2) noise + DDIM + “猫”标签 → 猫图像
✅ 优点:不需要重训。

P20

效果

✅ 学习不同颜色空间的 transform