Imagic: Text-Based Real Image Editing with Diffusion Models

✅ 对内容进行复杂修改,但对不相关部分保留。

P25

Pipeline

输入:Origin Image和target text promt

✅ Step 1: 对 target text 作 embedding,得到init text embedding \(e_{tgt}\)。然后优化init text embedding,使得Pre-Trained Diffusion Model可以根据Optimized text embedding \(e_{opt}\) 重建出Origin Image。

✅ Step 2: 用 Optimized text embedding \(e_{opt}\) 重建 Origin Image,这一步会 finetune diffusion model。

✅ Step 3:用finetuned diffusion model生成target Image。其中condition为\(e_{tgt}\)和\(e_{opt}\)的插值。

P26

效果