GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models

• https://arxiv.org/pdf/2112.10741

1. 问题引入

• 针对的是在diffusion模型的text引导方式的问题，在CLIP guidance和classifier-free guidance当中，后者的效果更好，其次，该模型还可以微调来完成image inpainting的任务；

2. methods

• classifier guidance: 模型原始得到的mean ${\mu }_{\theta }(x_t|y)$，variance ${\sum }_{\theta }(x_t|y)$，classifier log probalibity $\log p_{\varphi }(y|x_t)$，引导之后的mean变为${\hat{\mu }}_{\theta }(x_t|y)={\mu }_{\theta }(x_t|y)+s\cdot {\sum }_{\theta }(x_t|y){\nabla }_{x_t}\log p_{\varphi }(y|x_t)$，其中$s$是guidance scale，增大$s$会导致sample quality $\uparrow$,diversity $\downarrow$；
• classifier-free guidance：此时不需要额外训练一个classifier model，在训练的时候condition label会以一定概率替换为空，在采样的时候，模型的输出是插值的结果${\widehat{ϵ}}_{\theta }(x_t|y)={ϵ}_{\theta }(x_t|\varnothing )+s\cdot ({ϵ}_{\theta }(x_t|y)-{ϵ}_{\theta }(x_t|\varnothing ))$，其中$s\ge 1$为guidance scale；
• CLIP guidance：CLIP包含image encoder $f(x)$+text encoder$g(c)$，在训练的时候训练的目标是contrastive cross entropy，使得成对数据的$f(x)\cdot g(c)$的dot product大，不成对的小，现在已经有方法使用CLIP来引导GAN依据caption进行生成，应用到diffusion model上就是将classifier model替换为CLIP，此时${\hat{\mu }}_{\theta }(x_t|c)={\mu }_{\theta }(x_t|c)+s\cdot {\sum }_{\theta }(x_t|c){\nabla }_{x_t}(f(x_t)\cdot g(c))$，此时需要将CLIP在noised image-text pair数据上面进行训练；
• 本文训练了3.5b $64\times 64$的text conditional diffusion model以及1.5b参数的四倍上采样的diffusion model，还训练了noised$64\times 64$的VIT-L CLIP model；
• Text-Conditional Diffusion Models：扩展了ADM，增加了text conditioning information；2.5M iters bs=2048进行训练，upsample模型1.6M iters bs=512，还进行了微调，0.2的概率将text替换为空字符串；
• 之前已经有方法不另外训练inpaint模型完成inpaint任务，基本思想和sdedit的mask版本类似，本文是专门进行了训练，增加了额外的四个通道，对应三个RGB通道以及一个mask通道，新增的参数使用0初始化；