diffusion model classifier-guided与classifier-free的区别

最新推荐文章于 2024-12-23 18:07:05 发布

莫叶何竹

最新推荐文章于 2024-12-23 18:07:05 发布

阅读量1.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： diffusion model 文章标签： diffusion model classifier free classifierguide

本文链接：https://blog.youkuaiyun.com/weixin_40779727/article/details/132314417

diffusion model 专栏收录该内容

22 篇文章

订阅专栏

本文讨论了两种图像生成方法：classifier-guided和classifier-free。前者需要单独训练分类器，结构复杂但能定向生成；后者仅需训练diffusionmodel并结合语义输入，能实现语义级别生成，但训练成本高。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

classifier-guided

classifier-guided pipeline (原创图，转发注明出处)

训练阶段

diffusion model 和 classifier分开训练。
diffusion model的数据训练数据为

classifier的数据训练数据为

生成图片阶段

每一个时间步的降噪中会用当前时间步图片在classifier的类别梯度来调整均值。（如上图所示）
之前写了一篇文章有详细介绍。
优点：
不用重新训练diffusion model就能引导朝向期望类别的图片生成。
缺点：
需要额外训练一个分类器，架构不够简洁
只能生成特定类别的图片，无法实现语义级别的生成。

2. classifier-free

classifier-free pipeline (原创图，转发注明出处)

训练阶段

只需训练diffusion model ，但该diffusion model有一个语义输入。一般采用cross-attention来将语义特征与图片特征进行融合。
diffusion model的数据训练数据为
是图片对应的语义描述。

生成图片阶段

生成阶段无需分类器引导。生成过程每一个时间步的生成需要将语义embedding也输入到diffusion model中，详细可参考
优点：
架构简洁
可以实现语义级别的图像生成如现在大火的stable-diffusion
缺点：
需要重新训练diffusion model，训练成本较大。stable diffusion 在Laion5B用了256张A100训练15w 机时，一般公司无法承担如此大的训练成本。