十分钟读懂Diffusion：图解Diffusion扩散模型

最新推荐文章于 2025-06-01 21:25:05 发布
最新推荐文章于 2025-06-01 21:25:05 发布
阅读量1.6k 收藏 17
点赞数 1
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247550946&idx=4&sn=566fe5498f770a34e4a5672e25380306&chksm=ceb82a2bf9cfa33d6f3c40a9a835d5a879f9dc4ed0cac7b0ca8b9d1cd979cf6bf37a9f955afd&scene=126&sessionid=0

作者 | 绝密伏击  编辑 | 极市平台

原文链接：https://zhuanlan.zhihu.com/p/599887666

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【大模型】技术交流群

本文只做学术分享，如有侵权，联系删文

导读

 

Diffusion是如何根据文字生成图片的？详解Diffusion的整个生成过程、训练过程等。 

在之前的文章中，我们曾经介绍过Diffusion的具体原理，但是讲的还是比较偏理论，为了让大家快速了解Diffusion原理，这篇文章我们通过图解的方式。

绝密伏击：AIGC爆火的背后——扩散模型DDPM浅析

https://zhuanlan.zhihu.com/p/590840909

1. Diffusion文字生成图片——整体结构

1.1 整个生成过程

我们知道在使用 Diffusion 的时候，是通过文字生成图片，但是上一篇文章中讲的Diffusion模型输入只有随机高斯噪声和time step。那么文字是怎么转换成Diffusion的输入的呢？加入文字后 Diffusion 又有哪些改变？下图可以找到答案。

44f54be0228e524503c417900df7fd7e.jpeg
文字生成图片全过程

实际上 Diffusion 是使用Text Encoder生成文字对应的embedding（Text Encoder使用CLIP模型），然后和随机噪声embedding，time step embedding一起作为Diffusion的输入，最后生成理想的图片。我们看一下完整的图：

24ac3c57b4ffdf6d7c30f6db37cf5076.jpeg
token embedding、随机噪声embedding、time embedding一起输入diffusion

上图我们看到了Diffusion的输入为token embedding和随机embedding，time embedding没有画出来。中间的Image Information Creator是由多个UNet模型组成，更详细的图如下：

11b329952b2d14996170df4a5385b3ae.jpeg
更详细的结构

可以看到中间的Image Information Creator是由多个UNet组合而成的，关于UNet的结构我们放在后面来讲。

现在我们了解了加入文字embedding后 Diffusion 的结构，那么文字的embedding是如何生成的？接下来我们介绍下如何使用CLIP模型生成文字embedding。

1.2 使用CLIP模型生成输入文字embedding

CLIP 在图像及其描述的数据集上进行训练。想象一个看起来像这样的数据集，包含4 亿张图片及其说明：

dc90601280c5fab2ac69697ef65a098f.jpeg
图像及其文字说明

实际上CLIP是根据从网络上抓取的图像及其文字说明进行训练的。CLIP 是图像编码器和文本编码器的组合，它的训练过程可以简化为给图片加上文字说明。首先分别使用图像和文本编码器对它们进行编码。

1f9b6f1f5d2463a7c7d476ff6b1fd28e.jpeg

然后使用余弦相似度刻画是否匹配。最开始训练时，相似度会很低。

50d975a4b32f568470ee4be16330af42.jpeg

然后计算loss，更新模型参数，得到新的图片embedding和文字embedding

28254b6e675b386be44260ce5a51b230.jpeg

通过在训练集上训练模型，最终得到文字的embedding和图片的embedding。有关CLIP模型的细节，可以参考对应的论文(https://arxiv.org/pdf/2103.00020.pdf)。

1.3 UNet网络中如何使用文字embedding

前面已经介绍了如何生成输入文字embedding，那么UNet网络又是如何使用的？实际上是在UNet的每个ResNet之间添加一个Attention，而Attention一端的输入便是文字embedding。如下图所示。

6d90a9f341ff469bce0b319286807c62.jpeg

更详细的图如下：

c9e2226162f1f079b0c8039b5a1c2ca5.jpeg

2. 扩散模型Diffusion

前面介绍了Diffusion是如何根据输入文字生成图片的，让大家有个大概的了解，接下来会详细介绍扩散模型Diffusion是如何训练的，又是如何生成图片的。

2.1 扩散模型Duffison的训练过程

b110ba5d36b73755e09cda4f319e0f76.jpeg
扩散模型Diffusion

Diffusion模型的训练可以分为两个部分：

  1. 前向扩散过程（Forward Diffusion Process） \rightarrow\rightarrow 图片中添加噪声

  2. 反向扩散过程（Reverse Diffusion Process） \rightarrow\rightarrow 去除图片中的噪声

2.2 前向扩散过程

007b77807ec0b705d76d5def21cf5bb0.jpeg

前向扩散过程是不断往输入图片中添加高斯噪声。

2.3 反向扩散过程

2e8055a6af8f3d03686701ce149df44c.jpeg

反向扩散过程是将噪声不断还原为原始图片。

2.4 训练过程

feaa8affd794bc647ec888b7a2cd97a1.jpeg

在每一轮的训练过程中，包含以下内容：

  1. 每一个训练样本选择一个随机时间步长 tt

  2. 将time step tt 对应的高斯噪声应用到图片中

  3. 将time step转化为对应embedding

下面是每一轮详细的训练过程：

3c17900cba5fe5e71d1df04bd73dc67b.jpeg

2.5 从高斯噪声中生成原始图片（反向扩散过程）

d279dfe793e2311fc321d6477a7ba1e5.jpeg

上图的Sample a Gaussian表示生成随机高斯噪声，Iteratively denoise the image表示反向扩散过程，如何一步步从高斯噪声变成输出图片。可以看到最终生成的Denoised image非常清晰。

补充1：UNet模型结构

前面已经介绍了Diffusion的整个过程，这里补充以下UNet的模型结构，如下图所示

d2bb69822356ed8578fd2299dfd90de3.jpeg

这里面Downsampe、Middle block、Upsample中都包含了ResNet残差网络。

补充2：Diffusion模型的缺点及改进版——Stable Diffusion

前面我们在介绍整个文字生成图片的架构中，图里面用的都是Stable Diffusion，后面介绍又主要介绍的是Diffusion。其实Stable Diffusion是Diffusion的改进版。

Diffusion的缺点是在反向扩散过程中需要把完整尺寸的图片输入到U-Net，这使得当图片尺寸以及time step t足够大时，Diffusion会非常的慢。Stable Diffusion就是为了解决这一问题而提出的。后面有时间再介绍下Stable Diffusion是如何改进的。

补充3：UNet网络同时输入文字embedding

在第2节介绍Diffusion原理的时候，为了方便，都是没有把输入文字embedding加进来，只用了time embedding和随机高斯噪声，怎么把文字embedding也加进来可以参考前面的1.3节。

补充4：DDPM为什么要引入时间步长_t_

引入时间步长 tt 是为了模拟一个随时间逐渐增强的扰动过程。每个时间步长 tt 代表一个扰动过程，从初始状态开始，通过多次应用噪声来逐渐改变图像的分布。因此，较小的 tt 代表较弱的噪声扰动，而较大的 tt 代表更强的噪声扰动。

这里还有一个原因，DDPM 中的 UNet 都是共享参数的，那如何根据不同的输入生成不同的输出，最后从一个完全的一个随机噪声变成一个有意义的图片，这还是一个非常难的问题。我们希望这个 UNet 模型在刚开始的反向过程之中，它可以先生成一些物体的大体轮廓，随着扩散模型一点一点往前走，然后到最后快生成逼真图像的时候，这时候希望它学习到高频的一些特征信息。由于 UNet 都是共享参数，这时候就需要 time embedding 去提醒这个模型，我们现在走到哪一步了，现在输出是想要粗糙一点的，还是细致一点的。

所以加入时间步长 tt 对生成和采样过程都有帮助。

补充5：为什么训练过程中每一次引入的是随机时间步长 t

我们知道模型在训练过程中 loss 会逐渐降低，越到后面 loss 的变化幅度越小。如果时间步长 tt 是递增的，那么必然会使得模型过多的关注较早的时间步长（因为早期 loss 大），而忽略了较晚的时间步长信息。

参考

https://medium.com/@steinsfu/stable-diffusion-clearly-explained-ed008044e07e

http://jalammar.github.io/illustrated-stable-diffusion/

https://pub.towardsai.net/getting-started-with-stable-diffusion-f343639e4931

https://zhuanlan.zhihu.com/p/597924053

https://zhuanlan.zhihu.com/p/590840909?

https://arxiv.org/abs/2103.00020

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码免费学习）

cb9e07c42f9a4473ad413fa0b8051004.png 视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

d9d793882790f94a89d3911ebb129de2.png

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、Occupancy、多传感器融合、大模型、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

dcee38320e4cf8b3e66c3629e78ef8d4.jpeg

一文读懂「Diffusion Model，DM」扩散模型
女王の专属领地
01-07 1874
扩散模型是一种特殊的VAE，其灵感来自于热力学：一个分布可以通过不断地添加噪声变成另一个分布。放到图像生成任务里，就是来自训练集的图像可以通过不断添加噪声变成符合标准正态分布的图像。从这个角度出发，我们可以对VAE做以下修改：1）不再训练一个可学习的编码器，而是把编码过程固定成不断添加噪声的过程；2）不再把图像压缩成更短的向量，而是自始至终都对一个等大的图像做操作。解码器依然是一个可学习的神经网络，它的目的也同样是实现编码的逆操作。不过，既然现在编码过程变成了加噪，那么解码器就应该负责去噪。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
Diffusion Model（扩散模型）
weixin_47772355的博客
12-29 8189
Diffusion
Diffusion 模型
teletubbies的博客
03-18 6286
除了判别数据的相似性，在隐空间中采样，还可以生成新的数据。例如，在数学中，我们需要用a估计b，用a估计b很困难，但是用c估计b很简单，用a估计c很容易，所以我们可以通过a来估计c，再用c估计b，以此达到用a估计b的目的。对于生成模型来说，学习到的是概率分布，图中我们有两个类，我们分别求红色小三角与这两个类的联合概率分布，红色小三角属于联合概率分布大的那个类别。KL散度定量描述了两个概率分布之间的区别，并且其是概率分布模型中的一个基础概念，对推导模型的损失函数，比如交叉熵损失函数，具有重要意义。
【深度学习】 19. 生成模型：Diffusion Models
最新发布
weixin_48846514的博客
06-01 1112
Diffusion Models
扩散模型（Diffusion Models）
weixin_42136827的博客
08-26 2108
扩散模型是一种基于随机过程的生成模型，灵感来源于物理学中的扩散过程，即有序结构逐渐转化为无序状态。在机器学习中，扩散模型用于生成高质量的数据（如图像、音频等）。其核心思想是通过一个可逆的随机过程，将数据从有序状态（如清晰图像）转化为无序状态（噪声），然后逆向该过程生成新数据。
Diffusion 扩散模型（DDPM）
qq_74722169的博客
06-17 2275
扩散模型（Diffusion Models）是一类基于概率和马尔科夫链的生成模型，通过逐步添加和去除噪声实现数据生成。以下是扩散模型的主要特点、工作原理、优势和应用领域的总结。
diffusion扩散模型参考论文与代码
j99999999955555的博客
06-25 540
扩散模型生产图像的关键是用网络对噪声->图像映射关系的建模，关键是有噪声到图像的数据集。获取从噪声到图像的映射，这个可以通过在图像中加噪声的方式，将图像变为噪声，这样就得到了噪声和图像的映射关系。在之前的文章中，我们曾经介绍过Diffusion的具体原理，但是讲的还是比较偏理论，为了让大家快速了解Diffusion原理，这篇文章我们通过图解的方式。笔者2021年6月开始研究diffusion，见证了扩散模型从无人问津到炙手可热的过程，这些篇经典论文我的专栏里都…
面经总结系列（五）： 微博AIGC算法工程师
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
06-01 1012
本专栏主要为总结各小中大厂的面经系列总结，内容涵盖了多个热门技术领域，包括但不限于算法、机器学习、CV、NLP、大模型、测开、大数据、数分等，内容包括问题及详细答案，此外金邀请了行业内经验丰富的技术专家和面试官，分享面试经验和技巧，帮助求职者顺利通关各类技术面试。
Diffusion大模型
henyaoyuancc的博客
07-23 391
DDPM很好的视频讲解
【深度学习】Diffusion模型
阳一子的博客
03-14 2198
Diffusion基础理论入门
扩散模型Diffusion轻松入门
weixin_44603934的博客
12-07 5280
diffusion模型
Diffusion：通过扩散和逆扩散过程生成图像的生成式模型
m0_51976564的博客
11-29 9858
Diffusion：通过扩散和逆扩散过程生成图像的生成式模型
什么是diffusion模型？
weixin_40551464的博客
01-09 2063
与GAN（生成对抗网络）等其他生成模型相比，Diffusion模型在某些任务中表现出了更好的性能，尤其是在图像的真实感和细节方面。Diffusion模型是一种生成模型，用于在深度学习和人工智能领域生成高质量、逼真的数据，尤其是在图像生成方面表现出色。这种模型的基本思想是首先生成一个随机的噪声数据，然后逐步将这个噪声转化为有意义的数据（如图像），这个过程模拟了物理过程中的扩散现象。在逆向过程中，模型从纯噪声状态开始，逐步去除噪声，恢复成有结构的数据（如生成一张图片）。
Diffusion模型详解
欢迎来到道的世界
07-04 7424
 在上一篇《基于流的深度生成模型》中详解介绍了有关流的生成模型理论和方法。目前为止，基于GAN生成模型，基于VAE的生成模型，以及基于flow的生成模型它们都可以生成较高质量的样本，但每种方法都有其局限性。GAN在对抗训练过程中会出现模式崩塌和训练不稳定的问题；VAE则严重依赖于目标损失函数；流模型则必须使用专门的框架来构建可逆变换。本文主要介绍关于扩散模型，其灵感来自于非平衡热力学。它们定义了扩散步骤的马尔可夫链，将随机噪声缓慢地添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。 与VAE或
扩散模型（Diffusion Models）详解
DuHz的博客
10-28 3万+
扩散模型（Diffusion Models）是一类基于概率生成模型的深度学习方法，近年来在图像生成、语音合成、文本生成等领域取得了显著的成果。扩散模型通过模拟物理扩散过程，将数据逐步转化为噪声，然后学习逆向过程，从噪声中逐步恢复出原始数据，实现高质量的生成效果。正向扩散过程是将原始数据逐步添加噪声，直至成为纯噪声。
Diffusion模型学习
思念殇千寻的博客
09-03 580
　　参考资料： 　　https://huggingface.co/blog/annotated-diffusion 　　注：本文只为了给作者自己记录简洁的高层模型要点，如有未注明的符号请参考参考资料。 　　1. 两个过程，前向和后向 　　2. 前向过程是一个代数的马尔科夫过程，是一个加高斯噪声的纯代数的过程。经过精密的数学推导，有一个极其好的性质 $$q(x_t|x_0)=\mathcal{N}...
扩散模型 (Diffusion Model) 简要介绍与源码分析
珍妮的选择的博客
10-23 2万+
Diffusion Model (扩散模型) 是一类生成模型, 和 VAE (Variational Autoencoder, 变分自动编码器), GAN (Generative Adversarial Network, 生成对抗网络) 等生成网络不同的是, 扩散模型在前向阶段对图像逐步施加噪声, 直至图像被破坏变成完全的高斯噪声, 然后在逆向阶段学习从高斯噪声还原为原始图像的过程.
diffusion网络结构
03-24
<think>好的，我现在需要帮助用户详细了解Diffusion网络的结构。首先，用户提到了参考引用中的“5.两个Algorithm 二、Diffusion Framework 1.Framework [^1]”，这可能涉及到扩散模型的基本框架。 扩散模型的核心结构通常包括前向扩散过程和反向去噪过程。前向过程逐步向数据添加噪声，直到数据变成纯噪声。反向过程则通过神经网络学习如何逐步去噪，恢复原始数据。用户可能想知道这些过程的具体实现，比如使用哪种网络架构，如U-Net。 接下来，我需要考虑扩散模型中常用的组件。比如，U-Net在图像生成任务中常用于去噪，因为它能捕捉多尺度特征。此外，时间步嵌入也很重要，它帮助网络了解当前处理的扩散阶段。 用户可能对具体的技术细节感兴趣，比如如何将时间步信息整合到网络中，或者损失函数的设计。同时，应用场景也是常见的疑问点，比如图像生成、音频处理等。 最后，要确保回答符合格式要求，使用正确的中文和LaTeX排版，并生成相关问题。需要检查是否有遗漏的关键点，比如反向过程的数学表达，或者训练方法。确保引用正确，并自然地融入回答中。</think># Diffusion网络结构详解 Diffusion模型是近年来深度学习领域的重要突破，其核心结构由前向扩散和反向去噪两个过程构成，通过渐进式噪声处理实现数据生成[^1]。 ## 一、核心架构组成 1. **前向扩散过程** 对输入数据$x_0$逐步添加高斯噪声，经过$T$步后得到纯噪声$x_T$： $$q(x_t|x_{t-1}) = \mathcal{N}(x_t;\sqrt{1-\beta_t}x_{t-1},\beta_t\mathbf{I})$$ 其中$\beta_t$是预设的噪声调度参数。 2. **反向去噪过程** 通过神经网络$\epsilon_\theta$学习噪声预测： $$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1};\mu_\theta(x_t,t),\Sigma_\theta(x_t,t))$$ 其中均值$\mu_\theta$通过预测的噪声计算得到。 ## 二、关键网络组件 ![Diffusion架构示意图](https://example.com/diffusion-arch.png) 1. **U-Net主干网络** - 编码器-解码器结构 - 跳跃连接保留多尺度特征 - 卷积块包含残差连接 2. **时间步嵌入模块** ```python class TimeEmbedding(nn.Module): def __init__(self, dim): super().__init__() self.dense = nn.Sequential( nn.Linear(dim, 4*dim), nn.SiLU(), nn.Linear(4*dim, dim) ) def forward(self, t): return self.dense(t) ``` 3. **注意力机制** - 自注意力层增强全局建模 - 交叉注意力用于文本到图像生成 ## 三、训练方法 损失函数采用简化形式： $$L_\text{simple} = \mathbb{E}_{t,x_0,\epsilon}\left[\|\epsilon - \epsilon_\theta(x_t,t)\|^2\right]$$ 其中$\epsilon$是真实噪声，$\epsilon_\theta$是网络预测值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值