【AI理论学习】深入理解扩散模型：Diffusion Models（DDPM）（理论篇）

最新推荐文章于 2025-09-14 00:01:56 发布
最新推荐文章于 2025-09-14 00:01:56 发布
阅读量4.5k 收藏 50
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 深度学习与机器学习 文章标签： 人工智能 学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ARPOSPF/article/details/129628273
本文深入探讨扩散模型（Diffusion Models），包括前向扩散和反向生成过程，以及DDPM的原理和优化目标。与GAN相比，扩散模型训练更稳定，能生成多样样本。文章还介绍了模型设计、代码实现，并提及Stable Diffusion、DALL-E、Imagen等应用。

深入理解扩散模型：Diffusion Models


本文综合最近阅读的关于扩散模型的一些基础博客和文章整理而成。主要参考的内容来自 Calvin Luo 的论文，针对的对象主要是对扩散模型已经有一些基础了解的读者。

引言

继OpenAI在2021提出的文本转图像模型DALLE之后，越来越多的大公司卷入这个方向，例如谷歌相继推出了Imagen和Parti。一些主流的文本转图像模型，例如DALL·E 2，stable-diffusion和Imagen采用了扩散模型（Diffusion Model）作为图像生成模型，这也引发了对扩散模型的研究热潮。

与GAN相比，扩散模型训练更稳定，而且能够生成更多样的样本，OpenAI的论文Diffusion Models Beat GANs on Image Synthesis也证明了<font color='red>扩散模型能够超越GAN。
Diffusion Models Beat GANs on Image Synthesis
论文地址：https://arxiv.org/abs/2105.05233

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【AI理论学习】手把手推导扩散模型：Diffusion Models（DDPM）
小哲的博客
08-10 1242
生成扩散模型DDPM如下图所示分为前向、逆向两个过程，它首先通过不断往原始清晰数据中添加噪声使其变成标准高斯噪声（前向过程），而后期望从标准高斯噪声中还原原始数据（逆向过程）。若能实现，那便可从已知的标准高斯分布中采样一个噪声数据，而后利用DDPM模型生成符合原始数据分布的新数据。 Diffusion模型包含两个过程：数学符号：y∝xy\propto xy∝x：y正比于x，即y随着x增大而线性增大。 条件概率：贝叶斯公式：p(A∣B)=p(B∣A)×p(A)p(B)p(A|B)=\frac{p(B|A)\
AI：296-从Denoising Diffusion Probabilistic Models (DDPM)到Latent Diffusion Models (LDM)：扩散模型的演变
一键难忘的博客
09-15 3551
这篇文章从扩散模型的起源到当前的演进过程，详细探讨了从到的发展历程。DDPM作为一种创新的生成模型，通过逐步去噪的方式生成高质量数据，但其效率较低，特别是在处理高分辨率图像时需要耗费大量的计算资源。而LDM通过将扩散过程压缩到潜在空间中，极大提高了计算效率，同时保持了生成质量的优势。文章通过代码实例深入剖析了LDM的结构，包括潜在空间编码、动态扩散步骤控制、反向扩散算法以及潜在空间的细粒度控制。
VDM Variational Diffusion Models
weixin_44966641的博客
06-06 1579
本文定义了信噪比函数SNRtαt2σt2SNRtαt2​σt2​，从变分下界的角度推导了扩散模型的损失函数。并对其中的扩散损失项在离散时间情形和连续时间情形下进行了推导，结合信噪比函数得出了一个极简洁的形式。进一步地，作者推导出在连续时间情形下，扩散模型规格（以 SNR 的形式）对扩散损失的影响仅体现在t0t=0t0和t1t=1t1两处端点上，而与中间的αtσtαt​σt​。
DDPM（Denoising Diffusion Probabilistic Models）的公式推导
智能守恒_HengAI
02-10 1417
在DDPM中，方差 \( \Sigma_\theta \) 固定为 \( \sigma_t^2\mathbf{I} \)，通常取 \( \sigma_t^2 = \beta_t \) 或 \( \tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t}\beta_t \)。其中 \( \beta_t \) 是噪声调度参数。前向过程通过 \( T \) 步逐渐向数据 \( x_0 \) 添加高斯噪声，最终得到纯噪声 \( x_T \)。
Diffusion Model扩散模型一文尽览！
最新发布
CV_Autobot的博客
09-14 531
这就是随机过程的神奇之处。事实上，对于任何分布，都可以采用朗之万运动逼近，比如再举一个例子，对于掷骰子行为的分布是什么呢，是uniform 分布，掷骰子的任意面的概率都是1/6，所以我们可以先验地知道我们要拟合的分布是什么，然后计算出F term，然后模拟朗之万运动，左图是目标分布和朗之万的F term的表达，这里的表达方式可以用次梯度(sub-gradient)理解，右图是使用朗之万采样和直接使用uniform分布采样获得的结果，完全无法区分。这就有可能产生一个模式坍塌的现象，网络倾向于生成类似的结果。
大一统视角理解扩散模型（二）
xifenglie123321的博客
07-28 256
37至38行的变换是链式法则的等价替换（或上述公式23和24的变换），38至39行是连乘过程的重组，39至40行是对齐连乘符号的区间，40至41行应用了Log乘法的性质，41至42继续运用该性质进一步拆分，42至43行是因为和的期望等于期望的和，43至44是因为期望目标与部分时间步的概率无关可以直接省去，44至45步是应用了KL散度的定义进行了重组。注意，以上的推导完全基于马尔可夫的性质所以适用于所有MHVAE，所以当T=1的时候，以上的证据下界和VAE所推导出的证据下界完全一致！
AI入门 | 十分钟了解当前热门的扩散模型（Diffusion Model）
weixin_45768262的博客
12-01 1357
什么是扩散？ 什么是扩散模型？ 扩散模型是如何工作的？
SDE DPM (随机微分方程导出的diffusion model)
weixin_40248634的博客
11-11 921
score matching vs SDE
扩散模型系列0 DDPM:Denoising Diffusion Probabilistic Models
qq_53536373的博客
07-29 844
从7月12号开始 学习了一些扩散模型的论文，越看越上瘾，对未知的渴求激励着我不断地读论文整理、学习、分析、理解以前发的博客仅仅是对论文的翻译，现在觉得仅仅翻译是不够的，读了一篇论文以后，要形成自己的知识框架，形成自己的理解！以下的是我看的几篇很有意义的文章 也给大家推荐一下，也想和大家分享一下自己学习的一些收获和感受，还有推荐一下在b站看到的不错的讲解up主，一起共勉在bilibili发现了优秀的讲解up主VictorYuki通过他们的讲解学到了很多思考问题的角度，经过。
一文速览扩散模型优化过程：从DDPM到条件生成模型Stable Diffusion
要相信光
05-30 2万+
本文会从最简单的扩散模型开始讲起，然后根据原始模型存在的缺点介绍当前的一些改进方法，最后介绍一个经典的可用于条件生成的扩散模型Stable Diffusion.
【人工智能前沿弄潮】——生成式AI系列：扩散模型及稳定扩散模型
qq_43456016的博客
08-11 2436
与GAN 利用生成器和判别器进行对抗训练来生成图像不同，扩散模型则是通过对生成的随机噪声进行循环去噪来生成图像，就有点像雕刻一样，一块原石，随着大师一点一点地去除掉多余的部分，剩下的就是完美的艺术品。所使用的随机噪声需要和生成的目标图像具有相同的高宽。在扩散模型的去噪过程中，去噪的步骤数（step）是人工提前定好的，如1000等。这个step不仅是步骤数，也代表着噪声的严重程度信息。并且每次去噪所的Denoise 模块是同一个，进行反复使用。
【diffusion】扩散模型详解！理论＋代码
热门推荐
m0_63642362的博客
10-29 6万+
【diffusion】扩散模型详解！
大模型 | 基于Transformer架构的扩散模型
star_nwe的博客
12-06 1970
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
DDPM模型——公式推导
Peach_____的博客
01-15 2031
【推导】DDPM模型——公式推导。
狗都能看懂的DDPM论文详解
个人学习笔记
04-07 2万+
DDPM的推导笔记，更深刻理解stable diffusion，从不同角度去学习去噪网络
文末送书 | 王小川、朱军等大咖好评！生成式AI模型的理论、应用与代码实践...
Paper weekly
08-06 798
杨灵，张至隆，张文涛，崔斌 著电子工业出版社-博文视点2023-08-01ISBN:9787121459856定价: 89.00 元新书推荐????今日福利｜关于本书｜本书紧跟人工智能发展，详解介绍了闻名学界、业界的扩散模型。从理论、应用到代码实践，无一不包。即具前沿又具实用性。可供高等院校计算机科学、人工智能和医学、生物学等交叉学科专业的师生，以及相关人工智能应用程序的开发人员阅读。本书作者团队...
DDPM扩散概率模型数学原理推导
weixin_48136514的博客
07-03 2078
DDPM正向过程 定义 前向过程被定义为一个从初始数据 x0x_0x0​开始的马尔可夫链。而他的目标是要由x0x_0x0​的分布去推x1:Tx_{1:T}x1:T​联合概率密度的分布，由马尔可夫链定义，即：马尔可夫定理是指一个随机过程的未来状态仅依赖于当前状态，而与过去的状态无关。比如xtx_txt​只由xt−1x_{t-1}xt−1​的状态决定，与xt−1x_{t-1}xt−1​之前的状态无关 q(x1:T∣x0)=∏t=1Tq(xt∣xt−1)q(x_{1:T} | x_0) = \prod_{t=1}
Generative AI 新世界 | 扩散模型原理的代码实践之采样篇
亚马逊云科技专栏
10-07 542
那么在这里我们感觉到这可能是精灵，但可能是精灵 Bob 、精灵 Fred ，或者是精灵 Nance ，这时我们可能想让神经网络为这些精灵图像推荐更通用的细节，比如：在此基础上为 Bob 建议一些细节，或者你会为 Fred 建议一些细节等。假设下面是你已经有的精灵图像数据集（来自 ElvGames 的 FrootsnVeggies 和 kyrise 精灵图像集），你想要更多的在这些数据集中没有的大量精灵图像，你该如何实现这个现在看起来不可能完成的任务？除了你训练过的所有精灵之外，你还可以获得更多的精灵。
变分扩散模型
人工智能原理与技术分享
04-27 1201
VDM (Variational Diffusion Models) 基于 [[MHVAE]] 模型，但与 [[MHVAE]] 模型有3个不同：对于所有时间步t：隐变量zt​的维度和数据x的维度相等，即zt​∈Rdx∈Rd；对于所有时间步t：隐变量zt​不是通过神经网络模型学习得到的，而是以前一个时间步zt−1​为均值的高斯分布。所以，Diffusion Models 不需要通过神经网络模型学习一个 Encoder；随着时间步t的增大，隐变量zt。
全面理解扩散模型：从DDPM到生成模型再到一致性模型
总之，从DDPM到score-based generative models再到Consistency Models的介绍，为我们深入理解扩散模型和生成模型提供了重要的参考和思路。这些模型和算法的探索和应用，将进一步推动深度学习在生成模型和数据建模...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

镰刀韭菜

看在我不断努力的份上，支持我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值