扩散模型奠基之作：DDPM

原创 已于 2024-01-09 21:40:18 修改 · 597 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #机器学习 #人工智能

于 2024-01-09 14:55:54 首次发布
本文介绍了深度分布拟合模型(DDPM)的理论基础，包括其前向过程（扩散，固定高斯分布）和反向过程（去噪，学习高斯分布）。重点阐述了训练过程及采样步骤。

一、理论知识

DDPM分为两个部分，设计两个不同的概率分布

1、前向过程（扩散）：这一过程可以用条件概率 q(xt​∣xt−1​) 来描述DDPM之前向扩散-优快云博客

2、反向过程（去噪）：这一过程可以用条件概率 p(xt−1​∣xt​) 来描述DDPM之反向传播-优快云博客

其中：

前向过程中的 q(xt​∣xt−1​) 是固定的高斯分布，每一步都增加预定的噪声。 

反向过程中的 p(xt−1​∣xt​) 是由模型学习的高斯分布，目标是去除噪声并逐步恢复出原始数据。

二、算法

三、解释

训练过程：

采样过程：http://t.csdnimg.cn/lOMYU?spm=1011.2480.3001.8118

SmartDemo
关注
潜在扩散模型Latent Diffusion Model原理与代码实例讲解
AI天才研究院
10-08 2032
随着深度学习技术的飞速发展，生成模型在图像、视频、音频等多种领域取得了显著的成果。其中，基于潜在空间（Latent Space）的生成模型，如生成对抗网络（GANs）、变分自编码器（VAEs）等，成为了生成模型研究的热点。然而，这些模型往往面临着训练难度高、生成结果质量不稳定、难以生成复杂场景等问题。近年来，潜在扩散模型（Latent Diffusion Models，LDMs）作为一种新的生成模型，因其独特的生成原理和优越的性能，受到了广泛关注。
一文详解扩散模型
2401_84033492的博客
06-19 3042
2.1、统计学简介在统计学中，一切都是分布（Distribution），到处都是分布。统计学的根本目的就是获得数据分布。只要得到了数据的分布，那一切问题都迎刃而解。但现实数据的分布往往是不可得的，是极其复杂的，所以统计学在应用中到处充满假设：假设样本服从独立同分布原理；假设噪声服从高斯分布；假设特征之间相互独立等。翻开机器学习或者数理统计的书籍，到处充满着假设。没办法，现实问题太复杂！如何获得复杂的未知分布呢？最常用的方法就贝叶斯推断。2.2、贝叶斯推断贝叶斯推断的目的就是：找出复杂的未知分布。
DDPM扩散模型公式推理----扩散和逆扩散过程
weixin_45453121的博客
06-15 5425
本文章旨在梳理DDPM这篇论文中的各个公式含义及推导，很多内容从其他博客处摘录，在文后列举。打个比方，就像是给你一块木头，让你把它雕刻成一个佛像，需要栩栩如生。Diffusion model在推理阶段就是在执行逆扩散过程，也就是雕刻佛像的过程。用数学语言进行描述，生成式模型本质上是从一组概率分布中得到另一组概率分布。如下图所示，左边是一个训练数据集，里面所有的数据都是从某个数据pdata p_{\text {data }}pdata ​中独立同分布取出的随机样本。右边就是其生成式模型（概率分布），在这种概率
扩散模型基本原理
pgsld2333的博客
09-20 643
使用模型模拟真实世界的图像分布，可以学习神经网络模型，使其将标准正态分布的每个点映射到真实图像分布的点。
扩散模型的一些公式证明
Jony0917的专栏
05-27 3053
扩散模型的前向扩散过程： q(x1:T∣x0)=∏t=1Tq(xt∣xt−1),q(xt∣xt−1):=N(1−βt)xt−1,βtI)(1)q(x_{1:T}|x_0) = \prod_{t=1}^Tq(x_t|x_{t-1}),q(x_t|x_{t-1}):=\mathcal{N}(\sqrt{1-\beta_t})x_{t-1},\beta_tI)\quad(1)q(x1:T​∣x0​)=t=1∏T​q(xt​∣xt−1​),q(xt​∣xt−1​):=N(1−βt​​)xt−1​,βt​I)(1)
揭秘扩散模型：DDPM的数学基础与代码实现全攻略！
yangguangqizhi的博客
08-31 1457
知道了均值和方差的真值，训练神经网络只差最后的问题了：该怎么设置训练的损失函数？，而 Diffusion Models 将数据生成过程建模为粒子扩散过程，也就是一系列微小的、连续的随机变化过程，具体表现就是从随机噪声逐步生成真实数据的过程，就像在随机扩散过程中，分子从高浓度区域向低浓度区域移动那样。VAE 认为从 噪声向量 --> 图像的任务太难了，最好先学习一下 图像--> 噪声向量 的过程，所以 VAE 首先用编码器学习训练图片 --> 噪声向量，然后从 噪声向量 --> 目标图片。
图像生成的奠基与起源：从AE、VAE、VQ-VAE到扩散模型DDPM(含加噪、去噪全过程)、DDIM(含U-Net的简介)
热门推荐
结构之法 算法之道
04-30 4万+
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。
【扩散模型】论文精读：Denoising Diffusion Probabilistic Models（DDPM）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-26 9161
我们使用扩散概率模型展示了高质量的图像合成结果，这是一种受非平衡热力学考虑启发的潜在变量模型。我们最好的结果是通过对加权变分界进行训练获得的，该边界是根据扩散概率模型和与朗之万动力学的去噪分数匹配之间的新联系设计的，我们的模型自然承认渐进式有损解压缩方案，可以解释为自回归解码的泛化。在无条件 CIFAR10 数据集上，我们获得了 9.46 的 Inception 分数和 3.17 的最新 FID 分数。在 256x256 LSUN 上，我们获得了类似于 ProgressiveGAN 的样本质量。
扩散模型奠基与DDPM
2401_89678770的博客
07-03 974
本文系统阐述了扩散概率模型(DDPM)的基本原理。模型通过前向过程逐步将数据分布转化为简单分布，再通过反向过程从噪声中重建数据。关键假设指出当加噪幅度足够小时，反向过程与前向过程具有相同分布形式。作者详细推导了反向过程的数学表达，并通过对数似然函数建立了证据下界(ELBO)来优化模型。理论分析表明，通过合理设计马尔可夫转移核，可以实现从噪声到数据的有效生成。文章为理解扩散模型提供了严谨的理论框架，也为后续研究奠定了重要基础。
AIGC领域必学：扩散模型原理解析与实战应用指南
AI天才研究院
05-13 950
扩散模型作为当前最先进的生成模型之一，已经在AIGC领域展现出惊人的创造能力。系统性地介绍扩散模型的数学原理和实现细节提供可操作的代码实现和实战应用案例分析扩散模型在不同AIGC场景中的应用潜力探讨该技术的局限性和未来发展方向本文涵盖从基础理论到高级应用的完整知识体系，适合希望深入理解并应用扩散模型的读者。首先介绍扩散模型的基本概念和发展历程然后深入解析其数学原理和算法细节接着提供完整的Python实现和实战案例最后探讨应用场景和未来趋势。
扩散模型中最经典的论文
m0_51200050的博客
07-01 1285
这些论文不仅对扩散模型的发展做出了重要贡献，还为该领域的后续研究提供了坚实的理论基础和技术路线。如果你有更多具体的研究兴趣或问题，可以详细阅读这些论文。在扩散模型领域，有几篇论文被认为是经典和奠基性的。
扩散模型解密：连接科研前沿与现实应用的桥梁
m0_60674045的博客
02-25 806
近年来，扩散模型（Diffusion Models）作为一种新兴的生成式模型，因其在生成高质量、多样化输出的能力以及训练过程的稳定性而迅速崛起。扩散模型的核心思想是通过模拟数据的逐步噪声添加过程（前向扩散过程），并训练模型学习逆转这一过程（逆向扩散过程），从而生成逼真的数据样本。扩散模型在自动驾驶系统中用于模拟逼真的训练环境，通过生成多样化且具有挑战性的场景，提升自驾驶算法的鲁棒性。这些进展不仅提升了扩散模型的性能，还拓宽了其在多个领域的应用潜力，使其成为AI工具箱中的一款多功能工具。
3D模型生成新标杆：NVIDIA最新AIGC技术解读
AI天才研究院
05-07 917
随着元宇宙、数字孪生、自动驾驶等领域的爆发式增长，高质量3D内容的需求呈现指数级上升。传统3D建模依赖手工设计，成本高（单个复杂模型需数百人工小时）、周期长（平均项目周期3-6个月），成为产业发展的核心瓶颈。NVIDIA作为GPU与AI领域的双料巨头，近年来在3D生成式AI领域持续突破，通过NeRF（神经辐射场）、StyleGAN3、Diffusion等技术的融合创新，打造出从单视图重建到复杂场景生成的全链条解决方案。本文将聚焦其核心技术架构、算法优化策略及行业应用实践，解析技术背后的工程化逻辑。技术基石。
小白轻松学：一文读懂深度学习模型在训练中的向前传播、反向传播、 iterations、batch size、epochs分别啥意思！
B站 Ai学术叫叫兽的文案地
09-08 959
小白轻松学：一文读懂深度学习模型在训练中的向前传播、反向传播、 iterations、batch size、epochs分别啥意思！
2025年全国青少年信息素养大赛复赛真题（算法创意实践挑战赛C++初中组试卷1：带解析）（7月6日试卷）
王老师青少年编程
11-21 697
2025年全国青少年信息素养大赛复赛真题（算法创意实践挑战赛C++初中组试卷1：带解析）（7月6日试卷）
代码随想录 63.不同路径Ⅱ
最新发布
m0_63814538的博客
11-24 265
4.确定遍历顺序：从递归公式可以看出一定是从左到右一层一层的遍历，这样保证推导dp[i][j]的时候，dp[i - 1][j]和dp[i][j - 1]一定是有数值的。所以本题的初始化代码如下所示：一旦遇到obstacleGrid[i][0] == 1的情况就停止dp[i][0]的赋值1的操作，dp[0][j]同理。1.确定dp数组（dp table）及其下标的含义：dp[i][j]表示从（0，0）出发，到（i，j）有dp[i][j]条不同的路径。下标（0，j）的初始化情况同理。
算法：二叉搜索树的最近公共祖先
czlczl20020925的博客
11-24 319
下面是详细的解释，说明为什么这是必然的。对于我们当前所在的任何节点。
专题二 -- 滑动窗口
2301_79389054的博客
11-17 1371
初始化窗口：确定窗口的起始位置和初始大小，通常使用两个指针（如左指针和右指针）来标记窗口的边界。扩展窗口：移动右指针，将新元素纳入窗口，直到窗口满足问题的特定条件（如包含所有目标元素、达到特定大小等）。收缩窗口：一旦窗口满足条件，尝试移动左指针，尽可能缩小窗口，同时保持条件成立，以找到最优解（如最小长度、最大和等）。更新结果：在每次窗口满足条件时，记录当前窗口的状态（如长度、元素和等），并根据问题要求更新全局最优解。重复步骤：继续扩展和收缩窗口，直到右指针遍历完整个数组。
算法沉淀第十二天（牛客练习赛146）
lingran__的博客
11-22 809
本文分享了牛客练习赛146的三道算法题解：1.《合格的机器》通过分析代币奇偶性，得出最优解是尽量使机器代币数为偶数，当总代币数≥2n时最多n-1台合格；2.《小灰灰的火焰星球2》通过排序施法顺序和预处理价值数组，实现高效计算最大收益；3.《盲目自大的小灰灰》通过计算得分区间，判断查询分数是否可能达到。每道题都包含题意分析、逻辑梳理和AC代码实现，适合算法学习者参考。
群体智能奠基之作：Swarm Intelligence专著
Eberhart和Yuhui Shi在2001年详细阐述了粒子群优化（Particle Swarm Optimization，PSO）算法，该算法是群体智能研究领域的代表作品之一。 粒子群优化（PSO）算法的灵感来源于鸟群的社会行为，特别是在寻找食物时...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值