Diffusion原理详解（一：前向过程原理）

机械系的AI小白

已于 2024-03-23 21:55:46 修改

阅读量819

点赞数 5

分类专栏： diffusion 文章标签：人工智能计算机视觉深度学习

于 2024-03-16 23:57:23 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_42841721/article/details/136771043

版权

diffusion 专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了DDPM（DenoisingDiffusionProbabilisticModels）的原理，包括前向过程中的逐步加噪和马尔科夫假设，以及如何通过数学公式表达这一过程。后续将探讨逆向过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里将的diffusion原理其实是DDPM的原理，DDPM也是第一篇真正意义上介绍diffusion模型的论文，DDPM全称为：Denoising Diffusion Probabilistic ModelsDDPM原文地址：arxiv.org/pdf/2006.11239.pdf。

在之前diffusion简介中，简单的描述了diffusion的基础原理，我们知道了diffusion有两个过程，这里将详细介绍一下这两个过程以及数学原理。

前向过程（Forward Process）：

前向过程是一个逐步加噪的过程，每一步加入的都是随机的高斯噪声，这里我们把 t 时刻的图像记为 $X_t$ , t时刻的噪声记为 $\epsilon_t$ , 这里 $\epsilon \thicksim N(0, I)$ 。在这个加噪的过程中，我们假设当前的图像只依赖前一个时刻的图像和新加的噪声(假设加噪的过程符合马尔科夫过程)。而且每一次加噪声都是有权相加，用如下数学公式(1)表示：

$X_t = \sqrt{1 - \beta_tX_{t-1}} + \sqrt{\beta_t}\epsilon_{t-1}$ (1)

这里，我们用 $\alpha$ 表示 $1 - \beta$ ，则公式（1）可用如下公式(2)表示：

$X_t = \sqrt{\alpha_tX_{t-1}} + \sqrt{1 - \alpha_t}\epsilon_{t-1}$ (2)

那么进一步把 $X_{t-1}$ 展开用 $X_{t-2}$ 表示,如下公式(3):

$X_{t-1} = \sqrt{\alpha_{t-1}X_{t-2}} + \sqrt{1 - \alpha_{t-1}}\epsilon_{t-2}$ (3)

那么把公式(3)带入公式(2)得到如下公式(4):

$X_t = \sqrt{\alpha_tX_{t-1}} + \sqrt{1 - \alpha_t}\epsilon_{t-1} = \sqrt{\alpha_t\alpha_{t-1}X_{t-2}} + \sqrt{\alpha_t(1 - \alpha_{t-1})}\epsilon_{t-2} + \sqrt{1 - \alpha_t}\epsilon_{t-1}$ （4）

这里插入一个数学知识，对于两个独立的正态分布A, B，则满足一下公式：

（5）

则公式(4)中的噪声项可以表达为一下公式（6）：

（6）

把公式(6)带入公式(5)得到(7)：

（7）

则由公式(7)，可以进一步把公式(4)表示为如下：

$X_t = \sqrt{\alpha_tX_{t-1}} + \sqrt{1 - \alpha_t}\epsilon_{t-1} = \sqrt{\alpha_t\alpha_{t-1}X_{t-2}} + \sqrt{1 - \alpha_t\alpha_{t-1}}\epsilon'_{t-2}$ （8）