【深度学习】Diffusion扩散模型原理解析1

1、前言

diffusion，这几年一直很火的模型，比如这段时间在网上的文生图大模型——Stable diffusion。就是以diffusion作为基底模型，但由于该模型与VAE那边，都涉及了较多了概率论知识，实在让人望而却步。所以，本文将对diffusion进行数学原理推导，如果你没有上过概率论这门课，建议先去学。

论文：

①Deep Unsupervised Learning using Nonequilibrium Thermodynamics (arxiv.org)

②Denoising Diffusion Probabilistic Models (arxiv.org)

③Understanding Diffusion Models: A Unified Perspective (arxiv.org)

视频：【Diffusion扩散模型原理解析-哔哩哔哩】

案例演示：

受优快云篇幅限制，分成两篇，下一篇：【深度学习】Diffusion扩散模型原理解析2

2、Diffusion流程

2.1、运行流程

Diffusion分为两个步骤——扩散、逆扩散

扩散过程是对图像加入高斯噪声的过程（图中上半部分）：

给定一张图像，然后构造T个时刻，每一个时刻对应一张图像，如图中t=0，对应我们给定的初始图像

然后，对这张图像加一个高斯噪声，得到t=1时刻的图像；再对t=1时刻的图像加入噪声，得到t=2时刻的噪声。然后重复此法，到T时刻时，就得到了一张全是噪点的图像（t=T）

逆扩散过程就是对图像减去噪声的过程，也就是还原图像的过程（图中下半部分）：

给定一张全是噪点的图像，然后不断去噪，去到t=2时，得到图中的图像，再去噪，得到t=1时刻的图像，再再去噪，就还原回了坤坤的图像。

​

2.2、原因

为什么要费尽心思把它加入这么多噪声，再复原回来？

对于T时刻的图像，它是服从正态分布的，并且，是近似服从标准正态分布。那么，如果要生成图像，是不是可以直接从标准正态分布中采样出数据，然后一点点去噪，就能还原回原来的图像了呢？这就是diffusion的思想

2.3、前向加噪

记时刻1为原始图像，表示为$x_1$，则时刻2表达为$x_2$

每一个时刻都要加入一个噪声，那么该如何加噪呢？假设在$t-1$时刻，我们该如何得到$i$时刻的图像？其公式如下
$$x_t={\sqrt{\alpha }}_t{x}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\text{\hspace{1em}(1)}$$
$x_{t-1}、x_t$分别表示$t-1$时刻和$t$时刻的图像。${\alpha }_t$一般是一个大于0小于1的超参数，随着时刻的增加而减小，${ϵ}_t\sim N(0,I)$的标准正态分布（Ps：为什么是加权平均，并且要开根号？感兴趣请看参考①）

从这个式子不难看出，这其实不是简单的从$x_{t-1}$中加噪，而是加权平均。

从$t-1$到$t$可以用式（1）表示，那从$t-2$到$t$呢？难道我们每次都要一次一次的加入噪声吗？有没有办法更好的表示？

我们先看一个正态分布的基本定理：

定理①：

假设：$x_1\sim N(0,{\sigma }_{1}I),x_2\sim N(0,{\sigma }_{2}I)$

则：$(x_1+x_2)\sim N(0,({\sigma }_1+{\sigma }_2)I)$

定理②：

假设：$x_1\sim N(0,I)$

则：$a{x}_1\sim N(0,a^{2}I)$

Ps：这几个定理证明很简单，此处不做证明，不懂的可以自行百度，或者问我。

现在，我们把$t-2$到$t$由式（1）推导出来
$$\begin{array}{rl}{x}_t=& {\sqrt{\alpha }}_t{x}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\\ =& {\sqrt{\alpha }}_t(\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{ϵ}_{t-1})+\sqrt{1-{\alpha }_t}{ϵ}_t\\ =& \sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\end{array}\text{\hspace{1em}(2)}$$
其中$ϵ\sim N(0,I)$

由定理②可得：$\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}\sim N(0,{\alpha }_t(1-{\alpha }_{t-1})I)$

由定理②可得：$\sqrt{1-{\alpha }_t}{ϵ}_t\sim N(0,(1-{\alpha }_t)I)$

所以由定理①可得：
$$\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\sim N(0,({\alpha }_t(1-{\alpha }_{t-1})+1-{\alpha }_t)I)\to N(0,(1-{\alpha }_t{\alpha }_{t-1})I)\text{\hspace{1em}(3)}$$

而由定理②可知：$N(0,(1-{\alpha }_t{\alpha }_{t-1})I)\to \sqrt{1-{\alpha }_t{\alpha }_{t-1}}\overline{ϵ}$
$$N(0,(1-{\alpha }_t{\alpha }_{t-1})I)\to \sqrt{1-{\alpha }_t{\alpha }_{t-1}}\overline{ϵ}\text{\hspace{1em}(4)}$$
其中$\overline{ϵ}\sim N(0,I)$

那么
$$\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\sim N(\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2},(1-{\alpha }_t{\alpha }_{t-1})I)$$
所以不难看出式（3）直接等于式（4）

所以式（2）的后两项可直接用式（4）代换，得
$$x_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}\overline{ϵ}$$
不难看出，现在就有了$x_{t-2}$图像和$x_t$的图像关系，就不需要再一步步加入噪声了，可以一步到位

所以，当求某个随机变量的概率时，可以写成

$$q(x_t|x_{t-2})\sim N(x_t|\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2},(1-{\alpha }_t{\alpha }_{t-1})I)$$
为了更好的表示从0到$t$时刻的概率分布，我们设${\bar{\alpha }}_t=\prod _{i=0}^t{\alpha }_i$

加噪的过程则可表示为
$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t\text{\hspace{1em}(5)}$$
其概率分布表示为
$$q(x_t|x_0)\sim N(x_t|\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)I)\text{\hspace{1em}(6)}$$
除此之外，为了后面的表达方便，作者还使用$\beta =1-\alpha$，$\bar{\beta }=1-\bar{\alpha }$

因此，可得
$$\begin{gathered} x_t=\sqrt{1-{\bar{\beta }}_t}{x}_{t-1}+\sqrt{{\bar{\beta }}_t}{ϵ}_t \\ q(x_t|x_{t-1})\sim N(x_t|\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I) \\ q(x_t|x_0)\sim N(x_t|\sqrt{1-{\bar{\beta }}_t}{x}_0,{\bar{\beta }}_{t}I) \end{gathered}$$

2.4、逆扩散过程

得到了$q(x_t|x_{t-1})$的加噪过程及其概率分布。前面提到，我们的最终目标是从T时刻采样出数据，然后慢慢去噪，就得到生成的图像。那么，该如何去噪呢？换句话说，我们该如何求出$q(x_{t-1}|x_t)$呢？

论文提出，当扩散过程的$\beta$足够小，那么其逆操作，也同样符合正态分布，也就是$q(x_{t-1}|x_t)\sim N$

2.5、一阶马尔可夫假设

在扩散过程中，模型总是一个时刻一个时刻地加噪，也就是说，$t$时刻的图像，是来自$t-1$时刻的

所以，在这种过程中，引入一个假设——马尔可夫假设

一阶马尔可夫假设：给定$t-1$时刻的状态，$t$时刻仅与$t-1$时刻有关，与过去的状态无关

概率表达为
$$q(x_t|x_{t-1},x_{t-2},\cdots ,x_0)=q(x_t|x_{t-1})$$
逆扩散也是一样的道理（按照图中箭头即可看到）
$$P(x_{t-1}|x_t,x_{t+1},\cdots ,x_T)=P(x_{t-1}|x_t)$$
由马尔可夫假设，我们不难得出
$$\begin{array}{rl}q(x_{1:T}|x_0)=& q(x_{2:T}|x_0,x_1)q(x_1|x_0)\\ =& q(x_{3:T}|x_0,x_1,x_2)q(x_2|x_0,x_1)q(x_1|x_0)\\ =& q(x_{3:T}|x_0,x_1,x_2)q(x_2|x_1)q(x_1|x_0)\end{array}$$
然后不断拆分，就得到了
$$q(x_{1:T}|x_0)=\prod _{t=1}^{T}q(x_t|x_{t-1})$$
逆扩散过程也同理，$P(x_{0:T-1}|x_T)=\prod _{t=1}^{T}P(x_{t-1}|x_t)$

3、Diffusion训练

3.1、目标函数

按照传统做法，直接对训练图片求极大似然，定义所有图像为$X$
$$X=\left(\begin{array}{c}{x}^1,x^2,x^3,..,x^n\end{array}\right)$$
$x^i$是第$i$个样本，样本之间独立同分布

对X求对数似然
$$\begin{array}{rl}\log P(X)=& \log P(x^1,x^2,...,x^n)\\ =& \log \prod _{i=1}^{n}P(x^i)\\ =& \sum _{i=1}^n\log P(x^i)\end{array}$$
我们先从某一个样本出发，为了简便，直接记作$P(x)$。

而x是前向扩散的初始图像，为了区分不同时刻的图像，我们把$P(x)$表示为$P(x_0)$，代表是初始图像
$$\log P(x_0)=\log \frac{P(x_{0:T})}{P(x_{1:T}|x_0)}$$
$P(x_{0:T})=P(x_0,x_1,\cdots ,x_T)$

引入一个$q(x_{1:T}|x_0)$，在等式左右，关于$q(x_{1:T}|x_0)$求积分

等式左边：
$$\int \log P(x_0)q(x_{1:T}|x_0)d{x}_{1:T}=\log P(x_0)\int q(x_{1:T}|x_0)d{x}_{1:T}=\log P(x_0)$$
等式右边：
$$\int \log \frac{P(x_{0:T})}{P(x_{1:T}|x_0)}q(x_{1:T}|x_0)d{x}_{1:T}$$
所以：
$$\begin{array}{rl}\log P(x_0)=& \int \log \frac{P(x_{0:T})}{P(x_{1:T}|x_0)}q(x_{1:T}|x_0)d{x}_{1:T}\\ =& \int \log \frac{\frac{P(x_{0:T})}{q(x_{1:T}|x_0)}}{\frac{P(x_{1:T}|x_0)}{q(x_{1:T}|x_0)}}q(x_{1:T}|x_0)d{x}_{1:T}\\ =& \int \left(\log \frac{P(x_{0:T})}{q(x_{1:T}|x_0)}-\log \frac{P(x_{1:T}|x_0)}{q(x_{1:T}|x_0)}\right)q(x_{1:T}|x_0)d{x}_{1:T}\\ =& \int \log \frac{P(x_{0:T})}{q(x_{1:T}|x_0)}q(x_{1:T}|x_0)d{x}_{1:T}-\int \log \frac{P(x_{1:T}|x_0)}{q(x_{1:T}|x_0)}q(x_{1:T}|x_0)d{x}_{1:T}\\ =& \underset{①}{\underbrace{\int \log \frac{P(x_{0:T})}{q(x_{1:T}|x_0)}q(x_{1:T}|x_0)d{x}_{1:T}}}+\underset{②}{\underbrace{KL(q(x_{1:T}|x_0)||P(x_{1:T}|x_0))}}\end{array}$$
②是一个KL散度，但是$P(x_{1:T}|x_0)$我们是没有办法求出来的。因此，我们可以选择去求出$q(x_{1:T}|x_0)$，由KL散度$\ge 0$可知，当两个概率分布相等，KL等于0，只需要让②最小，所以我们有一个优化目标，也就是最小化
$$\min KL(q(x_{1:T}|x_0)||P(x_{1:T}|x_0))$$
而我们知道，当给定训练数据$x_0$跟对应的似然参数时，$\log P(x_0)$的值是唯一确定的。对于一个确定的值，我们最小化②，就相当于最大化①。因为$\log P(x_0)$是确定的，所以②变小，就意味着①增大，
$$\max {\int }_z\log \frac{P(x_{0:T})}{q(x_{1:T}|x_0)}q(x_{1:T}|x_0)d{x}_{1:T}\leftrightarrow \min KL(q(x_{1:T}|x_0)||P(x_{1:T}|x_0))$$
由于式子②始终大于等于0，所以对于①，由于$\log P(x_0)\ge ①$，所以①又被称为变分下界

所以，我们优化的，其实根本就不是极大似然，而是似然的变分下界，这也是一种无奈之举

优化其变分下界

$$\begin{array}{rl}\log P(x_0)\ge & \int \log \frac{P(x_{0:T})}{q(x_{1:T}|x_0)}q(x_{1:T}|x_0)d{x}_{1:T}\\ =& {\mathbb{E}}_q\left[\log \frac{P(x_{0:T})}{q(x_{1:T}|x_0)}\right]\\ =& {\mathbb{E}}_q\left[\log \frac{P(x_T)P(x_{0:T-1}|x_T)}{q(x_{1:T}|x_0)}\right]\\ =& {\mathbb{E}}_q\left[\log P(x_T)+\log \frac{P(x_{0:T-1}|x_T)}{q(x_{1:T}|x_0)}\right]\\ =& {\mathbb{E}}_q\left[\log P(x_T)+\log \frac{\prod _{t=1}^{T}P(x_{t-1}|x_t)}{\prod _{t=1}^{T}q(x_t|x_{t-1})}\right]\\ =& {\mathbb{E}}_q\left[\log P(x_T)+\sum _{t=1}^T\log \frac{P(x_{t-1}|x_t)}{q(x_t|x_{t-1})}\right]\\ =& {\mathbb{E}}_q\left[\log P(x_T)+\sum _{t=2}^T\log \frac{P(x_{t-1}|x_t)}{q(x_t|x_{t-1})}+\log \frac{P(x_0|x_1)}{q(x_1|x_0)}\right]\end{array}\text{\hspace{1em}(7)}$$

对红色部分，由马尔可夫假设和条件概率公式可得
$$\frac{1}{q(x_t|x_{t-1})}=\frac{1}{q(x_t|x_{t-1},x_0)}=\frac{q(x_{t-1}|x_0)}{q(x_t,x_{t-1}|x_0)}=\frac{q(x_{t-1}|x_0)}{q(x_{t-1}|,x_t,x_0)q(x_t|x_0)}$$
将其代入式（7），可得
$$\begin{array}{rl}\log P(x_0)\ge & {\mathbb{E}}_q\left[\log P(x_T)+\sum _{t=2}^T\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}+\log \frac{P(x_0|x_1)}{q(x_1|x_0)}\right]\\ =& {\mathbb{E}}_q\left[\log P(x_T)+\sum _{t=2}^T\left[\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}+\log \frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}\right]+\log \frac{P(x_0|x_1)}{q(x_1|x_0)}\right]\\ =& {\mathbb{E}}_q\left[\log P(x_T)+\sum _{t=2}^T\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}+\sum _{t=2}^T\log \frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}+\log \frac{P(x_0|x_1)}{q(x_1|x_0)}\right]\\ =& {\mathbb{E}}_q\left[\log P(x_T)+\sum _{t=2}^T\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}+\log \prod _{t=2}^T\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}+\log \frac{P(x_0|x_1)}{q(x_1|x_0)}\right]\end{array}\text{\hspace{1em}(8)}$$
标红那一部分，把连乘展开
$$\log \prod _{t=2}^T\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}=\log \frac{q(x_1|x_0)}{q(x_2|x_0)}\ast \frac{q(x_2|x_0)}{q(x_3|x_0)}\cdots \ast \frac{q(x_{T-2}|x_0)}{q(x_{T-1}|x_0)}\ast \frac{q(x_{T-1}|x_0)}{q(x_T|x_0)}=\log \frac{q(x_1|x_0)}{q(x_T|x_0)}$$
将其代入式（8），可得
$$\begin{array}{rl}\log P(x_0)\ge & {\mathbb{E}}_q\left[\log P(x_T)+\sum _{t=2}^T\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}+\log \frac{q(x_1|x_0)}{q(x_T|x_0)}+\log \frac{P(x_0|x_1)}{q(x_1|x_0)}\right]\\ =& {\mathbb{E}}_q\left[\log P(x_T)+\sum _{t=2}^T\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}+\log q(x_1|x_0)-\log q(x_T|x_0)+\log \frac{P(x_0|x_1)}{q(x_1|x_0)}\right]\end{array}$$
依据$\log$运算法则，将蓝色跟蓝色的式子结合起来（红色同理）
$$\begin{array}{rl}\log P(x_0)\ge & {\mathbb{E}}_q\left[\log \frac{P(x_T)}{q(x_T|x_0)}+\sum _{t=2}^T\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}+\log P(x_0|x_1)\right]\\ =& \underset{①}{\underbrace{{\mathbb{E}}_q\left[\log \frac{P(x_T)}{q(x_T|x_0)}\right]}}+\underset{②}{\underbrace{{\mathbb{E}}_q\left[\sum _{t=2}^T\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}\right]}}+\underset{③}{\underbrace{{\mathbb{E}}_q\left[\log P(x_0|x_1)\right]}}\end{array}\text{\hspace{1em}(9)}$$
从式（7）不难看出，里面的$q$是$q(x_{1:T}|x_0)$，对于①

我们可得
$${\mathbb{E}}_q\left[\log \frac{P(x_T)}{q(x_T|x_0)}\right]={\mathbb{E}}_{q(x_T|x_0)}\left[\log \frac{P(x_T)}{q(x_T|x_0)}\right]$$
这是因为$q$是$q(x_{1:T}|x_0)$，而${\mathbb{E}}_q\left[\log \frac{P(x_T)}{q(x_T|x_0)}\right]$里面只有$x_T$这个随机变量，其他的随机变量里面都没有那关于$q(x_{1:T-1}|x_0)$求期望时，就完全是对常数求期望一样，完全不变。如果你不明白，我们可以做个推导

我们先看①
$$\begin{array}{rl}{\mathbb{E}}_q\left[\log \frac{P(x_T)}{q(x_T|x_0)}\right]=& {\int }_{x_{1:T}}q(x_{1:T}|x_0)\log \frac{P(x_T)}{q(x_T|x_0)}d{x}_{1:T}\\ =& {\int }_{x_T}{\int }_{x_{T-1}}\cdots {\int }_{x_2}\underbrace{{\int }_{x_1}q(x_{1:T}|x_0)\log \frac{P(x_T)}{q(x_T|x_0)}d{x}_1}d{x}_2\cdots d{x}_T\\ =& {\int }_{x_T}{\int }_{x_{T-1}}\cdots {\int }_{x_2}\underbrace{\log \frac{P(x_T)}{q(x_T|x_0)}{\int }_{x_1}q(x_{1:T}|x_0)d{x}_1}d{x}_2\cdots d{x}_T\\ =& {\int }_{x_T}{\int }_{x_{T-1}}\cdots {\int }_{x_2}\log \left[\frac{P(x_T)}{q(x_T|x_0)}\right]q(x_{2:T}|x_0)d{x}_2\cdots d{x}_T\\ ⋮& \\ =& {\int }_{x_T}q(x_T|x_0)\log \frac{P(x_T)}{q(x_T|x_0)}d{x}_T\\ =& {\mathbb{E}}_{q(x_T|x_0)}\left[\log \frac{P(x_T)}{q(x_T|x_0)}\right]\\ =& -KL\left(q(x_T|x_0)||P(x_T)\right)\end{array}$$
对于②，③。也是一样的道理，所以式（9）得
$$\begin{array}{rl}\log P(x_0)\ge & {\mathbb{E}}_{q(x_1|x_0)}\left[\log P(x_0|x_1)\right]+\sum _{t=2}^T{\mathbb{E}}_{q(x_{t-1},x_t|x_0)}\left[\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}\right]+{\mathbb{E}}_{q(x_T|x_0)}\left[\log \frac{P(x_T)}{q(x_T|x_0)}\right]\\ =& {\mathbb{E}}_{q(x_1|x_0)}\left[\log P(x_0|x_1)\right]+\sum _{t=2}^T{\mathbb{E}}_{q(x_{t-1}|x_0,x_t)q(x_t|x_0)}\left[\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}\right]+{\mathbb{E}}_{q(x_T|x_0)}\left[\log \frac{P(x_T)}{q(x_T|x_0)}\right]\\ =& {\mathbb{E}}_{q(x_1|x_0)}\left[\log P(x_0|x_1)\right]+\sum _{t=2}^T{\mathbb{E}}_{q(x_t|x_0)}\int q(x_{t-1}|x_0,x_t)\log \frac{P(x_{t-1}|x_t)}{q(x_{t-1}|x_t,x_0)}d{x}_{t-1}+\int q(x_T|x_0)\log \frac{P(x_T)}{q(x_T|x_0)}d{x}_T\\ =& {\mathbb{E}}_{q(x_1|x_0)}\left[\log P(x_0|x_1)\right]-\sum _{t=2}^T{\mathbb{E}}_{q(x_t|x_0)}\left[KL(q(x_{t-1}|x_t,x_0)||P(x_{t-1}|x_t))\right]-KL\left(q(x_T|x_0)||P(x_T)\right)\end{array}\text{\hspace{1em}(10)}$$
所以，式（10）就是我们要优化的目标函数