DDPM模型——公式推导

论文传送门：Denoising Diffusion Probabilistic Models
代码实现：DDPM模型——pytorch实现
推荐视频：54、Probabilistic Diffusion Model概率扩散模型理论与完整PyTorch代码详细解读

需要的数学基础：

联合概率(Joint probability)：
$$P(A,B,C)=P(C\mid B,A)P(B,A)=P(C\mid B,A)P(B\mid A)P(A)$$
条件概率(Conditional probability)：
$$P(B,C\mid A)=P(B\mid A)P(C\mid A,B)$$
马尔可夫链(Markov Chain)：
$$p\left(X_{t+1}\mid X_t,\dots ,X_1\right)=p\left(X_{t+1}\mid X_t\right)$$
贝叶斯公式(Bayes Rule)：
$$P\left(A_i\mid B\right)=\frac{P\left(B\mid A_i\right)P\left(A_i\right)}{{\sum }_{j}P\left(B\mid A_j\right)P\left(A_j\right)}$$
正态分布(Normal distribution)$X\sim N\left(\mu ,{\sigma }^2\right)$的概率密度函数：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
两个正态分布$X\sim N\left({\mu }_X,{\sigma }_X^2\right)$和$Y\sim N\left({\mu }_Y,{\sigma }_Y^2\right)$的叠加：
$$U=X+Y\sim N\left({\mu }_X+{\mu }_Y,{\sigma }_X^2+{\sigma }_Y^2\right)$$
两个正态分布$p,q$的KL散度(Kullback-Leibler divergence)：
$$KL(p,q)=\log \frac{{\sigma }_q}{{\sigma }_p}+\frac{{\sigma }_p^2+{\left({\mu }_p-{\mu }_q\right)}^2}{2{\sigma }_q^2}-\frac{1}{2}$$
重参数技巧(Reparameterrization)：
$$若X\sim N\left(\mu ,{\sigma }^2\right),Y=\frac{X-\mu }{\sigma }\sim N(0,1)$$
从正态分布$X$中采样$z$，等价于从标准正态分布$Y$中采样$z^{\prime }$，$z=\mu +\sigma \times z^{\prime }$
一元二次式的配方：
$$a{x}^2+bx=a{\left(x+\frac{b}{2a}\right)}^2+C$$

概念：

$t$：时刻(加噪次数)
$T$：总时长(总加噪次数)
$\mathbf{x}$：图像
${\mathbf{x}}_0$：初始时刻图像
${\mathbf{x}}_t$：$t$时刻图像
${\mathbf{x}}_T$：终止时刻图像
$x_0$ ~ $q(x_0)$，$q(x_0)$：真实图像分布
$p_{\theta }(x_0):=\int p_{\theta }(x_{0:T})d{x}_{1:T}$，$p_{\theta }(x_0)$：生成图像分布
$\theta$：(网络)参数
${\beta }_t$：扩散过程t时刻加入噪声的方差
$\beta$：噪声方差序列，长度为T，在$(0,1)$区间内单调递增

Reverse process：

逆扩散过程的数学表达：
$$p_{\theta }\left({\mathbf{x}}_{0:T}\right):=p\left({\mathbf{x}}_T\right)\prod _{t=1}^T{p}_{\theta }\left({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t\right)$$
全部时刻图像的联合概率分布$p_{\theta }\left({\mathbf{x}}_{0:T}\right)$，整个过程是马尔科夫链。其中，
$$p\left({\mathbf{x}}_T\right)=\mathcal{N}\left({\mathbf{x}}_T;0,\mathbf{I}\right)$$
$p\left({\mathbf{x}}_T\right)$是标准正态分布，${\mathbf{x}}_T$为采样值，与网络参数无关。
$t$时刻去噪的数学表达：
$$p_{\theta }\left({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t\right):=\mathcal{N}\left({\mathbf{x}}_{t-1};{\mathbf{\mu }}_{\theta }\left({\mathbf{x}}_t,t\right),{\mathbf{\Sigma }}_{\theta }\left({\mathbf{x}}_t,t\right)\right)$$
${\mathbf{x}}_{t-1}$服从均值为${\mathbf{\mu }}_{\theta }\left({\mathbf{x}}_t,t\right)$，方差为${\mathbf{\Sigma }}_{\theta }\left({\mathbf{x}}_t,t\right)$的正态分布，作者在原文中将方差${\mathbf{\Sigma }}_{\theta }\left({\mathbf{x}}_t,t\right)$设为${\sigma }_t^2={\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$(经实验，${\sigma }_t^2={\beta }_t$和${\sigma }_t^2={\tilde{\beta }}_t$的结果相似)，与模型参数无关(${\tilde{\beta }}_t$在后续计算中会提到)。

Forward process：

扩散过程的数学表达：
$$q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right):=\prod _{t=1}^{T}q\left({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1}\right)$$
给定初始图像${\mathbf{x}}_0$，全部时刻($t>0$)的联合概率分布，整个过程是马尔科夫链。
$t$时刻加噪的数学表达：
$$q\left({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1}\right):=\mathcal{N}\left({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I}\right)$$
${\mathbf{x}}_t$服从均值为$\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1}$，方差为${\beta }_t$的正态分布。
使用重参数技巧，任意时刻的图像${\mathbf{x}}_t$可以由初始时刻图像${\mathbf{x}}_0$和噪声方差序列$\beta$来确定，为简化表达，定义${\alpha }_t:=1-{\beta }_t$，${\bar{\alpha }}_t:={\prod }_{s=1}^t{\alpha }_s$，则：
x t = α t x t − 1 + 1 − α t ϵ t − 1 = α t ( α t − 1 x t − 2 + 1 − α t − 1 ϵ t − 2 ) + 1 − α t ϵ t − 1 = α t α t − 1 x t − 2 +