从工程和理论角度理解DDPM（一）

从工程和理论角度理解DDPM

说明

紧接着上一篇VAE，继续整理DDPM。

1.与VAE的区别和关系

设数据集$X$的分布 $P(X)$，其对于我们是未知的，但可以从里面进行采样。假设采样了一个观测变量$x_0$。
从极大似然出发，然后引入隐变量，再到变分推导这一系列过程其实都和VAE一致，只不过隐变量改了一下

1. 隐变量由单独一个$z$变成了$x_1,x_2,\dots ,x_T$，注意这些不是和$x_0$平行的样本，而是由$x_0$加噪得到的隐变量。
2. 隐变量的维度是没有像VAE一样经过压缩的，即维度和$x_0$一致。
3. 边缘概率密度公式变为了：
   $$P(x_0)=\int P(x_{0:T})d{x}_{1:T},P(x_{0:T})=P(x_T)\prod _{t=1}^T{P}_{\theta }\left(x_{t-1}\mid x_t\right)$$
4. 贝叶斯公式变为了：
   $$P(x_0)=\frac{P(x_{0:T})}{P(x_{1:T}\mid x_0)},P(x_{1:T}\mid x_0)=\prod _{t=1}^{T}P\left(x_t\mid x_{t-1}\right)$$

2.变分推断

变分推断的公式基本和VAE的一致，最终也是转换成求解ELBO的代理任务
概率密度公式推导：
$$\begin{array}{rl}\log P(x_0)& =\log \int P(x_{0:T})d{x}_{1:T}\\ & =\log \int \frac{P(x_{0:T})d{x}_{1:T}{Q}_{\varphi }(x_{1:T}\mid x_0)}{Q_{\varphi }(x_{1:T}\mid x_0)}d{x}_{1:T}\\ & =\log {\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[\frac{P(x_{0:T})}{Q_{\varphi }(x_{1:T}\mid x_0)}\right]\\ & \ge {\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[log\frac{P(x_{0:T})}{Q_{\varphi }(x_{1:T}\mid x_0)}\right]\end{array}$$
贝叶斯公式推导：
l o g P ( x 0 ) = l o g P ( x 0 : T ) P ( x 1 : T ∣ x 0 ) = l o g P ( x 0 : T ) P ( x 1 : T ∣ x 0 ) ∫ Q ϕ ( x 1 : T ∣ x 0 ) d x 1 : T = ∫ Q ϕ ( x 1 : T ∣ x 0 ) l o g P ( x 0 : T ) P ( x 1 : T ∣ x 0 ) d x 1 : T