Diffusion Model（3）：训练目标以及训练过程

观看本文之前建议先观看以下两篇文章：

• Diffusion Model（1）：预备知识
• Diffusion Model（2）：前向扩散过程和逆向降噪过程

Training Loss

训练目标

​ 首先回顾一下我们的问题，我们在逆向降噪过程中由于没办法得到$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$，因此我们定义了一个 需要学习的模型模型 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$来对其进行近似，并且在训练阶段我们可以利用后验$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$来对$p_{\theta }$进行优化。

​ 那么现在的问题是我们如何$p_{\theta }$优化得到理想的${\mathbf{\mu }}_{\theta }$和${\mathbf{\Sigma }}_{\theta }$？类似于 VAE ，我们可以最小化在真实数据期望下，模型预测分布的负对数似然，即最小化预测$p_{\mathrm{data}}=q({\mathbf{x}}_0)$和$p_{\theta }({\mathbf{x}}_0)$的交叉熵：
$$\begin{array}{c}\mathcal{L}={\mathbb{E}}_{{\mathbf{x}}_0\sim q\left({\mathbf{x}}_0\right)}\left[-\log p_{\theta }\left({\mathbf{x}}_0\right)\right]\end{array}$$
​ 但是，我们没法得到$p_{\theta }({\mathbf{x}}_0)$的表达式，因此公式1的交叉熵是没法计算的。那么可以借助公式Diffusion Model（2）：前向扩散过程和逆向降噪过程
2-6 进行一些数学推导。将公式1中的$p_{\theta }({\mathbf{x}}_0)$转化为已知的项：
$$\begin{array}{c}\begin{array}{rl}\mathcal{L}& =-{\mathbb{E}}_{q\left({\mathbf{x}}_0\right)}\log p_{\theta }\left({\mathbf{x}}_0\right)\\ & =-{\mathbb{E}}_{q\left({\mathbf{x}}_0\right)}\log \left(\int p_{\theta }\left({\mathbf{x}}_{0:T}\right)d{\mathbf{x}}_{1:T}\right)\\ & =-{\mathbb{E}}_{q\left({\mathbf{x}}_0\right)}\log \left(\int q\left({\mathbf{x}}_{1:T}|{\mathbf{x}}_0\right)\frac{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}{q\left({\mathbf{x}}_{1:T}|{\mathbf{x}}_0\right)}d{\mathbf{x}}_{1:T}\right)\\ & =-{\mathbb{E}}_{q\left({\mathbf{x}}_0\right)}\log \left({\mathbb{E}}_{q\left({\mathbf{x}}_{1:T}|{\mathbf{x}}_0\right)}\frac{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}{q\left({\mathbf{x}}_{1:T}|{\mathbf{x}}_0\right)}\right)\\ & \le -{\mathbb{E}}_{q\left({\mathbf{x}}_{0:T}\right)}\log \frac{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}{q\left({\mathbf{x}}_{1:T}|{\mathbf{x}}_0\right)}\\ & ={\mathbb{E}}_{q\left({\mathbf{x}}_{0:T}\right)}\left[\log \frac{q\left({\mathbf{x}}_{1:T}|{\mathbf{x}}_0\right)}{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}\right]={\mathcal{L}}_{\mathrm{VLB}}\end{array}\end{array}$$
​ 上式中$q({\mathbf{x}}_0)$是真实的数据分布，而$p_{\theta }({\mathbf{x}}_0)$是模型，从第四行到第五行使用了Jensen不等式$\log \mathbb{E}[f(x)]\le \mathbb{E}[\log f(x)]$并结合了对$q({\mathbf{x}}_0)$的期望和对$q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)$的期望。

​ 为了最小化这个损失，结合公式2可以将其转化为最小化其上界${\mathcal{L}}_{\mathrm{VLB}}$：
L V L B = E q ( x 0 : T ) [ log ⁡ q ( x 1 : T ∣ x 0 ) p θ ( x 0 : T ) ] = E q [ log ⁡ ∏ t = 1 T q ( x t ∣ x t − 1 ) p θ ( x T ) ∏ t = 1 T p θ ( x t − 1 ∣ x t ) ] = E q [ − log ⁡ p θ ( x T ) + ∑ t = 1 T log ⁡ q ( x t ∣ x t − 1 ) p θ ( x t − 1 ∣ x t ) ] = E q [ − log ⁡ p θ ( x T ) + ∑ t = 2 T log ⁡ q ( x t ∣ x t − 1 ) p θ ( x t − 1 ∣ x t ) + log ⁡ q ( x 1 ∣ x 0 ) p θ ( x 0 ∣ x 1 ) ] = E q [ − log ⁡ p θ ( x T ) + ∑ t = 2 T log ⁡ ( q ( x t − 1 ∣ x t , x 0 ) p θ ( x t − 1 ∣ x t ) ⋅ q ( x t ∣ x 0 ) q ( x t − 1 ∣ x 0 ) ) + log ⁡ q ( x 1 ∣ x 0 ) p θ ( x 0 ∣ x 1 ) ] = E q [ − log ⁡ p θ ( x T ) + ∑ t = 2 T log ⁡ q ( x t − 1 ∣ x t , x 0 ) p θ ( x t − 1 ∣ x t ) + ∑ t = 2 T log ⁡ q ( x t ∣ x 0 ) q ( x t − 1 ∣ x 0 ) + log ⁡ q ( x 1 ∣ x 0 ) p θ ( x 0 ∣ x 1 ) ] = E q [ − log ⁡ p θ ( x T ) + ∑ t = 2 T log ⁡ q ( x t − 1 ∣ x t , x 0 ) p θ ( x t − 1 ∣ x t ) + log ⁡ q ( x T ∣ x 0 ) q ( x 1 ∣ x 0 ) + log