4.扩散模型的似然最大化（2）

1.逆向方差学习  

        通过优化逆向过程p和前向过程q的KL散度来优化生成样本的似然值。在扩散模型的经典框架中，逆向过程p的初分布符合标准高斯分布，转移核是高斯转移核,所以能够学习的参数只有逆向过程中高斯转移核的期望与方差。但是在DDPM中假定了逆向马尔可夫链中的高斯转移核有固定的方差。为了让p进一步匹配q，许多方法建议对逆向方差也进行学习，以进一步减小 KL 散度，从而提高 VLB 和对数似然值。
        在 iDDPM中，Nichol和 Dhariwal提议，通过用某种形式的线性插值来参数化并学习逆向方差，使用一种混合目标对其进行训练，以得到更高的对数似然和更快的采样速度，且不损失样本质量。

2.精确的对数似然估计

        在前面两节都是把前向过程和逆向过程参数化为离散时间马尔的夫链。而本节讨论连续时间的情况，也就是假设前向过程和逆向过程都存在随机微方程的解。在连续时间中进行讨论有诸多好处。在连续时间上进行分析，得到的结更具一般性。经过适当的变换可以适用于各种形式的扩散模型，比如不论是DDPM是SGM 都可以视为 Score SDE的离散形式。另一方面，从连续时