在本章中,我们首先介绍其他5种重要的生成模型,包括变分自编码器抗网络、归一化流、自回归模型和基于能量的模型,分析它们的优点和局限性,并说明这些生成模型是如何通过纳入扩散模型而得到促进的。
1 .变分自编码器与扩散模型
变分自编码器(VAE)是一种生成模型,它可以通过学习数据的潜在空间表示来生成新的样本数据。与传统的自编码器相比,VAE 具有更强的概率建横能和更好的样本生成能力。VAE 有编码器(Encoder)和解码器(Decod两个部分。编码器将输入数据映射到潜在空间中的潜在变量,解码器则将这些潜在变量映射回原始数据空间,从而重建输入数据。在训练过程中,VAE通过最大化对数然的方式来学习模型参数。与标准自编码器不同的是,VAE还使用了一种称为“变推断”的技术来训练模型。
具体来说,VAE通过在潜在变量空间中引入一个先验分布来确保模型可以生成具有多样性的样本。这个先验分布通常是高斯分布或者混合高斯分布。在训练过程中VAE 尝试最大化重建数据的对数似然,同时最小化模型学习到的潜在变量与先验分布之间的差异。这个差异可以使用 KL 散度来度量,KL 散度是一种用于衡量两个分布之间差异的度量。VAE假设数据x可以由未观察到的潜在变量z使用条件分布p(x|z)广生,而z服从简单的先验分布π(z)。此外还需要q
(z|x)来近似后验分布p
(z|x),用样本x去推断z,为了保证有效雅理,我们使用变异贝叶斯方法以使证据下