32、深度生成模型与贝叶斯学习

深度生成模型与贝叶斯学习

1. 深度生成模型

1.1 变分自编码器（VAE）

VAE训练时，使用标准误差反向传播方法将误差从输出一路传回到输入，利用梯度更新模型参数，不断重复此过程直至收敛。与图4.15中的自编码器方法相比，第一个神经网络V作为编码器为每个样本x生成代码，第二个神经网络则像解码器，将代码转换回样本的估计值。代理函数中的期望项可视为初始输入x与解码器恢复输出之间的失真度量。

需要注意的是，VAE训练方法中的代理函数与EM算法中的辅助函数存在根本差异。与EM方法中的辅助函数不同，增加代理函数L(W, V, σ|x)并不一定导致似然函数增长，更不用说最大化似然函数了。只有当这个下界足够紧时，代理函数和对数似然函数才密切相关，它们之间的差距取决于近似高斯分布和真实条件分布之间的KL散度。因此，VAE训练方法具有很强的启发性，最终性能很大程度上取决于在VAE训练中能有效缩小这个差距的程度，这隐含地依赖于两个神经网络的配置是否与给定数据相匹配。

1.2 生成对抗网络（GAN）

深度生成模型的学习本质上很困难，因为似然函数无法明确计算。在VAE训练过程中，我们试图通过最大化一个易于处理的代理函数（即对数似然函数的变分下界）来学习所有模型参数。

Goodfellow等人提出了一种基于纯采样的训练过程来学习深度生成模型，完全摒弃了难以处理的似然函数，这种训练过程通常被称为生成对抗网络（GAN），因为它依赖于两个对抗神经网络之间的竞争。如图13.6所示，为了学习深度生成模型W，GAN引入了另一个神经网络V作为补充模块。一方面，我们可以对因子分布p(z)进行采样，得到因子z的许多样本，将其输入混合函数x = f (z;