32、变分自编码器：原理、训练与应用

变分自编码器：原理、训练与应用

1. 变分自编码器简介

生成对抗网络致力于学习一种创建样本的机制，使得这些样本在统计上与训练数据 {xi} 难以区分。与之不同，变分自编码器（VAEs）和归一化流一样，属于概率生成模型。VAEs 的目标是学习数据上的分布 Pr(x)，训练完成后，能够从这个分布中抽取（生成）样本。不过，由于 VAE 的特性，我们无法精确评估新样本 x∗ 的概率。

通常人们会将 VAE 视为 Pr(x) 的模型，但这种观点具有误导性。实际上，VAE 是一种神经网络架构，旨在辅助学习 Pr(x) 的模型。最终的 Pr(x) 模型中既不包含“变分”部分，也不包含“自编码器”部分，更准确地说，它是一个非线性隐变量模型。

2. 隐变量模型

隐变量模型采用间接的方式来描述多维变量 x 上的概率分布 Pr(x)。它并不直接写出 Pr(x) 的表达式，而是对数据 x 和未观测到的隐藏或隐变量 z 的联合分布 Pr(x, z) 进行建模，然后通过对这个联合概率进行边缘化来描述 Pr(x)，即：
[Pr(x) = \int Pr(x, z)dz]

通常，联合概率 Pr(x, z) 会根据条件概率规则分解为数据相对于隐变量的似然项 Pr(x|z) 和先验 Pr(z)：
[Pr(x) = \int Pr(x|z)Pr(z)dz]

这种间接描述 Pr(x) 的方法虽然有些迂回，但却十分有用，因为相对简单的 Pr(x|z) 和 Pr(z) 表达式可以定义出复杂的分布 Pr(x)。

2.1 示例：高斯混合模型

在一维高斯混合模型中，隐变量 z 是离散的，先验 Pr(z)