图像生成之变分自动编码器（VAE）

简要介绍

“概率图模型 + 神经网络 ”、“ EM算法、变分推断 ”

​ 自动编码器是一种无监督学习方法，将高维的原始数据映射到一个低维特征空间，然后从低维特征学习重建原始的数据。变分自编码器（Variational Autoencoder，简称VAE）是一种生成模型，结合了自编码器和概率图模型的思想。VAE在建模生成模型时是显式地定义了条件概率分布，通过最大似然估计来学习生成模型的参数，使其能够生成与训练数据相似的样本。

符号表示

$$\begin{array}{cc}\text{Symbol}& \text{Mean}\\ {\mathbb{E}}_{x\sim p(x)}[f(x)]& \text{表示对}f(x)\text{算期望，其中}x\text{的分布为}p(x)\\ p_{\theta }(\mathbf{z})& \text{先验分布}\\ p_{\theta }(\mathbf{z}|\mathbf{x})& \text{后验分布}\\ q_{\varphi }(\mathbf{z}|\mathbf{x})& \text{近似的后验概率函数，即概率编码器}\\ p_{\theta }(\mathbf{x}|\mathbf{z})& \text{给定隐变量生成真实数据样本的概率，即概率解码器}\end{array}$$

训练原理

​ 模型学习、优化模型参数$\theta$是通过最大似然估计。我们的目的是学习一个模型以最大化所观察到$x$的似然$p_{\theta }(x)$，贝叶斯公式得：
$$p_{\theta }(z|x)=\frac{p(x,z;\theta )}{p_{\theta }(x)}$$