读论文《Auto-Encoding Variational Bayes》

读论文《Auto-Encoding Variational Bayes》

标签（空格分隔）： 论文

---

本文地址：http://blog.youkuaiyun.com/qq_31456593/article/details/77743840
深度学习博客目录：http://blog.youkuaiyun.com/qq_31456593/article/details/69340697

introduce

这篇论文将变分贝叶斯和神经网络结合起来，用神经网络学习变分推导的参数，以得到后验推理p(z|x)的似然，并获得了一个效果不错的生成模型-变分自编码器。作者使用了重新参数化的变分下界，这样就可以通过随机梯度下界对模型进行优化。

method

如图z是一个隐变量，x是由z决定的一个客观事物，比如一类图片。z相当于决定x性质的内隐因素（神秘力量），那么给我们一组属于x的数据集（图片），想要得到z，我们就必须得到后验概率p(z|x)。因为这个后验概率不好求，作者使用一个神经网络作为后验推导q(z|x),来逼近p(z|x),当神经网络通过参数学习，使得q(z|x)接近于p（z|x）时，那么我们将通过神经网络获得接近于z的近似分布，即把隐变量z找了出来。

在数学上，KL散度可以求两个分布间的距离，KL越小，分布距离越近，即越相似。同时，KL距离是非负的。为了使q(z|x)与p(z|x)的KL距离最小，作者利用了变分下界的方法，如下面推导公式所示：

<