从Variational Inference到 VAE的详细概述

由于最近看论文经常看到VAE方面的东西，这个东西以前是看过的，现在打算系统地再梳理以下，为后面地工作展开铺铺路。

首先，我们来说说Variational Inference。

由上述地公式推导，我们看到，我们是引入了一个q(z)函数，展开到最后地式子时候，我们又定义了两个概念。一个是ELOB(Evidence Lower Bound). 另一个就是比较熟悉的KL divergence。
我们还用另一个式子（詹森不等式）推出了ELOB 的表达式。两个式子都是再说明 ELOB 是原式子p(x)的下界。
所以我们使用Variational Inference的时候，都是不断地让ELOB变大。
为了使用ELOB,我们对这个式子还需要做进一步地变换。

所以我们可以看出，最终ELOB地表达式子就是等价于一个KL Divergence的表达式，如果我们想让这个式子变大，就是分子，分母相等就可以了。分子是出去某一个变量其他变量为参数的条件的期望。分子是某一个变量的分布。（详细看公式，用语言不好表达。）
以上就是关于Variational Inference 的推导。

有关VAE内容，待续。。。