Auto-Encoding Variational Bayes

VAE概率图模型如下

实线为生成过程：$p_{\mathbf{\theta }}(\mathbf{z})p_{\mathbf{\theta }}(\mathbf{x}|\mathbf{z})$，虚线为推断过程：$q_{\varphi }(\mathbf{z}|\mathbf{x})$近似真实后验分布$p_{\mathbf{\theta }}(\mathbf{z}|\mathbf{x})$。

对于数据$\mathbf{X}={\left\{{\mathbf{x}}^{(i)}\right\}}_{i=1}^N$，我们的目标是使likelihood${\sum }_{i=1}^N\log p_{\theta }\left({\mathbf{x}}^{(i)}\right)$最大，但$$\sum _{i=1}^N\log p_{\theta }\left({\mathbf{x}}^{(i)}\right)=\sum _{i=1}^N\log {\int }_{{\mathbf{z}}^{(i)}}{p}_{\theta }\left({\mathbf{x}}^{(i)},{\mathbf{z}}^{(i)}\right)d{\mathbf{z}}^{(i)}$$是没法直接优化的。为了描述方便，先略去$\mathbf{x},\mathbf{z}$的上标。
首先考虑引入一个变分后验$q_{\varphi }(\mathbf{z}|\mathbf{x})\to p_{\theta }(\mathbf{z}|\mathbf{x})$，则$$\begin{array}{rl}KL\left(q_{\varphi }(\mathbf{z}|\mathbf{x})\Vert p_{\theta }(\mathbf{z}|\mathbf{x})\right)& =E_{q_{\varphi }(\mathbf{z}|\mathbf{x})}\left[\log \frac{q_{\varphi }(\mathbf{z}|\mathbf{x})}{p_{\theta }(\mathbf{z}|\mathbf{x})}\right]\\ & =E_{q_{\varphi }(\mathbf{z}|\mathbf{x})}\left[\log \frac{q_{\varphi }(\mathbf{z}|\mathbf{x})}{p_{\theta }(\mathbf{z},\mathbf{x})}\right]+\log p_{\theta }(\mathbf{x})\end{array}$$所以，$$\log p_{\theta }(\mathbf{x})=KL\left(q_{\varphi }(\mathbf{z}|\mathbf{x})\Vert p_{\theta }(\mathbf{z}|\mathbf{x})\right)-E_{q_{\varphi }(\mathbf{z}|\mathbf{x})}\left[\log \frac{q_{\varphi }(\mathbf{z}|\mathbf{x})}{p_{\theta }(\mathbf{z},\mathbf{x})}\right]$$而$KL(\cdot \Vert \cdot )\ge 0$，那么$$\log p_{\theta }(\mathbf{x})\ge -E_{q_{\varphi }(\mathbf{z}|\mathbf{x})}\left[\log \frac{q_{\varphi }(\mathbf{z}|\mathbf{x})}{p_{\theta }(\mathbf{z},\mathbf{x})}\right]$$这样我们就得到了$ELBO$$$\begin{array}{rl}ELBO& =E_{q_{\varphi }(\mathbf{z}|\mathbf{x})}\left[\log \frac{p_{\theta }(\mathbf{z},\mathbf{x})}{q_{\varphi }(\mathbf{z}|\mathbf{x})}\right]\\ & =E_{q_{\varphi }(\mathbf{z}|\mathbf{x})}\left[\log p_{\theta }(\mathbf{x}|\mathbf{z})\right]-KL\left(q_{\varphi }(\mathbf{z}|\mathbf{x})\Vert p_{\theta }(\mathbf{z})\right)\end{array}$$上式的第二部分可以得到解析解，而第一部分只能通过MCMC方法近似得到，再采用reparameterization trick，可以很大程度得到较为精确的近似结果$$E\widetilde{LB}O=\frac{1}{L}\sum _{l=1}^L\log p_{\theta }\left(\mathbf{x}|{\mathbf{z}}_l\right)-KL\left(q_{\varphi }(\mathbf{z}|\mathbf{x})\Vert p_{\theta }(\mathbf{z})\right)$$其中${\mathbf{z}}_l=g_{\varphi }\left({ϵ}_l,\mathbf{x}\right),{ϵ}_l\sim p(ϵ)$。以上都是分析一个数据，对于一个数据集的数据，可以每次采样一个mini-batch近似整个数据即可$$L=\frac{N}{M}\sum _{i=1}^{M}E\widetilde{LB}O\left(\theta ,\varphi ;{\mathbf{x}}^{(i)}\right)$$以上就是VAE的核心内容，一般来说可以取$$\begin{array}{rl}{p}_{\theta }(\mathbf{z})& \sim N(0,I)\\ p_{\theta }(\mathbf{x}|\mathbf{z})& \sim N\left({\mu }_{\mathbf{z}},{\Sigma }_{\mathbf{z}}\right)\text{ or Bernulli}\left(p_{\mathbf{z}}\right)\\ q_{\varphi }(\mathbf{z}|\mathbf{x})& \sim N\left({\mu }_{\mathbf{x}},{\Sigma }_{\mathbf{x}}\right)\end{array}$$