VAE的损失函数的拆分

「Structured Disentangled Representations」这篇文章对VAE的损失函数提出了一个统一化的解释，根据这个解释可以很好的分析近几年来对VAE的各种变形。

什么是Disentangle

Disentangle 的意思是解纠缠，所谓解纠缠，也叫做解耦，就是将原始数据空间中纠缠着的数据变化，变换到一个好的表征空间中，在这个空间中，不同要素的变化是可以彼此分离的。
比如，人脸数据集经过编码器，在潜变量空间Z中，我们就会获得人脸是否微笑、头发颜色、方位角等信息的分离表示，我们把这些分离表示称为Factors。 解纠缠的变量通常包含可解释的语义信息，并且能够反映数据变化中的分离的因子。在生成模型中，我们就可以根据这些分布进行特定的操作，比如改变人脸宽度、添加眼镜等操作。（转自知乎用户：大象）

VAE 要做的就是要找到这些隐式的解纠缠变量，当然也有很多其他方法能做到这一点，比如狄利克雷过程。
这篇文章主要讲了自动编码机上的应用。

VAE损失函数的不同形式

1. VAE的目标以往被定义成每个数据点ELBO(Evidence Lower Bound)的期望值在数据点X上的集合，或者被定义为一个用有限个数的数据点来接近实际分布的经验性的分布。个人理解就是如果你有这个要求的分布的很多点的话，就能拿来定义这个分布。
   即：
   $$L^{VAE}(\theta ,\varphi ):=E_{q(x)}[E_{q\varphi (z|x)}[log\frac{p_{\theta }(x,z)}{q_{\varphi }(z|x)}]]$$
   $$q(x):=\frac{1}{N}\sum _N^{n=1}{\delta }_x()x$$
   这里的分布q和分布p分别被$\varphi$ 和 $\theta$参数化。
2. 把VAE的损失函数定义为KL散度。这个KL散度是生成模型(generative model)$p_{\theta }(z,x)$与推测模型(inference model)$q_{\varphi }$