深入理解Variational Auto-encoder

前言

市面上有非常多VAE的讲解，我最近基本都看了一遍，感觉要不然需要太多的数理知识，要不然就是讲的太过浅显。现把自己的理解总结一遍，作为记录。

Auto-encoder(AE)

我们如何证明自己理解了一个事物？显然，判别这项事物并不够，例如我可以判断猫和狗，但我真的了解猫和狗嘛，我甚至都没养过狗。那么有一个思路就是，如果我能创造一只猫或一只狗，我才算真正的了解它。

在神经网络中，同样如此。我们总是去提取一个信号的特征，然后去做下游任务，但这个特征是好是坏并不知道。如果我们能根据这个特征去把图像复原，是不是可以说明我这个"特征"可以完美地概括这个事物？我觉得是可以的，类似于PCA，是符合直觉的。这就是auto-encoder的思路。AE结构图如下所示，as close as possible是一个重建损失，用MSE就可以做到。

Variational Auto-encoder(VAE)

VAE是一个生成模型，其目的主要是去做一些有创造力的工作。例如生成一些本不存在的图像，这个任务在判别模型中是做不到的。在AE中也做不到，因为我们的code，准确来说是latent code，没办法去随机采样。例如一个训练好的网络，[1,1]可以生成茶杯了，那么我随机一个数字[9,9]它是茶杯吗，大概率不是。所以AE常有人去做预训练任务，也就是说把decoder拿走，认为encoder可以很好地提取输入图像的特征，所以通过encoder之后的code来进行下游任务的训练。这个效果还是不错的。

VAE可以去生成一些模拟的图像（信号），因为它加入了分布和采样的概念。如图所示，需要解释的是这里的input不只一张图像，有几张图像就有几个$\mu$和$\sigma$，也就是每一张图像生成一个高斯分布。然后从这些高斯分布中抽样得到隐变量$z$。

loss function

AE的损失函数是重建损失，那么VAE的损失函数是什么，大家应该都知道是Elbo，Elbo的推导有非常多方法，我所知道的有三种方法，这一块是最复杂的。首先我们要定义任务的目标:使似然函数$P(x)$越来越大。
问题一：为什么要使$P(x)$越来越大？什么是$P(x)$？
我的理解是$P$是网络，我们希望这个网络可以产生与X相似的数据，那如果这个网络模拟出x背后的分布，那$P(x)$必然很大。在任务中，由于我们是想产生x，那么自然是使$P(x)$越来越大，如果我们是想给定一个特征x，去判断其属于的标签，则是使$P(y\mid x)$越来越大。
问题二：为什么$P(x)$是似然？
似然函数都有了解，是去判断什么样的参数可以产生这个数据，既然提到$P$是网络，网络中是有参数的，那么$P$实际上是$P_{}$