深度学习系列27：VAE生成模型

总结：
AE（自编码器）：编码->n维向量->直接解码
VAE（变分自编码器）：编码->n维向量->每个维度使用正态分布拟合->每个维度采样形成新的n维向量->解码
CVAE（条件VAE）：每个维度用拟合后的分布均值要和目标图片一致
VQVAE（向量量化自编码器）：编码->n维向量->每个维度使用cookbook找到最近向量->解码
注意VQVAE没有采样的过程。

1. AE

AE（Autoencoder），自动编码器。自编码器的初衷是为了数据降维，假设原始特征x维度过高，那么我们希望通过编码器E将其编码成低维特征向量z=E(x)，编码的原则是尽可能保留原始信息，因此我们再训练一个解码器D，希望能通过z重构原始信息，即x≈D(E(x))，其优化目标一般是

我们常用的encoder-decoder即为最简单的一种AE。训练过程中加上一些扰动，就可以变成去噪自编码器（DAE）：

或者用遮盖（MIM，mask image modeling）的方法来加扰动：

2. VAE

损失为重构误差+KL散度。
对于每一个样本，需要用神经网络拟合均值$u$和方差${\delta }^2$，然后用标准正态分布采样得到Z，然后再恢复成X。其中方差项是核心，是用来进行对抗生成的关键。重构部分误差项会让 u u