变分自编码器（Variational Auto Encoder）总结

最新推荐文章于 2025-05-24 15:12:56 发布

原创最新推荐文章于 2025-05-24 15:12:56 发布 · 667 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能

机器学习专栏收录该内容

74 篇文章

订阅专栏

本文探讨了如何通过变分推断技术解决高维数据中概率密度估计问题，通过将条件分布拉向标准正态分布，利用神经网络进行参数优化，并用VAE模型举例。重点在于如何通过神经网络反向传播调整p(Z|X)以达到更准确的近似。

假设数据 $x_i$ 由一个随机过程产生，该随机过程分为两步：先由先验分布 $P_{\theta}(z)$ 产生隐藏变量 $z_i$ ；再由条件分布 $P_{\theta}(x|z_i)$ 产生数据，下图(a)是这个随机过程的图模型。然而，直接求 $P_{\theta}(x_i)=\int P_{\theta}(x_i|z)P_{\theta}(z)dz$ 由于某些z导致 $P_{\theta}(x_i|z)$ 比较小，而且x维度比较高，所以预估不准，所以弄一个 $Q_{\phi}(z|x_i)$ 来近似 $P_{\theta}(x_i|z)$ ，怎么近似呢？通过下面这个公式来优化下界

$logP_{\theta}(x_i) \geq E[logP_\theta(x_i|z)]-KL(Q_\phi(z|x_i) || P_\theta(z))$

这部分叫变分推断，只要理解KL散度的定义和贝叶斯公式就很容易推导，把 $Q_\phi(z|x_i)$ 假设成一个标准的正态分布。如果所有的 p(Z|X) 都很接近标准正态分布 N(0,I)，那么根据定义，P(z)也就成标准正态分布了。

那怎么让所有的 p(Z|X) 都向 N(0,I) 看齐呢？

所以，引入 $\varepsilon$ 以后，图(b)就开始变成了图(c)，求逼近函数 $Q_\phi(z|x_i)$ 的过程可以在引入 $\varepsilon$ 后开始利用神经网络反向传播，其中x是已有训练数据， $\phi$ 是公式 $Q_\phi(z|x_i)$ 待求的参数， $\varepsilon$ 是标准正态分布的随机抽样。有了 $Q_\phi(z|x_i)$ 以后，就可以按照 $P_{\theta}(x|z_i)$ 作为解码器来生成新的样本。