VAE论文解读及代码实现

原创

于 2019-11-04 14:48:42 发布 · 1.7k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#变分自编玛器 #无监督机器学习

本文介绍了变分自编码器（VAEs）在无监督学习中的应用，特别是其作为复杂分布建模工具的能力。VAEs通过结合自动编码器和概率模型，能生成各种复杂数据。文章详细探讨了VAE的自动编码器结构，其中P(X|Z)是一个高斯分布，并讨论了如何通过KL散度优化模型。此外，还涵盖了VAE的代码实现，包括编码器和解码器的神经网络结构，以及在MNIST数据集上的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Introduction

Variational Autoencoders (VAEs) 是一种无监督学习复杂分布的方法，VAEs已经显示出产生多种复杂数据的潜力，包括手写数字，面部，门牌号码，CIFAR图像，场景的物理模型和分割以及从静态图像预测未来。
生成模型是机器学习一个很广泛的领域，求高维空间的X的分布P(x)，比如，图像就是一种可以创建生成模型的数据类型，每一幅图像都有成千上万的维度（元素），成模型的工作是以某种方式捕获像素之间的依赖关系，例如附近的像素具有相似的颜色并将其组织为对象。

2.VAE AutoEncoder

$P (X ∣ Z)$ 是一个isotropic Gaussian,即 $P (X ∣ Z)$ ~ $N(f(Z;θ),σ^2I)$ ， $I$ 为单位矩阵， $f(z;\theta)$ 为均值， $\sigma^2I$ 为协方差矩阵。 $- l o g P (X ∣ Z)$ 和f(Z)与X的欧式距离的平法成比例, $\frac{1}{\sqrt2*\pi}$ 为一常数不影响概率比较,证明公式如下：
$-logP(X|Z)=-\sum_{i=1}^n log(P(X_i|Z)=\sum_{i=1}^n -log \frac{1}{\sqrt2*\pi}+\frac{(X^{(1)}-f(Z)^{(i)})^2}{2\delta^2}$
$||f(Z),X||^2=\sum_{i=1}^n (f(Z)^{(i)}-X^{(i)})^2$