47、变分自编码器（VAE）与循环神经网络（RNN）的探索

变分自编码器（VAE）与循环神经网络（RNN）的探索

变分自编码器（VAE）

1. VAE 原理
   • 首先，对高斯凸起进行随机采样，将所选值合并形成输入的最终潜在变量，这些变量是编码器部分的输出。在学习过程中，网络会学习每个高斯分布的中心和分布范围。
   • 每次向训练好的 VAE 输入样本时，结果会略有不同。这是因为编码器在分割之前是确定性的，但之后系统会从高斯分布中为每个潜在变量选取随机值，每次选取的值都不同。
2. VAE 架构
   • 全连接 VAE 的架构与全连接层构建的深度自编码器类似，但有两个变化。一是在编码器末尾增加了分割 - 选择 - 合并过程；二是使用了新的损失函数。
   • 新损失函数的另一个作用是衡量编码和解码阶段全连接层之间的相似度，可通过 Kullback - Leibler（KL）散度来衡量，它能测量使用非最优编码压缩信息时产生的误差。随着网络尝试减少误差，编码器和解码器的差异会减小，逐渐相互镜像。
3. MNIST 样本实验
   • 基本预测 ：使用 VAE 对 MNIST 样本进行预测，输入和输出匹配度较高，但每次输入相同图像时，VAE 会产生不同输出。例如，将测试集中数字 2 的图像通过 VAE 处理八次，结果虽相似但有明显差异。
   • 添加噪声 ： <