50、变分自编码器与循环神经网络深度解析

变分自编码器与循环神经网络深度解析

变分自编码器（VAE）架构与原理

变分自编码器（VAE）是一种强大的深度学习模型，在数据处理和生成方面表现出色。其架构与全连接深度自编码器相似，但有两个关键变化。

首先，编码器末端采用了拆分 - 选择 - 合并的处理流程。其次，使用了新的损失函数，该函数不仅用于衡量编码和解码阶段全连接层之间的相似性，还通过Kullback - Leibler（KL）散度来减少编码器和解码器之间的差异，使它们更接近镜像关系。

以下是VAE架构的简单示意：
| 操作 | 输入维度 | 激活函数 | 输出维度 |
| ---- | ---- | ---- | ---- |
| 计算中心 | 784 | - | - |
| 选择高斯分布并合并 | - | - | - |
| ReLU层 | 784 | ReLU | 512 |
| ReLU层 | 512 | ReLU | 256 |
| ReLU层 | 256 | ReLU | 20 |
| 计算扩展 | - | - | - |
| sigmoid层 | 20 | sigmoid | 784 |

MNIST样本处理结果

使用MNIST样本对VAE进行测试，结果显示预测效果良好。不过，VAE每次处理相同图像时会产生不同输出。以测试集中数字“2”的图像为例，将其通过VAE处理八次，得到的结果虽相似但存在明显差异。

对编码器输出的潜在变量添加噪声，可测试训练图像在潜在空间中的聚集程度。分别添加10%和30%的噪声后发现，即使添加大量噪声，图像仍保持数字形态。例如，数字“7