56、变分自编码器与生成对抗网络：原理、实现与挑战

变分自编码器与生成对抗网络：原理、实现与挑战

变分自编码器（Variational Autoencoders）

变分自编码器（VAE）是自编码器的一个重要类别，具有独特的特性。

1. 变分自编码器的特性

• 概率性 ：即使在训练后，其输出也部分由随机因素决定，这与去噪自编码器仅在训练时引入随机性不同。
• 生成性 ：能够生成看起来像是从训练集中采样得到的新实例。

与受限玻尔兹曼机（RBM）相似，但变分自编码器更容易训练，采样过程也更快。

2. 工作原理

变分自编码器的基本结构包含编码器和解码器。不同之处在于，编码器不是直接生成输入的编码，而是生成均值编码 $\mu$ 和标准差 $\sigma$，实际编码从均值为 $\mu$、标准差为 $\sigma$ 的高斯分布中随机采样得到，然后由解码器进行解码。

graph LR
    A[输入] --> B[编码器]
    B --> C(均值 μ)
    B --> D(标准差 σ)
    C & D --> E(从高斯分布采样编码)
    E --> F[解码器]
    F --> G[输出]

3. 损失函数

变分自编码器的损失函数由两部分组成：
- 重建损失 ：促使自编码器重现其输入，可使用交叉熵计算。