14、自编码器与深度信念网络：原理、实现与应用

自编码器与深度信念网络：原理、实现与应用

1. 自编码器类型及原理

自编码器是一种重要的深度学习模型，常见类型包括收缩自编码器（Contractive Autoencoder，CAE）和变分自编码器（Variational Autoencoders，VAEs）。

CAE的目标是学习输入数据潜在属性的表示，使其对数据的微小变化不敏感，即模型要对噪声具有鲁棒性。为确保这一点，会在成本函数中添加正则化项（惩罚项），该惩罚项会生成一种强烈收缩数据的映射。

VAEs与标准自编码器不同，它以概率而非确定性的方式描述潜在空间中的观测值。标准自编码器主要用于复制输入数据，应用场景有限；而VAEs作为生成模型，可用于输出与输入不同的数据。例如，在人脸数据集上训练自编码器时，标准自编码器将潜在属性表示为离散值，而VAEs可以用概率术语描述这些属性，使每个特征处于可能值的范围内。

VAEs中，每个潜在属性的分布从图像中采样生成向量，作为解码器模型的输入。假设每个潜在特征的分布是高斯分布，会输出两个向量，分别描述分布的均值和方差。

2. 训练VAEs的挑战与解决方法

训练VAEs时，需要计算网络中每个参数与总体损失的关系，即进行反向传播。标准自编码器可通过反向传播重建网络权重的损失，但VAEs的训练不那么直接，因为采样操作不可微，梯度无法从重建误差中传播。

为克服这一限制，可使用重参数化技巧。其思路是从单位正态分布中采样ε，然后通过潜在属性的均值进行平移，并通过潜在属性的方差σ进行缩放。这样操作可将采样过程从梯度流中移除，使采样过程不依赖于网络中的任何内容，从而在保持随机采样能力的同时优化分布的参数。