14、自编码器：原理、类型与应用

自编码器：原理、类型与应用

1. 自编码器概述

自编码器是一种神经网络，其训练目标是尝试将输入复制到输出。内部有一个隐藏层 h，用于描述表示输入的代码。网络可分为两部分：编码器函数 h = f(x)和解码器 r = g(h)。现代自编码器将编码器和解码器的概念从确定性函数推广到随机映射 pencoder(h|x) 和 pdecoder(x|h)。

自编码器传统上用于降维和特征学习，近年来在生成建模领域也崭露头角。它可以看作是前馈网络的一种特殊情况，通常使用小批量梯度下降和反向传播进行训练，也可以使用循环学习算法。

2. 欠完备自编码器

• 原理 ：如果让 h 的维度小于 x 的维度，这样的自编码器称为欠完备自编码器。学习欠完备表示会迫使自编码器捕捉训练数据中最显著的特征。
• 学习过程 ：通过最小化损失函数 L(x, g(f(x)))，其中 L 是惩罚 g(f(x)) 与 x 不相似的损失函数，如均方误差。
• 与 PCA 的关系 ：当解码器为线性且 L 为均方误差时，欠完备自编码器学习到的子空间与主成分分析（PCA）相同。具有非线性编码器和解码器的自编码器可以学习到比 PCA 更强大的非线性泛化。
• 容量问题 ：如果编码器和解码器的容量过大，自编码器可能学会复制输入而不提取数据分布的有用信息。

3. 正则化自编码器

• 问题提出