8、利用自编码器进行数据表示

利用自编码器进行数据表示

1. 自编码器基础

自编码器通过节点形式的约束来发现数据中的有趣结构。例如，在编码器中，五输入数据集需经过三节点压缩以得到编码值 h。编码器的编码输出层维度可以与输入/输出解码输出层相同、更低或更高。
- 欠完备表示 ：编码输出层节点数少于输入层时，被称为欠完备表示，可视为将数据转换为低维表示的数据压缩。
- 过完备表示 ：编码输出层节点数多于输入层时，称为过完备表示，在稀疏自编码器中作为正则化策略使用。

自编码器的目标是找到 y，捕捉数据变化的主要因素，这与主成分分析（PCA）类似，因此也可用于数据压缩。

2. 自编码器的设置

自编码器有多种不同架构，通过用于捕捉数据表示的成本函数来区分。最基本的自编码器是普通自编码器，它是一个两层神经网络，输入层和输出层节点数相同，目标是最小化成本函数。常见的损失函数选择包括回归的均方误差（MSE）和分类的交叉熵。这种方法可轻松扩展到多层，即多层自编码器。

节点数量在自编码器中起着关键作用：
- 欠完备自编码器 ：隐藏层节点数少于输入层的自编码器。
- 过完备自编码器（稀疏自编码器） ：隐藏层节点数多于输入层的自编码器。

稀疏自编码器旨在在隐藏层施加稀疏性，可通过在隐藏层引入比输入更多的节点或在损失函数中引入惩罚项使隐藏层权重趋近于零来实现。一些自编码器通过手动将节点权重置零来实现稀疏性，称为 K - 稀疏自编码器。

下面我们将在占用数据集上设置