13、浅神经网络中的自动编码器矩阵分解应用解析

浅神经网络中的自动编码器矩阵分解应用解析

1. 自动编码器与降维可视化

在处理数据时，常常会遇到数据呈现复杂形状（如严重纠缠的螺旋）且分属不同类别的情况。线性降维方法在处理这类非线性纠缠形状的数据时，无法实现清晰的分离，因为这些形状并非线性可分。而具有非线性特性的深度自动编码器则更强大，能够解开这些复杂形状。

深度自动编码器有时可作为其他强大可视化方法（如 t - 分布式随机邻域嵌入，t - SNE）的替代方案。t - SNE 专门为可视化设计，在可视化方面通常表现更好，因为它采用了一种非对称损失函数来处理相似性和不相似性，有助于在可视化过程中分离不同的流形。但自动编码器的优势在于更容易推广到样本外数据，当接收到新的数据点时，只需将其通过自动编码器的编码器部分，就能将其添加到当前的可视化点集中。

不过，在使用自动编码器进行降维时，可能会出现过度压缩的问题。例如，将高维数据点压缩到一维，虽然对训练数据的重构效果很好，但对测试数据的重构误差却很高，这表明神经网络只是记住了数据集，而缺乏对未见过数据点创建有效降维表示的能力。因此，即使是无监督的降维问题，也需要留出一些数据点作为验证集，通过量化训练数据和验证数据的重构误差差异来判断是否过拟合。同时，深度网络训练难度较大，预训练等技巧就显得尤为重要。

2. 自动编码器在异常检测中的应用

降维与异常检测密切相关，因为异常点在编码和解码过程中很难不丢失大量信息。若将矩阵 D 分解为 D ≈ D′ = UVᵀ，那么低秩矩阵 D′ 是数据的去噪表示。压缩表示 U 只捕捉了数据中的规律，无法捕捉特定点的异常变化，因此重构到 D′ 时会丢失这些异常变化。

矩阵 (D - D′) 元素的绝