机器学习宝典——第7章：降维 (Dimensionality Reduction)

第7章：降维 (Dimensionality Reduction)

欢迎来到第 7 章。在之前的学习中，我们接触的特征动辄成百上千。高维度数据虽然信息丰富，但也带来了“维度灾难”——计算复杂度高、数据稀疏、模型容易过拟合。降维技术就是解决这一问题的利器。它旨在用一组远少于原始维度的特征来表示数据，同时尽可能保留原始数据的核心信息。降维不仅能提升模型的训练速度，还能有效去除噪声、增强模型泛化能力，有时甚至能帮助我们通过可视化来理解数据结构。本章，我们将聚焦于两个最重要、面试最高频的降维算法：线性降维的王者 PCA 和非线性可视化神器 t-SNE。

---

7.1 主成分分析 (Principal Component Analysis, PCA)

PCA 是无监督学习中应用最广泛的降维算法，没有之一。它的身影几乎出现在所有与数据预处理相关的任务中。

• 核心思想：寻找数据方差最大的方向
  PCA 的核心思想可以概括为一句话：将数据投影到一个新的坐标系中，使得数据在第一个新坐标轴（第一主成分）上的方差最大；在第二个新坐标轴（第二主成分，且与第一主成分正交）上的方差次大，以此类推。

  为什么要最大化方差？因为在信号处理领域，我们通常认为信号具有较大的方差，而噪声具有较小的方差。因此，方差越大的方向，保留的原始数据信息就越多。通过保留方差最大的前 k 个方向，我们就实现了在信息损失最小的前提下降维。

• 数学原理：基于特征值分解
  PCA 的目标是找到一个投影矩阵 $W$，将原始的 $m\times n$（m 个样本，n 个特征）的数据矩阵 $X$ 转换为 $m\times k$（k < n）的新数据矩阵 $Y$，并且 $Y$ 的各个特征（主成分）方差尽可能大。

  这一过程的数学本质，是寻找数据协方差矩阵的特征向量和特征值。

  1. 协方差矩阵：首先对数据进行中心化（去均值），使得每个特征的均值为 0。然后计算其协方差矩阵 $C$：
     $$C=\frac{1}{m-1}{X}^{T}X$$
     这个 $n\times n$ 的矩阵 $C$ 中，对角线元素 $C_{ii}$ 是第 i i