12、无监督降维方法：从线性到非线性的探索

无监督降维方法：从线性到非线性的探索

1. 无监督降维概述

无监督降维旨在减少数据的维度，同时保留数据的重要信息。常见的方法包括谱投影、非线性多维缩放（MDS）等。我们用 $\zeta$ 表示降维方法的全局应力，它可以通过点应力 $\zeta_i$ 求和或求平均得到，即 $\zeta \propto \sum_{i} \zeta_i$。这个应力可以通过显式定义映射的参数（参数方法）或嵌入点的位置（非参数方法）来最小化。

2. 谱投影方法

谱投影方法主要基于多维正交线性投影的思想，可从数据空间 $D$ 或核方法的扩展特征空间 $K$ 进行投影，这要求 $D$ 和 $K$ 是内积空间。与大多数其他降维方法不同，谱投影方法定义的是凸应力函数，因此可以确定地获得该应力的全局最优解。

2.1 主成分分析（PCA）

PCA 是一种历史悠久的降维方法，可追溯到 1901 年，至今仍是最著名的方法之一。它对欧几里得空间中的一组数据点 $\mathbf{X}$ 应用秩为 $d$ 的仿射投影，具有以下特点：
- 保留数据方差 ：PCA 执行的投影能最大程度地保留数据集的方差，其应力函数为 $\zeta_{PCA} = |\mathbf{C} {\tilde{\mathbf{X}}} - \mathbf{C} {\mathbf{X}\mathbf{A}}| 2$，其中 $\mathbf{C} {\tilde{\mathbf{X}}} = \frac{1}{N} \tilde{\mathbf{X}}^{\top} \tilde{\mathbf{X}}$ 是中心化矩阵