12、无监督降维方法详解

无监督降维方法详解

1. 无监督降维概述

无监督降维方法旨在减少数据的维度，同时保留数据的重要结构和信息。常见的无监督降维方法包括谱投影、非线性多维尺度分析（MDS）等。我们用 $\zeta$ 表示降维方法的全局应力，它可以通过点应力 $\zeta_i$ 求和或求平均得到，即 $\zeta \propto \sum_{i} \zeta_i$。应力最小化可以针对显式定义映射的参数（参数方法），也可以针对嵌入点的位置（非参数方法）。部分方法在 Python 工具包 scikit - learn 中实现。

2. 谱投影方法

谱投影方法主要基于多维正交线性投影的思想，可从数据空间 $D$ 或核方法的扩展特征空间 $K$ 进行投影，要求 $D$ 和 $K$ 是内积空间。与大多数其他降维方法不同，谱投影方法定义的应力函数是凸函数，因此可以确定地获得全局最优解。投影的定义如下：
- 定义：映射 $\phi : D \to E$ 是投影，当且仅当 $\phi = b \circ p$，其中 $p : D \to D$ 是幂等变换（即 $p \circ p = p$），$b : p(D) \to E$ 是双射。如果 $b$ 和 $p$ 都是线性的，则投影是线性的。

2.1 主成分分析（PCA）

主成分分析（PCA）是一种历史悠久的降维方法，起源于 1901 年，至今仍是最著名的方法之一。它对欧几里得空间 $D = (R^{\delta}, || \cdot ||_2)$ 中的一组数据点 $\mathcal{X}$ 应用秩为 $d$ 的仿射投影，具有以下特点：
- 保留数据的最大方差。
- 与原始数据最接近。
-