15、监督降维方法详解

监督降维方法详解

在数据处理和分析领域，监督降维是一项重要的技术，它能够在保留数据类别信息的同时，降低数据的维度，从而提高后续分析和处理的效率。本文将详细介绍几种常见的监督降维方法及其特点。

1. 基于类纯度的参数化方法

1.1 线性判别分析（LDA）

线性判别分析（LDA），有时也被称为 Fisher 判别分析（FDA），它通过一个矩阵 (P)（大小为 (\delta \times d)）进行正交线性投影。这个投影的目标是最大化嵌入空间中类间方差与类内方差的比值。LDA 旨在最优地分离由单个高斯簇构成的类，并且假设所有类具有相同的协方差（同方差性）。在应用 LDA 时，嵌入维度 (d) 通常设置为 (d \triangleq n - 1)，其中 (n) 是类的数量。

具体来说，LDA 为矩阵 (P) 的每一列 (p_j)（约束为与其他列正交）解决以下优化问题：
[
\arg\max_{p^Tp = 1} \frac{p^T C_{\notin \tilde{\Omega}} p}{p^T C_{\in \tilde{\Omega}} p}
]
其中，协方差矩阵 (C_{\in \tilde{\Omega}} \triangleq \frac{1}{N} \tilde{\Omega} C^T \tilde{\Omega}_C) 表示类内的散布情况（即每个类的方差），(\tilde{\Omega}_C) 是一个 (N \times \delta) 的矩阵，其行是由类质心中心化后的点，即 (\xi_i - \mu {L_i})。相反，协方差矩阵 (C_{\notin \tilde{\Omega}}