54、样本主成分分析详解

样本主成分分析详解

1. 样本主成分分析基础概念

在数据分析领域，主成分分析（PCA）是一种常用的数据降维技术。假设(x)是一个(m)维随机变量，其均值为(\mu)，协方差矩阵为(\Sigma)。我们考虑从(m)维随机变量(x)到(m)维随机变量(y)的线性变换：
[y_{i}=\alpha_{i}^{T}x = \sum_{k = 1}^{m}\alpha_{ki}x_{k}, i = 1, 2, \cdots, m]
其中(\alpha_{i}^{T}=(\alpha_{1i}, \alpha_{2i}, \cdots, \alpha_{mi}))。当这个线性变换满足以下条件时，就被称为总体主成分：
- (\alpha_{i}^{T}\alpha_{i}=1, i = 1, 2, \cdots, m)；
- (cov(y_{i}, y_{j}) = 0 (i \neq j))；
- 变量(y_1)是(x)的所有线性变换中方差最大的；(y_2)是与(y_1)不相关的所有线性变换中方差最大的。一般地，(y_i)是与(y_1, y_2, \cdots, y_{i - 1})都不相关的所有线性变换中方差最大的，那么(y_1, y_2, \cdots, y_m)就分别被称为(x)的第一主成分、第二主成分、(\cdots)、第(m)主成分。

若(x)的协方差矩阵(\Sigma)的特征值为(\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_m \geq 0)，对应的单位特征向量为(\alpha_1, \alpha_2, \cdots, \alpha_m)，则(x)的第(i)主成分可表示为：
[y_{i