主成分分析系列（三）为何协方差矩阵的特征值越大对应的特征向量方向的方差越大

原创

已于 2023-07-02 15:30:46 修改 · 1.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#矩阵 #python #机器学习

于 2023-07-02 15:29:25 首次发布

文章详细解释了主成分分析（PCA）中，为什么特征值最大的特征向量对应的数据方差最大。首先，通过零均值化后的数据集构建协方差矩阵，然后展示了数据在特征向量上的投影方差计算公式。接着，利用矩阵的谱分解定理，证明了协方差矩阵的特征值与方差的关系，以及如何通过优化问题找到最大化方差的特征向量。最后，从不同角度阐述了方差与协方差矩阵的关系，以及如何计算投影后的数据方差。

由于在文章主成分分析系列（二）为何特征向量是主成分中提到的数据 $\mathbf{D}=\{ \mathbf{x_1},\mathbf{x_2},\dots \mathbf{x_n} \}$ 的scatter矩阵 $\mathbf{S}$ 矩阵跟协方差( covariance )矩阵 $\Sigma$ 仅仅相差一个标量系数 $n - 1$ 。下面用协方差矩阵 $\Sigma$ 进行描述。

1. $\mathbf{v}^{T}\Sigma\mathbf{v}$ 为什么是投影后数据的方差

数据 $\mathbf{D}=\{ \mathbf{x_1},\mathbf{x_2},\dots \mathbf{x_n} \}$ （注意，数据 $\mathbf{D}$ 已经零-均值化），将
$\mathbf{x_1},\mathbf{x_2},\dots \mathbf{x_n}$ 拼成一个大矩阵 $\mathbf{X}$
$\mathbf{X} \in \mathbb{R}^{n\times d}$
则协方差矩阵 $\Sigma$ = $\frac{1}{n-1}\mathbf{X}^T\mathbf{X}$

根据简单的线性代数知识，向量 $\mathbf{x}_i$ 在单位向量 $\mathbf{v}$ 上的投影向量是
$\mathbf{u}_i=(\mathbf{v}^T\mathbf{x}_i)\mathbf{v}$
投影后数据在投影方向上的方差是
$\begin{aligned}\hat{\sigma}^2 &=\frac{1}{n-1}\sum_{i=1}^{n}\vert \vert (\mathbf{v}^T\mathbf{x}_i)\mathbf{v}-(\mathbf{v}^T\mathbf{\bar{x}})\mathbf{v} \vert \vert ^2_2\quad(\mathbf{\bar{x}} := \mathbf{0})\\ &= \frac{1}{n-1}\sum_{i=1}^{n}\vert \vert (\mathbf{v}^T\mathbf{x}_i)\mathbf{v} \vert \vert ^2_2\\ &= \frac{1}{n-1}\sum_{i=1}^{n} (\mathbf{v}^T\mathbf{x}_i)^2\\ &= \frac{1}{n-1}(\mathbf{Xv})^T\mathbf{Xv}\\ &= \frac{1}{n-1}\mathbf{v}^T\mathbf{X}^T\mathbf{Xv}\\ &= \mathbf{v}^T\mathbf{\Sigma}\mathbf{v} \end{aligned}$