5、主成分分析（PCA）与特征脸应用详解

主成分分析（PCA）与特征脸应用详解

1. 主成分分析（PCA）简介

主成分分析（PCA）是奇异值分解（SVD）的核心应用之一，它为表示高维相关数据的数据驱动分层坐标系提供了统计解释。该坐标系涉及相关矩阵，在进行SVD之前，PCA会对数据进行预处理，通过减去均值并将方差设为1。所得坐标系的几何形状由主成分（PCs）决定，这些主成分相互不相关（正交），但与测量值具有最大相关性。这一理论于1901年由Pearson提出，20世纪30年代Hotelling也独立进行了研究。

在统计学中，一次实验通常会收集多个测量值，这些测量值一般排列成一个行向量。多次实验的测量向量会排列成一个大矩阵X，类似于电子表格中数据的记录结构。这里X的约定是特征按行排列，与本章其他部分不同，但与PCA文献保持一致。矩阵X的大小为n×m，行数和列数的多少可以不同。

2. PCA的计算步骤

• 计算平均行并减去均值 ：
  • 平均行$\bar{x}$的计算公式为$\bar{x} j = \frac{1}{n} \sum {i=1}^{n} X_{ij}$。
  • 均值矩阵$\bar{X} = \begin{bmatrix} 1 \ \vdots \ 1 \end{bmatrix} \bar{x}$。
  • 均值相减后的数据$B = X - \bar{X}$。
• 计算协方差矩阵 ：协方差矩阵$C = \frac{1}{n - 1} B^* B$，这里使用n - 1进行归