7.4.4 主成分分析 PCA

7.4.4 主成分分析 PCA

假设我们研究的对象具有相关属性，令属性向量为 $\mathbf{x}=(x_1,x_2,\cdots ,x_m)$ 即有 $m$ 个属性。例如分析学生成绩，每个学生有数学、语文、英语、物理、化学等 $5$ 门学科成绩，则成绩向量为 $\mathbf{x}=(x_1,x_2,\cdots ,x_5)$ 即有 $5$ 个属性。我们收集了 $n$ 个学生的成绩，则所有学生成绩构成数据矩阵 $A=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n]$ 即数据矩阵每列为一个学生成绩向量，共有 $n$ 个向量。本节为了表述方便，把数据矩阵每列向量记为 ${\mathbf{x}}_i$ 或 ${\mathbf{a}}_i$ 。每个学生成绩向量是 $m$ 维空间的点，数据矩阵是 $n$ 个点构成的点云。这些点云虽然位于 $m$ 维空间，但大部分情况下位于 $m$ 维空间中低维子空间，因为每个学生成绩高度相关，即成绩好的学生每门课成绩都好，成绩差的学生每门课成绩都差。由于点云位于低维子空间，所以其真实维度远小于 $m$ 维。

PCA分析之前，先要对数据进行中心化，即每个新属性 $x_i^{\prime }＝(x_i-{\bar{x}}_i)$ 其中 ${\bar{x}}_i$ 是属性平均值。例如学生成绩，先计算所有学生数学的平均值，然后新数学成绩为数学成绩－平均值，其它科目成绩同样处理。数学描述为记 $\bar{\mathbf{x}}$ 为属性平均值，则新属性为 ${\mathbf{x}}_i^{\prime }={\mathbf{x}}_i-\bar{\mathbf{x}}$ 。为了简化符号，把中心化后数据矩阵还是记为 $A$ 。

根据奇异值分解 $A^T{\mathbf{u}}_i={\sigma }_i{\mathbf{v}}_i$ 得
$$(A^T{\mathbf{u}}_i{)}^T{A}^T{\mathbf{u}}_i=({\sigma }_i{\mathbf{v}}_i{)}^T{\sigma }_i{\mathbf{v}}_i$$