[机器学习] PCA理论

1. PCA综述

主成分析法（Principal Component Analysis, PCA）的思想就是降维。

主成分析法可以：

• 降低整个数据的维度

• 提取数据集合中的主要成分，移除数据冗余，便于识别数据集中的一些规律(pattern)

用途有： 图像压缩，人脸识别。

2. 特征值(EigenValue)和特征向量(EigenVector)

定义：A x = λ x

意义：

• 特征向量顾名思义是用来表示一个矩阵的特征的。看上边的定义公式，一个矩阵A乘以一个向量x，等于一个数λ乘以向量 x，可以发现矩阵A和向量x有个对应关系，λ只是一个伸缩倍数而已。所以向量x可以用来表示A。

• 特征值 λ 表示对应的特征向量 x 对与A总特征的贡献程度。也就是特征值越大的特征向量越能表示这个矩阵的特征。