机器学习笔记——12 主成分分析(PCA)和因子分析(FA)

机器学习笔记——12 主成分分析和因子分析

主成分分析(principal components analysis,PCA)是一种有比较完美的数学理论支持的方法，它广泛用于数据降维和图像识别等领域。因子分析(factor analysis,FA)是一种的数据模型，它可以处理一些数据量少但是数据维度又大的数据建模问题。本文将介绍PCA的数学原理，然后介绍FA的基本思想，并对FA中参数的估计进行一些介绍。

PCA的数学原理

PCA重点在于寻找一个投影方向，我们记之为$u$，该方向向量是归一化的，长度为一，即$u^{T}u=1$。理想上我们希望样本数据投影到该方向后，保留有较大的差异，即投影后的数据方差最大，亦即$$u=argMa{x}_{u\in R^n}\frac{1}{m}\sum _{i=1}^m(u^T{x}^{(i)}{)}^2$$进一步分析，如果我们记样本的协方差为$\Sigma$，那么我们要最大化的东西为