矩阵奇异值分解SVD，线性判别LDA，主元分析PCA

一 特征值分解：

对于方阵A进行特征值分解有：

其中是A矩阵的特征向量且中各向量为正交向量，是A的特征值

进一步可表示分解形式为：，由Q为特征向量形成矩阵，是一个对角线上为特征值的对角矩阵。

二、奇异值分解

对于非方阵A进行奇异值分解时，需要先求方阵之后再进行分解：

与特征值分解对应起来，求解得的特征值与特征矩阵。

， 这里的σ就是上面说的奇异值，u就是上面说的左奇异向量。

更清楚地表示为：

三、PCA与奇异值分解

在中，可推导为：

用ＰＣＡ将Ａ进行列压缩，形式为：；　具体表示为：

　　对于行压缩形式为：；具体表示为：

详细内容参见：

博客：强大的矩阵奇异值分解(SVD)及其应用

线性判别分析（LDA）, 主成分分析(PCA)这里资料很好理解