特征值分解、奇异值分解（SVD）、投影相关理解

1. 特征值分解（要求矩阵为方正）

若向量v是方正A的特征向量，则，则$\lambda$为特征向量v对应的特征值，矩阵的一组特征向量两两正交。特征值分解为：

其中Q为特征向量组成的矩阵，为对角阵，主对角线上的每一个元素对应一个特征值。特征值对应的特征向量描述了矩阵的变化方向（特征值由大到小排列，因此变换由主要到次要排列）。

通过特征值分解得到的前N个特征向量（矩阵的最主要的N个变换方向），利用N个变换方向，可以近似这个矩阵（变换），因而可以看作提取了这个矩阵最重要的特征。

2.奇异值分解（任意矩阵）

任意矩阵A分解为：

假设A是一个N*M的矩阵，则U为一个N*N的酉矩阵（real or complex unitary matrix，标准正交矩阵），为一个N*M的对角阵（元素为非负实数），为一个M*M的酉矩阵，表示的共轭转置。U（V）里面的列向量称为左（右）奇异向量。对角元素称为A的奇异值。

3. 投影：

矩阵A的投影矩阵为

标准正交基U的投影矩阵为，因为

 

参考网上博客内容。