特征向量、特征值分解、奇异值分解SVD

写在前面：

现有的印象是：特征向量代表向量最坚守的部分，方向不变，只是会伸缩。而特征分解是沿着最重要的特征向量方向上的分解，有SVD分解、PCA主城成分分析等。但无法深入讲下去了。

---

特征值和特征向量的几何意义

矩阵乘法其实是对应着一个线性变换，是把任意一个向量变成另一个方向或者长度的新向量。在这个变换中，原向量主要发生旋转、伸缩的变化。如果某个向量x在矩阵A作用下只发生了伸缩变化，其位置仍停留在原来的直线上，称这些向量为矩阵的特征向量，伸缩的比例就是特征值。

定义：

几何意义：

对于实对称矩阵来说，不同特征值对应的特征向量必定正交;我们也可以说，一个变换矩阵的所有特征向量组成了这个变换矩阵的一组基;

在机器学习特征提取中，意思就是最大特征值对应的特征向量方向上包含最多的信息量，如果某几个特征值很小，说明这几个方向信息量很小，可以用来降维，也就是删除小特征值对应方向的数据，只保留大特征值方向对应的数据，这样做以后数据量减小，但有用信息量变化不大，PCA降维就是基于这种思路。我们通过特征值分解得到的对应特征值较大的前N个特征向量，便表示了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵的变换。