奇异值、特征值以及奇异值在PCA中的应用

一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。
特征值由大到小排列，特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）
通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。
特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。
进行特征值分解的矩阵必须是方阵
奇异值是一个能适用于任意的矩阵的一种分解方法
详细内容见优快云上的博客：https://blog.youkuaiyun.com/qq_34662278/article/details/85221254