机器学习 - 数据降维 奇异值分解SVD Singular Value Decomposition（学习笔记）

SVD是提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提取信息的强大工具。

SVD的定义

SVD是对矩阵进行分解。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：

𝐴=𝑈Σ𝑉𝑇

其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足𝑈𝑇𝑈=𝐼,𝑉𝑇𝑉=𝐼。

SVD计算举例

 

SVD的一些性质

上面我们对SVD的定义和计算做了详细的描述，似乎看不出我们费这么大的力气做SVD有什么好处。那么SVD有什么重要的性质值得我们注意呢？

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的