ICP算法学习分享2：SVD奇异值分解原理推导

文章参考：奇异值分解（SVD） - 知乎

一、特征值和特征向量

1.首先前瞻知识要求掌握线性代数中的特征值和特征向量求解：

首先回顾下特征值和特征向量的定义如下：

Ax=λx

其中 A 是一个 n×n 矩阵， x 是一个 n 维向量，则 λ 是矩阵 A 的一个特征值，而 x 是矩阵 A 的特征值 λ 所对应的特征向量。注意到要进行特征分解，矩阵A必须为方阵。

那么如果A不是方阵，即行和列不相同时，我们还可以对矩阵进行分解吗？答案是可以，此时SVD登场了。

二、求解SVD

SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：

其中 U 是一个 m×m 的矩阵， Σ 是一个 m×n 的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值， V 是一个 n×n 的矩阵。 U 和 V 都是酉矩阵，即满足

U=I,V=I 。下图可以很形象的看出上面SVD的定义：

接着我们来求解U，∑，V。

将A的转置和A做矩阵乘法，那么会得到n×n的一个方阵 ATA 。既然 ATA 是方阵，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式：

这样我们就可以得到矩阵 ATA 的n个特征值和对应的n个特征向量v了。将 ATA 的所有特征向量张成一个n×n的矩阵V，就是我们SVD公式里面的V矩阵了。一般我们将V中的每个特征向量叫做A的右奇异向量。

A和A的转置做矩阵乘法，那么会得到m×m的一个方阵 AAT 。既然 AAT 是方阵，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式：

这样我们就可以得到矩阵 AAT 的m个特征值和对应的m个特征向量u了。将 AAT 的所有特征向量张成一个m×m的矩阵U，就是我们SVD公式里面的U矩阵了。一般我们将U中的每个特征向量叫做A的左奇异向量。

接着求奇异值矩阵Σ。Σ除了对角线上是奇异值其他位置都是0，那我们只需要求出每个奇异值σ就可以了。

这样我们可以求出我们的每个奇异值，进而求出奇异值矩阵Σ。

三、SVD的一些性质　

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。

也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。

也就是说：

其中k要比n小很多，也就是一个大的矩阵A可以用三个小的矩阵 Um×k,∑k×k,Vk×nT 来表示。如下图所示，现在我们的矩阵A只需要灰色的部分的三个小矩阵就可以近似描述了。

由于这个重要的性质，SVD可以用于PCA降维，来做数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。