SVD详解：推荐系统中的关键矩阵分解技术-优快云博客

1.SVD简介

SVD 技术是线性代数中的一种用于降低数据维度的矩阵分解技术，将高维的用户-项目评分矩阵分解成了低维的用户特征向量矩阵、项目特征向量矩阵以及包含奇异值的对角矩阵。

2.关于SVD的分解原理

说明：具体的特征值、SVD分解的几何意义请参考博客。

奇异值分解(SVD)原理与在降维中的应用 - 刘建平Pinard - 博客园奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是https://www.cnblogs.com/pinard/p/6251584.html

SVD的分解公式如下：

其中 $\large U$ 为 $\large {\rm{m}} \times m\$ 正交矩阵， $\large S$ 为 $\large m\times n$ 对角阵， $\large V$ 为 $\large n\ \times n$ 正交矩阵。

其分解示意图如下:

奇异值分解保证了原矩阵中的信息量，得到秩为k的最佳逼近矩阵，即包含原矩阵信息量超过特定阈值的近似矩阵。阈值 $\large \sigma$ 可以定义为前 k 个较大奇异值的平方和与全部奇异值平方和的比值，当 $\large \sigma$ 给定时就可以求出k 值，从而得到最佳逼近矩阵。阈值 $\large \sigma$ 的计算公式如下:

$\large \sigma = \frac{{P{}_k}}{p}\$

其中 $\large {P{}_k}\$ 为对角矩阵S的前 k 个较大奇异值的平方和, $\large P$ 为对角矩阵S所有奇异值的平方和。

大多数情况下，只需要对角阵Σ前 10%的奇异值就能够拥有原矩阵 99%以上的信息量，根据如下公式可以算出k的大小

$\large \sigma = \frac{{P{}_k}}{p} > 99\% \$

其中k是满足上式的最小整数，一般远小于m、n。

然后取出对角阵S的前 k 个奇异值构造新的对角阵 $\large {S_K}\$ ,并从U 和V中取出对应的奇异值特征向量，组成两个新的正交矩阵,组成两个新的正交矩阵 $\large {U_k}\$ 和 $\large V_k$ ,因此可以得到预测矩阵 $\large R_k$ , $\large R_k$ 是带有预测评分的矩阵近似于 $\large R'$ ,公式如下:

$\large R'\approx {R_k} = {U_k}{S_k}V_k^T$

其分解示意图如下:

上图中浅颜色表示原始数据，深颜色表示矩阵近似计算需要的数据。

3.SVD在推荐系统中的应用举例

步骤一首先构造出一个用户对于电影的评分矩阵，如下图：

步骤二对该矩阵进行分解，建议使用在线SVD计算器（下面是网址）

在线奇异值分解(SVD)http://www.yunsuan.info/cgi-bin/singular_value_decomp.py

计算之后求得对应 $\large R'$ 的非零奇异值为{ $\large \sigma _1$ = 29.3， $\large \sigma _2$ = 5.9， $\large \sigma _3$ = 3.1， $\large \sigma _4$ = 2.5， ⋯ },，由于奇异值下降的速度非常快所以矩阵的信息量集中分布在前几个较大的特征值上，我们取前两个特征值。