推荐算法学习笔记1.2:传统推荐算法-矩阵分解算法

1.2 矩阵分解算法

基于共线矩阵的协同过滤算法能够通过用户的历史信息产生推荐列表，可是又受到现实中共现矩阵存在的稀疏性以及头部效应的制约。于是基于矩阵分解的算法，通过将共现矩阵进行分解，将原本的高维表示向量（用户向量和物品向量）嵌入到稠密低维空间，从而实现以 向量内积（评分） 为推荐判断标准的方法。

矩阵分解算法：（A:共线矩阵→U:用户矩阵 V: 物品矩阵）

a. 特征分解（只能用于方阵）。

b.奇异值分解（时间复杂度高$O(m{n}^2)$。但已有处理稀疏矩阵的方法，但受制于现实共现矩阵维度非常高）

c. 基于梯度下降的共线矩阵分解（✔）。

基于梯度下降的共线矩阵分解：

值得注意的是，基于矩阵分解的算法，是将用户$u_i$对物品$v_j$的原始评分$s_{(}i,j)$分解成用户向量${\text{u}}_i$和物品向量${\text{v}}_j$的内积。

于是我们将这一思想沿用，并作为目标函数，即在k维向量空间中寻找n个用户的向量表示 U = { u i ∣ i = 1 , . . . , n } \textbf{U}=\{\textbf{u}_i|i=1,...,n\} U={ui​∣i=1,...,n}以及m个物品的向量表示 V = { v j ∣ j = 1 , . . . , m } \textbf{V}=\{\textbf{v}_j|j=1,...,m\} V={vj​∣j=1,...,m}, 使得下列目标函数(含正则项，避免过拟合)最小化（为了简化公式表示，暂时默认所有评分值都存在，当不存在时可以不计算对应部分）：

$$mi{n}_{\mathbf{U},\mathbf{V}}f(\mathbf{U},\mathbf{V})=\sum _{i=1,\dots ,n;j=1,\dots ,m}(s(i,j)-{{\mathbf{u}}_{\mathbf{i}}}^T{\mathbf{v}}_{\mathbf{j}}{)}^2+\lambda \sum _{i=1,\dots ,n}||{\mathbf{u}}_i|{|}^2+\lambda \sum _{j=1,\dots ,m}||{\mathbf{v}}_j|{|}^2$$

其中$||\ast ||$表示向量的二范数。

为了进行梯度下降，我们对目标函数进行求导，可得，

$$\frac{\partial f}{\partial {\mathbf{u}}_i}=2\lambda {\mathbf{u}}_i+\sum _{j=1,\dots ,m}2(s(i,j)-{\mathbf{u}}_i^T{\mathbf{v}}_j){\mathbf{v}}_j$$

$$\frac{\partial f}{\partial {\mathbf{v}}_j}=2\lambda {\mathbf{v}}_j+\sum _{i=1,\dots ,n}2(s(i,j)-{\mathbf{u}}_i^T{\mathbf{v}}_j){\mathbf{u}}_i$$

在实际应用中，不同商品的评分标准和不同用户的评分标准可能存在差异，所以我们添加上全局偏差$\mu$，各个用户i的偏差${\mu }_{ui}$以及各个物品j的偏差${\mu }_{vj}$进目标函数。即建模拟合问题为，

$$\hat{s}(i,j)=\mu +{\mu }_{ui}+{\mu }_{vj}+{\mathbf{u}}_i^T{\mathbf{v}}_j$$

算法总结：

• 优点：泛化能力得到了增强（易于表达未知用户-商品对的评分），在一定程度上解决了数据稀疏问题（e.g. 稀疏向量推荐误差）。空间复杂度比共线矩阵低：$O(k\times (n+m))$。具有更好的扩展性和灵活性（相当于将用户的历史数据进行了Embedding），有利于结合深度学习。
• 缺点：该算法与协同过滤算法一样，无法结合用户的个人信息以及物品的属性，上下文相关特征，当用户历史信息缺失时，无法进行有效推荐。

附录：

附1，SVD分解基本思路：

存在一个$n\times m$矩阵$\mathbf{A}$， 由于${\mathbf{AA}}^T$是实对称矩阵，实对称矩阵一定可以进行特征分解，则利用特征分解分解${\mathbf{AA}}^T$得到奇异值和$\mathbf{U}$矩阵，再利用奇异值和${\mathbf{A}}^T\mathbf{A}$得到$\mathbf{V}$矩阵。