矩阵分解(MF,SVD)和协同过滤(CF)

浅梦s

已于 2022-10-01 15:53:20 修改

阅读量1.8w

点赞数 5

CC 4.0 BY-SA版权

分类专栏：机器学习推荐系统文章标签：矩阵机器学习线性代数

于 2017-08-30 15:08:54 首次发布

本文链接：https://blog.youkuaiyun.com/u012151283/article/details/77716085

本文介绍了协同过滤(CF)的基本思想，强调其在推荐系统中的作用。接着详细探讨了矩阵分解(MF)中的奇异值分解(SVD)，包括SVD的定义、应用和如何用于主成分分析(PCA)。通过SVD进行低秩矩阵分解，解决了评分矩阵的缺失值问题，适用于大规模数据集的推荐算法。此外，还介绍了概率矩阵分解(PMF)的生成模型、模型推断以及最大后验概率MAP的优化过程。

协同过滤Collaborative Filtering

使用用户历史的行为来做未来的推荐。忽略了关于用户或item的先验信息。

CF使用与我相似的用户的评分来预测我的评分
CF是领域无关的，不需要知道现在在对什么评分，谁在评分，评分是多少

一种CF方法称为基于邻域的方法。例如

定义一个相似度评分，基于用户之间评分的重叠度
基于相似度评分，使用邻域内的评分来为我喜欢的item打分

过滤方法并不是互斥的。内容信息可以被添加到协同过滤系统来提升性能。

矩阵分解MF

这里写图片描述

SVD

我们知道矩阵的特征分解可以将矩阵分解成一组特征向量和特征值。
现在介绍另一种矩阵分解的方法，称为奇异值分解，将矩阵分解为奇异向量和奇异值。
每个实数矩阵都有一个奇异值分解，但不一定都有特征分解。例如，非方阵的矩阵没有特征分解，这时只能用奇异值分解。
在特征分解中，我们可以将矩阵M写作 $M=Vdiag(\lambda)V^{-1}$ 。
奇异值分解中，将矩阵M分解成 $M=USV^T$ ，这里U和V都是正交矩阵，S是对角矩阵（S不一定是方阵）。
矩阵S对角线上的元素被称为矩阵M的奇异值。
矩阵U的列向量被称为左奇异向量。矩阵V的列向量被称为右奇异向量。
事实上，M的左奇异向量是 $MM^T$ 的特征向量。M的右奇异向量是 $M^TM$ （协方差矩阵）的特征向量。M的非零奇异值是 $M^TM$ 的特征值的平方根，同时也是 $MM^T$ 的特征值的平方根。
证明
对于正交矩阵有 $A^{-1}=A^T$
$MM^TU=USV^TVS^TU^T=US^2=S^2U$ ，所以U的列向量是 $MM^T$ 的特征向量。