[推荐系统02]基于近邻的推荐

最新推荐文章于 2025-06-17 17:46:57 发布

原创最新推荐文章于 2025-06-17 17:46:57 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

rec 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了基于近邻的推荐方法，包括协同过滤、基于用户和物品的推荐策略，以及评分标准化、相似度计算和近邻选择的关键点。讨论了不同推荐策略的准确性和效率，强调了相似度计算在推荐系统中的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于近邻的推荐方法

基于近邻的推荐方法
推荐策略
近邻推荐方法的关键点

推进系统要找到的是最优项（Best Item）和最优N项（Top-N）

基本概念

符号定义说明

用户集U(user)，物品集I(item)，评价分数集合S(score)

$r_ui$ 是用户u对i的评分

$I_u$ 是用户u评分过的物品集合

$U_i$ 是对i打过分的用户集合

$I_uv$ 同时被用户u和v打过分的物品集合

$U_ij$ 同时对物品i和j打过分的用户集合

常用准确率评判指标

平均绝对误差（MAE）

$M A E (f) = 1 | R t e s t | \sum r u i \in R t e s t | f (u, i) - t u i |$ $MAE(f)=\frac{1}{|R_{test}|}\sum_{r_{ui} \in R_{test}}|f(u,i)-t_{ui}|$
均方根误差(RMSE)
$R M S E (f) = 1 | R t e s t | \sum r u i \in R t e s t (f (u, i) - t u i) 2 ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ \sqrt$ $RMSE(f)=\sqrt{\frac{1}{|R_{test}|}\sum_{r_{ui} \in R_{test}}(f(u,i)-t_{ui})^2}$
对于2元的评分用准确率召回率

协同过滤概述

如果用户u和用户v在其他物品上的评分很相似，呢么用户u对新物品i的评分和用户v对物品i的评分也是相似的
若其他用户v对物品i和j的评分相似，则用户u对对物品i和j的评分相似

基于近邻的推荐有2种方法，基于用户和基于物品

基于用户
- 评估用户u对物品i的偏好程度，利用已经对i评价过，而且和用户u有相似评级习惯的用户，把这些用户作为近邻来预测用户u对物品i的偏好
基于物品
- 基于用户u对给与物品i相似的物品的评分，来预测用户对i的评分，相似物品指的是被一些用户评价相似的物品

基于近邻的方法直接应用评分数据进行预测，基于模型的推荐利用评分来学习预测模型

基于模型的方法常用模型

贝叶斯聚类（Bayesian Clustering）
潜在语义分析（Latent Semantic Analysis）
潜在狄利克雷分布（Latent Dirichlet Allocation）
最大熵（Maximum Entropy）
玻尔兹曼机（Boltzmann Machines）
支持向量机（Support Vector Machine）
奇异值分解（Singular Value Decomposition）

基于邻近方法的优势

简单：可调参数只有一个，最近邻居数
合理性：近邻用户或相似物品给推荐结果直观的解释
高效性：相比基于模型的推荐不需要训练，但是推荐阶段消耗大于基于模型的推荐，可以离线预计算近邻提高效率
稳定性：用户，物品，评分增加的时候，对推荐结果影响较小。增加物品的评分只需要重新计算相关的评分即可，不用全局重新计算

近邻推荐方法的关键点

基于近邻方法的三个要点

评分标准化
相似度计算
近邻的选择

评分标准化

每个用户的评价标准不一样，例如一个用户喜欢打3~5分，另一个用户只打1分和5分，所以需要更一般的方法作为整体评分标准

均值中心化

思想是通过和平均分比较，得到一个正或者负的评分，最后和平均分结合得到评分
在基于用户的推荐中，预测用户评分为

$r ̂ u i = r ¯ u + \sum v \in N i ( u ) w u v ( r v i - r ¯ v ) \sum v \in N i ( u ) | w u v |$ $\hat{r}_{ui}=\bar{r}_u+\frac{\sum_{v\in N_{i}(u)}w_{uv}(r_{vi}-\bar{r}_v)}{\sum_{v\in N_{i}(u)}|w_{uv}|}$

在基于物品的推荐中，预测评分为

$r ̂ u i = r ¯ i + \sum j \in N u ( i ) w i j ( r u j - r ¯ j ) \sum j \in N u ( i ) | w i j |$ $\hat{r}_{ui}=\bar{r}_i+\frac{\sum_{j\in N_{u}(i)}w_{ij}(r_{uj}-\bar{r}_j)}{\sum_{j\in N_{u}(i)}|w_{ij}|}$

用户对物品的喜好可以用均值中心化后的评分的正负值情况，可以表明对物品的喜好厌恶程度

Z-score标准化

引入标准差，相比均值中心化移除不同平均值导致的误差，进一步考虑了不同用户不同评分范围带来的差异

基于用户的预测评分

$r ̂ u i = r ¯ u + σ u \sum v \in N i ( u ) w u v ( r v i - r ¯ v ) / σ u \sum v \in N i ( u ) | w u v |$ $\hat{r}_{ui}=\bar{r}_u+\sigma_u\frac{\sum_{v\in N_{i}(u)}w_{uv}(r_{vi}-\bar{r}_v)/\sigma_u}{\sum_{v\in N_{i}(u)}|w_{uv}|}$
在基于物品的推荐中，预测评分为

$r ̂ u i = r ¯ i + σ i \sum j \in N u ( i ) w i j ( r u j - r ¯ j ) / σ i \sum j \in N u ( i ) | w i j |$ $\hat{r}_{ui}=\bar{r}_i+\sigma_i\frac{\sum_{j\in N_{u}(i)}w_{ij}(r_{uj}-\bar{r}_j)/\sigma_i}{\sum_{j\in N_{u}(i)}|w_{ij}|}$

可能遇到的问题

用平均中心化方法，假设一个用户只给买过物品打最高分，则该用户会被错误认为是容易满足的用户，造成所有低于最高分的评分都是负分，因此对于少量评分标准化有风险
一个用户只打一个分数，导致标准差为0，也要注意处理
Z-score方法对评分比较敏感，预测分数有可能超过评分范围
另一种标准化的方法是预测相对值，用排名表示兴趣的强弱

相似度计算

作用：用于选择可信的近邻，给不同的近邻在预测中的权重
直接影响推荐系统的准确性和效率

基于关联的相似度

信息检索中，计算a，b的相似度，会表示成向量模式，然后计算向量的余弦向量相似度

$c o s (x a, x b) = x a T x b ∥ x a ∥ ∥ x b ∥$ $cos(x_a,x_b)=\frac{{x_a}^Tx_b}{ \left \| x_a \right \| \left \|x_b\right \|}$

基于物品的推荐，将用户表示为向量，则用户间相似度

$C V (u, v) = c o s (x u, x v) = \sum i \in I u v r u i r v i \sum i \in I u r 2 u i \sum i \in I v r 2 v i ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ \sqrt$ $CV(u,v)=cos(x_u,x_v)=\frac{\sum_{i\in I_{uv}}r_{ui}r_{vi}}{ \sqrt{\sum_{i\in I_u}r^2_{ui}\sum_{i\in I_v}r^2_{vi}}}$

再把评分间的均值和方法考虑进去，得到皮尔逊相关系数（Pearson Correlation，PC）

$P C (u, v) = \sum i \in I u v ( r u i - r ¯ u ) ( r v i - r ¯ v ) \sum i \in I u ( r u i - r ¯ u ) 2 \sum i \in I v ( r v i - r ¯ v ) 2 ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ \sqrt$ $PC(u,v)=\frac{\sum_{i\in I_{uv}}(r_{ui}-\bar r_u)(r_{vi}-\bar r_v)}{ \sqrt{\sum_{i\in I_u}(r_{ui}-\bar r_u)^2\sum_{i\in I_v}(r_{vi}-\bar r_v)^2}}$

同理基于用户的推荐计算物品相似度

$P C (i, j) = \sum u \in U i j ( r u i - r ¯ i ) ( r u j - r ¯ j ) \sum u \in U i j ( r u i - r ¯ i ) 2 \sum u \in U i j ( r u j - r ¯ j ) 2 ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ \sqrt$ $PC(i,j)=\frac{\sum_{u\in U_{ij}}(r_{ui}-\bar r_i)(r_{uj}-\bar r_j)}{ \sqrt{\sum_{u\in U_{ij}}(r_{ui}-\bar r_i)^2\sum_{u\in U_{ij}}(r_{uj}-\bar r_j)^2}}$

皮尔逊系数正反表示正相关或负相关的强度

利用皮尔逊系数和先做Z-score再做余弦相似不一样！！！因为皮尔逊考虑的是用户评分交集的标准差，不是全部

其他的度量相似度的方法

均方差（Mean Squared Difference），使用用户u，v对相同物品评分差的平方和的均值的倒数作为用户相似度

$M S D (u, v) = | i u v | \sum i \in I u v ( r u i - r v i ) 2$ $MSD(u,v)=\frac{|i_{uv}|}{\sum_{i\in I_{uv}}(r_{ui}-r_{vi})^2}$

近邻的选择

一般分2步，先用全局过滤保持最有可能近邻，再在预测的每一步中都选最合适的近邻

过滤预选近邻

不会存储所有用户的非零相似度，因此需要取一小部分有重要影响的作为推荐依据

Top-N过滤
选取最近的n个作为依据，如果n选的大，需要大量内存存储，预测性能下降。如果n选的太小，会降低推荐的覆盖，导致一些物品永远无法被推荐

阈值过滤

给定相似度阈值，但是确定阈值又成问题

负值过滤

一般情况负关联性比正关联性的可靠性要差，正相关表达是用一个团体的，但是负相关对于不同团体却无法衡量，也没有不同团体差异的信息。因此过滤掉负相关也是一种手段

用于预测的近邻数：k