深入理解D2L项目中的推荐系统个性化排序技术-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01077/article/details/148362157

深入理解D2L项目中的推荐系统个性化排序技术

d2l-en d2l-ai/d2l-en: 是一个基于 Python 的深度学习教程，它使用了 SQLite 数据库存储数据。适合用于学习深度学习，特别是对于需要使用 Python 和 SQLite 数据库的场景。特点是深度学习教程、Python、SQLite 数据库。项目地址: https://gitcode.com/gh_mirrors/d2/d2l-en

推荐系统作为信息过滤的重要手段，在现代互联网应用中扮演着关键角色。本文基于D2L项目中的推荐系统章节，重点探讨个性化排序技术，帮助读者深入理解这一核心概念。

从显式反馈到隐式反馈的演进

传统推荐系统主要依赖显式反馈数据（如用户评分），但这种方法存在两个显著缺陷：

数据获取成本高：显式反馈需要用户主动参与，收集难度大且数据稀疏
信息利用不充分：系统无法有效处理未观测到的用户-物品交互，而这些数据可能包含重要信息

未观测到的交互实际上包含两种可能：

真实负面反馈（用户确实不感兴趣）
潜在正面反馈（用户尚未发现该物品）

个性化排序的三大方法

1. 逐点方法(Pointwise)

每次考虑单个交互，训练分类器或回归器预测个体偏好。矩阵分解和AutoRec等经典算法采用此方法。

特点：

实现简单
直接预测绝对偏好
不适合排序任务本质需求

2. 配对方法(Pairwise)

同时考虑物品对，学习相对排序关系。更适合推荐系统的排序本质。

代表算法：

贝叶斯个性化排序(BPR)
铰链损失(Hinge Loss)

3. 列表方法(Listwise)

直接优化整个物品列表的排序，如NDCG等指标。

特点：

最符合实际需求
计算复杂度高
实现难度大

贝叶斯个性化排序(BPR)详解

BPR是一种基于最大后验估计的配对排序损失函数，其核心思想是：用户偏好的物品应排在非偏好物品之前。

数学推导

训练数据形式为$(u,i,j)$三元组，表示用户$u$偏好物品$i$胜过$j$。

后验概率公式： $$ p(\Theta \mid >_u ) \propto p(>_u \mid \Theta) p(\Theta) $$

最终优化目标： $$ \sum_{(u,i,j \in D)} \ln \sigma(\hat{y}{ui} - \hat{y}{uj}) - \lambda_\Theta |\Theta |^2 $$

代码实现

class BPRLoss(gluon.loss.Loss):
    def __init__(self, weight=None, batch_axis=0, **kwargs):
        super(BPRLoss, self).__init__(weight=None, batch_axis=0, **kwargs)

    def forward(self, positive, negative):
        distances = positive - negative
        loss = - np.sum(np.log(npx.sigmoid(distances)), 0, keepdims=True)
        return loss

铰链损失(Hinge Loss)解析

推荐系统中使用的铰链损失与分类任务中的标准铰链损失有所不同，其公式为：

$$ \sum_{(u,i,j \in D)} \max(m - \hat{y}{ui} + \hat{y}{uj}, 0) $$

其中$m$为安全边际大小，目的是增大正负样本间的距离。

实现代码

class HingeLossbRec(gluon.loss.Loss):
    def __init__(self, weight=None, batch_axis=0, **kwargs):
        super(HingeLossbRec, self).__init__(weight=None, batch_axis=0, **kwargs)

    def forward(self, positive, negative, margin=1):
        distances = positive - negative
        loss = np.sum(np.maximum(- distances + margin, 0))
        return loss