RankNet,LambdaRank,LambdaMART详细解释

最新推荐文章于 2025-09-15 11:09:33 发布

转载最新推荐文章于 2025-09-15 11:09:33 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/MSR-TR-2010-82.pdf

推荐系统同时被 2 个专栏收录

44 篇文章

订阅专栏

经典机器学习

16 篇文章

订阅专栏

本文探讨了从RankNet到LambdaRank再到LambdaMART的机器学习排序算法演进过程，详细解析了算法原理，包括损失函数、推力概念及特征选择，并对比了不同算法在计算效率和排序精度上的差异。

RankNet与LambdaRank

Sij=1表示i应该排在j前面（i和Query得相关性，比j和Query得相关性更大）

横轴t是 $s_{i}-s_{j}$ ；纵轴C是损失函数；

样本是2个Query-Doc Pair；Label是二值0/1, 表示 $x_{i}$ 是否比 $x_{j}$ 更相关；

机器学习排序算法：RankNet to LambdaRank to LambdaMART

所以对于 $s_{i}$ 而言， $\lambda _{ij}$ 总是小于0的， $s_{i}-s_{j}$ 越小，C越大，梯度越负得厉害，对 $s_{i}$ 的向大里推得动力越大；

RankNet中的 $\lambda _{ij}$ 可以看成是Ui和Uj中间的作用力，如果Ui⊳Uj，则Uj会给予Ui向上的大小为| $\lambda _{ij}$ |的推动力，而对应地Ui会给予Uj向下的大小为| $\lambda _{ij}$ |的推动力。

2.2里面的例子，很好，但是计算出的 $\lambda _{3}$ 好像是错的，应该是正数，给向下的推力

LambdaRank就是在RankNet的基础上，增加了|ΔNDCG|做系数，使推力和位置有关（着重靠前位置的准确性）(交换后排序的NDCG与交换前排序的NDCG的差值)

LambdaRank使用了NDCG，所以从Pair-wise变成了List-wise

求解LambdaMART的疑惑？

RankNet使用每2个Doc来更新一次梯度，总共更新O(N^2)次；

LambdaRank把式子继续推导下去，每轮先计算好N个Doc两两之间的 $\lambda _{ij}$ , 然后对每个Doc更新一次梯度，总共更新O(N)次；

From RankNet to LambdaRank to LambdaMART: An Overview

LambdaRank损失函数：

LambdaRank是一个Query的DOC列表，进行一次网络参数更新；LambdaMART是对所有Query的所有列表，同时建弱分类器MART树；

LambdaMART：一个Query-Doc叫 $x_{i}$ ，Query-Doc的相关性叫 $s_{i}$ , GBDT弱分类器树在 $x_{i}$ 上的评价值的加和，就是F( $x_{i}$ ) （也就是 $s_{i}$ ); $x_{i}$ 和同一列表的不如它相关性大的Query-Doc $x_{j}$ 的损失函数是C，同一列表里所有 $x_{j}$ 的C的加和就是 $x_{i}$ 的总损失函数C( $x_{i}$ ); C( $x_{i}$ )对 $s_{i}$ 求导结果就是 $\lambda _{i}$ ；然后C( $x_{i}$ )对 $s_{i}$ 求二阶导；最后套用牛顿迭代的公式，用分在该结点上的所有 $x_{i}$ 们的一阶导和二阶导，得到该节点上的最优预测值r; 这个求得的最优预测值r，可以使得这些 $x_{i}$ 们的F( $x_{i}$ )+r也就是新预测值 $s_{i}$ 们的损失函数值C们之和最小；

预测阶段，来了一个Query，所有候选 $x_{i}$ 们都输入到GBDT里面去求得预测结果值（也就是相关性值）F( $x_{i}$ )们，从大到小排序，选前N个，输出；

LambdaMART拟合每个Query-Doc的相关性 $s_{i}$ ，目标是让他和同一列表里其他Doc形成的损失函数总值C[i]最小，具体到一个叶子节点，就是让落到该叶子节点的样本们的C[i]之和最小；每一棵树训练完，都要重新计算所有样本的 $s_{i}$ 和相关的一阶导和二阶导（计算这些数据需要ListWise来做，这点和PointWise的GBDT不同），用这些数据去训练下一棵树；

LambdaMART所用的特征

使用LTR时会选取一系列文本特征，利用机器学习方法很好的融合到一个排序模型中，来决定最终结果的顺序，其中每一个特征我们称为一个“feature”。对于一个网页文本，feature所在的文档区域可以包括body域，anchor域，title域，url域，whole document域等。

文档的feature又可以分为两种类型：一是文档本身的特征，比如Pagerank值、内容丰富度、spam值、number of slash、url length、inlink number、outlink number、siterank等。二是Query-Doc的特征：文档对应查询的相关度、每个域的tf、idf值，bool model，vsm，bm25，language model相关度等。

综合上述的文档feature的两种类型和位于文档的不同域，我们可以组合出很多feature，当然有些feature是正相关有些是负相关，这需要我们通过学习过程去选取优化。

影响网页排序的因素：

查询词与文档的相关性
链接分析得到网页本身的权重，这个一般跟查询词无关
用户点击得到的权重
竞价推广。