Learning to rank总结

最新推荐文章于 2025-04-21 22:55:10 发布

原创

最新推荐文章于 2025-04-21 22:55:10 发布 · 1.3k 阅读

3 ·

CC 4.0 BY-SA版权

本文深入探讨了Learning to Rank中的Ranknet、LambdaRank和LambdaMART算法，从成本函数、模型参数更新到实际应用。Ranknet通过Pairwise方法训练模型，LambdaRank关注Top K的排序效果，调整代价函数，而LambdaMART则是通过梯度提升建立回归树的加法模型，实现Listwise的优化。文章总结了各种方法的特点及其在排序问题中的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Ranknet

在使用搜索引擎的过程中，对于某一Query(或关键字)，搜索引擎会找出许多与Query相关的URL，然后根据每个URL的特征向量对该URL与主题的相关性进行打分并决定最终URL的排序，其流程如下：
这里写图片描述
排序的好坏完全取决于模型的输出，而模型又由其参数决定，因而问题转换成了如何利用带label的训练数据去获得最优的模型参数w。Ranknet提供了一种基于Pairwise的训练方法。

1、Cost function

预测相关性概率

对于任意一个URL对(Ui,Uj)，模型输出的score分别为si和sj，那么根据模型的预测，Ui比Uj与Query更相关的概率为 $P_{ij}=P(U_i>U_j)=\frac{1}{1+e^{-\sigma(s_i-s_j)}}$ ，其中 $\sigma$ 是个参数。

真实相关性概率

定义真实相关性概率为 $\overline{P_{ij}}=\frac{1}{2}(1+S_{ij})$ ，对于训练数据中的Ui和Uj，它们都包含有一个与Query相关性的真实label，如果Ui比Uj更相关，那么Sij=1；如果Ui不如Uj相关，那么Sij=−1；如果Ui、Uj与Query的相关程度相同，那么Sij=0。

代价函数定义

$C(\overline{P_{ij}},P_{ij})$

$=-\sum_{U_i>U_j,U_i<U_j,U_i=U_j}\overline{P_{ij}}logP_{ij}$

$=-\overline{P_{ij}}logP_{ij}-(1-\overline{P_{ij}})log(1-P_{ij})-\frac{1}{2}log\frac{1}{2}$

$=-\overline{P_{ij}}logP_{ij}-(1-\overline{P_{ij}})log(1-P_{ij})$
化简如下：

下图展示了

CijCij $C_{ij}$ 随

Pij⎯⎯⎯⎯⎯⎯、PijPij¯、Pij $\overline{P_{ij}}、P_{ij}$ 的变化情况：

图中t表示

si−sjsi−sj $s_i−s_j$ ，可以看到当

Sij=1Sij=1 $S_{ij}=1$ 时，模型预测的

si比sjsi比sj $s_i比s_j$ 越大，其代价越小；

Sij=−1Sij=−1 $S_{ij}=−1$ 时，

sisi $s_i$ 比

sjsj $s_j$ 越小，代价越小；

Sij=0Sij=0 $S_{ij}=0$ 时，代价的最小值在

sisi $s_i$ 与

sjsj $s_j$ 相等处取得。该代价函数有以下特点：
1)当两个相关性不同的文档算出来的模型分数相同时，损失函数的值大于0，仍会对这对pair做惩罚，使他们的排序位置区分开
2)损失函数是一个类线性函数，可以有效减少异常样本数据对模型的影响，因此具有鲁棒性

总代价

$C=∑_{(i,j)∈I}C_{ij}$ ，I表示所有URL pair的集合，对于 $(i,j)\in I$ 的pair，i>j，即 $S_{ij}=1$ 。

2、梯度下降更新模型参数W

$w_k:=w_k-\alpha\frac{dC}{dw_k}$

$\frac{dC}{dw_k}=\sum_{(i,j)\in I}(\frac{dc_{ij}}{ds_i}\frac{ds_i}{dw_k}+\frac{dc_{ij}}{ds_j}\frac{ds_j}{dw_k})$

$\frac{dC_{ij}}{ds_i}=\sigma(\frac{1}{2}(1-s_{ij})-\frac{1}{1+e^{\sigma(s_i-s_j)}})=-\frac{dC_{ij}}{ds_j}=\lambda_{ij}$

$\frac{dC}{dw_k}=\sum_{(i,j)\in I}(\lambda_{ij}\frac{ds_i}{dw_k}-\lambda_{ij}\frac{ds_j}{dw_k})=\sum_{(i,j)\in I}\lambda_{ij}(\frac{ds_i}{dw_k}-\frac{ds_j}{dw_k})$