排序主要的三种损失函数（pointwise、pairwise、listwise）

已于 2023-12-30 18:21:02 修改
阅读量2k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： LLM RL/强化学习 文章标签： 人工智能
于 2023-08-04 14:20:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013250861/article/details/132103617
本文详述排序问题中的三种主要损失函数：Pointwise、Pairwise和Listwise。Pointwise将排序简化为分类或回归问题，忽视文档间相对顺序；Pairwise通过两两比较改进，但仍存在与实际排序效果不符的问题；Listwise直接优化NDCG等指标，但训练复杂度高，未充分利用位置信息。

本篇文章主要介绍三种损失函数，pointwise、pairwise、listwise。

1. 单点法（Pointwise）

释义

Pointwise 仅考虑单个query和document的关系，会把将问题转化为多分类或回归问题，对于分类问题，正负例可以通过用户的点击来构造。

示例

对于如下数据，我们可以使用二分类训练模型，数据之间没有影响关系。

缺点

  • Pointwise 完全从单文档的分类角度计算，没有考虑文档之间的相对顺序。所有正样本之间的相关性，是不会考虑（比如用户搜索「刘亦菲」，「刘亦菲百度百科」要好于「刘亦菲已出道10年」，但是point wise却无法分别），同样所有的负样本之间的相关性也是不会考虑的。然而排序追求的是排序结果，并不要求精确打分。
  • 损失函数中没有引入url排序的位置信息，因此，损失函数可能会过多强调那些不重要的结果，即那些排序在后面对用户体验影响小的结果。

2.配对法（Pairwise）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
推荐系统中损失函数梳理：从Pointwise到Listwise
cmdos的专栏
10-03 72
推荐系统中的损失函数梳理：从Pointwise到Listwise 引言：目标决定损失函数选择 推荐系统通常采用两阶段架构：召回（Recall）与精排（Ranking）。两个阶段的优化目标存在本质差异，这直接决定了损失函数的选择。 召回阶段从海量候选集（百万至亿级）中筛选出数百至数千个候选物品。这一阶
排序算法常用损失函数
XDfans的博客
03-08 1385
listwise排序损失函数
【推荐】pairwise、pointwise 、 listwise算法是什么?怎么理解？主要区别是什么？
凝眸伏笔的博客
05-11 4万+
写在前面：写博客当成了学习笔记，容易找到去完善，不用于商业用途。通过各种途径网罗到知识汇总与此，如有侵权，请联系我，我下掉该内容~~ 1.搜索推荐中pairwise方法的适用性 参考： 1.https://mp.weixin.qq.com/s/IJ3x02KTW7NAocGb1sjRgg 2.https://segmentfault.com/a/1190000019370...
再谈排序算法的pairwise，pointwise，listwise
Kaiyuan_sjtu的博客
03-21 4574
NewBeeNLP·干货作者：DOTA 大家好，这里是 NewBeeNLP。最近因为工作上的一些调整，好久更新文章和个人的一些经验总结了，下午恰好有时间，看了看各渠道的一些问题和讨论，看到一个熟悉的问题，在这里来分享一下。在排序算法里有三种优化目标：pairwise，pointwise，listwise，每个方法都有其优缺点。pairwise是每次取一对样本，预估这一对样本的先后顺序，不断...
排序模型训练中过程中的损失函数，盘它！
Thinkgamer博客
03-12 8505
转载请注明出处：http://blog.youkuaiyun.com/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 公众号：搜索与推荐Wiki 个人网站：http://thinkgamer.github.io 损失函数是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值...
排序-损失函数03：List-wise loss
u013250861的博客
12-30 1851
同理，这里的计算复杂度为n ∗ ( n − 1 ) ∗ ( n − 2 ) ∗ . . . ∗ ( n − k + 1 ) n∗(n−1)∗(n−2)∗…∗(n−k+1)，即为N!例如有三个文档π = < 1 , 2 , 3 > \pi = π= ，其排序函数计算每个文档得分为s = ( s 1 , s 2 , s 3 ) s=(s_1, s_2, s_3)s=(s。排在第一位的有n nn 种情况，排在第二位的有n − 1 n−1n−1 种情况，后面依次类推。
排序之损失函数List-wise loss(系列3)
AI蜗牛之家
03-01 5818
在pointwise 中，我们将每一个 作为一个训练样本来训练一个分类模型。这种方法没有考虑文档之间的顺序关系；而在pariwise 方法中考虑了同一个query 下的任意两个文档的相关性，但同样有上面已经讲过的缺点；在listwise 中，我们将一个 作为一个样本来训练。 论文中还提出了概率分布的方法来计算listwise 的损失函数。并提出了permutation probability 和top one probability 两种方法。下面会详述这两种方法。
排序之损失函数pair-wise loss(系列2)
AI蜗牛之家
08-22 1万+
Ranking Loss被用于很多领域和神经网络任务中（如 Siamese Nets 或 Triplet Nets），这也是它为什么拥有 Contrastive Loss、Margin Loss、Hinge Loss 或 Triplet Loss 等这么多名字的原因。 1.Ranking Loss 函数：度量学习 像 Cross-Entropy Loss 或 Mean Squear Error Loss 这些 Loss 函数，它们的目的是为了直接预测一个标签或一个值，而 Ranking Loss 的目的是为
推荐系统：排序算法（pointwise,pairwise,Listwise）
rosefun96的博客
01-07 1万+
1. 概念 排序学习是机器学习在信息检索系统里的应用，其目标是构建一个排序模型用于对列表进行排序。 2. 排序方法 2.1 Pointwise 方法 Pointwise方法是通过近似为回归问题解决排序问题，将每个查询-文档对的相关性得分作为实数分数或者序数分数，训练排序模型。预测时候对于指定输入，给出查询-文档对的相关性得分。 模型在参数训练阶段只考虑对每个<用户，物品>独立的打分，...
机器学习----pointwise，pairwise，listwise
weiwei935707936的博客
11-06 1559
Pointwise： 把排序问题当二分类问题 输入样本：三元组（q，c，y） q：查询题目 c：查询结果（候选答案当中的一个） y：判断c是否为q的正确答案（0<y<1） 训练阶段：对于一个q 结果正确：c=1 结果错误：c=0 损失函数：交叉熵 测试阶段： 二分类模型h：预测每一个候选结果 argmax：取得最佳结果 Pairwise： 考虑查询结果之间的关系 输入样本：三元组（q，c+，c-） q：查询题目 c+：正确查询结果（候.
[nlp] pointwise,pairwise,listwise
心宝的博客
08-29 649
虽然pointwise广泛应用但是，但是不接近真实的排序。pairwise和listwise应用了基于候选句子排序的事实。Bian 证明在 TrecQA 和 WikiQA数据集中 listwise 优于 pointwise。
如何将NDCG、MAP、MRR等指标应用到pointwise、pairwise、listwise的训练效果评估中去？
最新发布
06-19
我们之前已经详细讨论了pointwise、pairwise、listwise三种方法以及对应的评估指标（NDCG,MAP,MRR）。现在用户的问题聚焦于：如何用这些指标（NDCG,MAP,MRR）来评估三种模型的训练效果。注意，用户特别引用了三段...
排序-损失函数02：pair-wise loss
u013250861的博客
12-30 2206
Siamese 网络由 2 个相同的共享参数的 CNN 组成（两个 CNN 的参数相同），每一个 CNN 处理一张图片，生成两张图片的表征，接着计算两个表征的距离，最后，使用 Pairwise Ranking Loss 来训练该网络。相似图片产生的表征的距离很小，而不相似图片的距离较大。我们用r a r_ar。训练 Triplet Ranking Loss 的重要步骤就是负样本的选择，选择负样本的策略会直接影响模型效果，很明显，Easy Triplets 的负样本需要避免，因为它们的 loss 为 0。
浅谈Pointwise/Pairwise/Listwise模型
hellozhxy的博客
10-08 1679
在搜索场景下，Learning-to-Rank大致可以分为Pointwise/Pairwise/Listwise三种不同的机器学习建模范式。第一次接触这些模型是在上学的时候，最近由于做项目的原因重新温习了一下，顺便追了一下最新的进展，简单写一下，就当记录和科普吧。
排序学习PointWise、PairWise、ListWise
goldfish3的博客
12-27 1541
排序学习 —— 通过机器学习的方法帮助排序 最早用于信息检索，比如给定搜索的内容，返回相应的文档，那么如何决定返回文档的顺序呢？这就需要排序学习~ PointWise： 在PointWise方法下，每个item对应于一个类别，排序问题就可以被看成是一个分类问题。 一般来说，每个item会被转化成特征向量，向量里包含一些特征，比如PageRank分数，关键字出现次数等信息，将特征向量输入分类器（...
损失函数总结
sylviiiiiia的博客
04-19 883
在信息论中，熵代表着信息量，H ( P ) H§H§代表着基于P PP分布自身的编码长度，也就是最优的编码长度（最小字节数）。KL散度的理论意义在于度量两个概率分布之间的差异程度，当KL散度越大的时候，说明两者的差异程度越大；MarginRankingLoss（边际排序损失）是一种用于学习排序模型的损失函数，常用于训练具有排序目标的模型，目标是将正样本的预测得分（正例）与负样本的预测得分（负例）之间的差异最大化，同时保持一定的边际（margin）。其中，y为标签，取值为1或-1，表示正样本或负样本；
学习排序 Learning to Rank 小结
热门推荐
nanjunxiao的专栏
05-26 8万+
学习排序（Learning to Rank） LTR（Learning torank）学习排序是一种监督学习（SupervisedLearning）的排序方法。LTR已经被广泛应用到文本挖掘的很多领域，比如IR中排序返回的文档，推荐系统中的候选产品、用户排序，机器翻译中排序候选翻译结果等等。IR领域传统的排序方法一般通过构造相关度函数，然后按照相关度进行排序。影响相关度的因素很多，比如上面提到的
【知识学习/复习】损失函数篇，包含理解应用与分类：回归、分类、排序、生成等任务
weixin_62371528的博客
04-29 2401
损失函数在图像分类、目标检测、语义分割、自然语言处理、图神经网络和生成式网络中的应用。深入了解回归任务中的核心损失函数，包括IoU及其衍生的GIoU、DIoU和CIoU，以及其他创新变体，如何通过损失函数优化模型性能，提升预测准确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值