几种推荐系统领域解决排序问题的损失函数

最新推荐文章于 2025-11-20 17:29:01 发布
转载 最新推荐文章于 2025-11-20 17:29:01 发布 · 5.2k 阅读 · 6

博客介绍了loss的公式为误差加正则，列举了多种Loss Term，如0 - 1 loss、Hinge、Log、Squared loss、Exponential loss等，还介绍了top1 loss这种启发式组合损失函数，由两部分组成，以及BPR loss，其目标是使正样本与负样本之差尽可能最大。
部署运行你感兴趣的模型镜像

loss=误差+正则

http://www.cnblogs.com/rocketfan/p/4083821.html

1.1 Loss Term

  • Gold Standard (ideal case)：0-1 loss, 记录分类错误的次数
  • Hinge (SVM, soft margin)
  • Log (logistic regression, cross entropy error)
  • Squared loss (linear regression)
  • Exponential loss (Boosting)

 

top1 loss:

这是一种启发式的组合损失函数，由两个部分组成：第一部分旨在将目标分数提升到样本分数以上，而第二部分则将负样本的分数降低到零。第二部分其实就是一个正则项，但是并没有直接约束权重，它惩罚了负样本的得分。因为所有的物品都有可能作为某一个用户的负样本。具体公式如下

在这里插入图片描述

这里j对应负样本（未观测到的），i对应正样本

BPR loss:使正样本与负样本之差尽可能最大

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

GPT-oss:20b

GPT-oss:20b

图文对话
Gpt-oss

GPT OSS 是OpenAI 推出的重量级开放模型，面向强推理、智能体任务以及多样化开发场景

推荐系统中的pointwise和pairwise区别
weixin_43646592的博客
04-18 4212
 推荐系统中常用的两种优化损失函数的机器学习范式：pointwise loss和pairwise loss。 Pointwise 方法  Pointwise方法是通过近似为回归问题解决排序问题，输入的单条样本为得分-文档，将每个查询-文档对的相关性得分作为实数分数或者序数分数，使得单个查询-文档对作为样本点(Pointwise的由来)，训练排序模型。预测时候对于指定输入，给出查询-文档对的相关性得分。 pairwise loss :  最小化预测输出与目标值之间的平分损失，具体处理是在处理负样本时：把未观察
搜索领域重排序：解决搜索结果偏差的问题
AI天才研究院
05-02 1243
在当今信息爆炸的时代，搜索引擎成为人们获取信息的重要工具。然而，搜索结果往往存在偏差，不能准确满足用户的需求。搜索结果偏差可能表现为相关性低、重要信息缺失、排序不合理等问题。搜索领域重排序技术的目的就是对初始搜索结果进行二次排序，以纠正偏差，提高搜索结果的质量和相关性，为用户提供更精准、更有用的信息。
推荐系统损失函数
qq_40341502的博客
07-14 1746
推荐系统损失函数
在推荐系统中，BPRloss、Embloss、CrossEntropyloss是怎么计算的，代表的意义是什么
L_goodboy的博客
10-24 4927
在推荐系统中，BPRloss、Embloss、CrossEntropyloss是怎么计算的，代表的意义是什么；是如何计算的
推荐系统中损失函数梳理：从Pointwise到Listwise
最新发布
moshou2的博客
11-20 890
仲僚伺伺在深度学习中，优化器（Optimizer）是连接模型与数据的桥梁，它负责根据损失函数的梯度来更新模型的参数，以期找到一组能最小化损失的“最优解”。NAG 对经典动量做了一个聪明的修改：它不计算当前点的梯度，而是先“预估”一下按照当前动量会走到哪里，然后在那个“未来”的点计算梯度，再用这个梯度来修正最终的步进方向。MBGD 相对 SGD：用小批量平均来估计梯度，有效降低了梯度估计的方差，使得收敛更稳定，同时充分利用了现代计算硬件（如GPU）的并行计算能力，提升了训练吞吐量。无悬念首选 AdamW。
推荐系统笔记（十）：InfoNCE Loss 损失函数
qq_46006468的博客
07-30 3万+
InfoNCELoss是为了将N个样本分到K个类中，K
推荐系统 Raking Loss Function
给我也整一个
03-07 9342
推荐系统领域的两个问题：Raking 和 Rating。对于排序问题来讲，最常见的就是Top-N推荐；评分预测问题包含很多种，这里就不做详细介绍。不同的问题会对应不同的损失函数，下面介绍几种推荐系统领域解决排序问题的几种损失函数。 ...
构建推荐系统的相似检索技术：从距离度量到深度学习的快速了解
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
11-04 10万+
相似检索方法是一种用于从大量数据中找到与查询数据相似的数据项的技术。这种方法通常用于信息检索、推荐系统、图像处理、自然语言处理等领域。相似检索主要方法可以总体分为以下几类：这些方法各自有其适用的场景和特点，选择合适的相似检索方法取决于应用的需求、数据类型和性能要求。通常，研究和实践中会根据具体情况采用不同的方法或它们的组合来解决相似检索问题。
深入浅出推荐系统（八）：排序：目标引领方向
muruan08的博客
03-21 991
如果非要在推荐系统里找出机器学习最能大展拳脚的领域，那一定是排序部分。只有模型化的排序，才可能为广告系统和排序系统带来大的收益。由于排序模型在推荐和广告领域有着举足轻重的地位。本章里，我们不谈具体排序方法，先从整体对排序模型进行概要了解。
推荐系统中的排序概述
m0_37531129的博客
03-16 2341
推荐系统中的排序学习1.为什么需要排序学习1.1 排序学习在推荐领域的重要作用2.排序学习框架2.1.基本流程2.2.特征提取2.3.标签获取2.3.1人工标注2.3.2 日志抽取3.排序学习设计方法3.1.单点法（Pointwise）推荐领域的 Pointwise 排序学习3.2 配对法（Pairwise）Pointwise与Pairwise的结合方案3.3 列表法（Listwise） 排序学习（Learning to Rank，LTR），也称机器排序学习（Machine-learned Ranking，
推荐系统专题 | 单域推荐系统模型汇总（召回与排序算法）
Clichong
07-19 1201
许久没有写博客记录笔记，最近在看推荐系统的相关模型，网站的资料以及非常完善了，这里用这篇博客来汇总推荐系统中一些经典的排序模型（推荐系统从算法层面上可以细分为多个阶段：物料库——召回——粗排——精排——重排） 这里介绍的模型就是一些排序模型。简单来说，就是将问题转化为CTR预测任务，以概率来对需要推荐不同的商品进行排序。 以下资料是根据参考资料的浓缩摘抄，只针对我个人以后的温故知新，想了解详细细节可以看原论文与相关资料。.........
推荐系统中常用损失函数
优快云 精品推荐
04-07 2372
推荐系统的损失函数是用来衡量模型预测结果与真实结果之间的差异，是评价推荐系统性能的重要指标之一。选择合适的损失函数可以帮助推荐系统提高预测精度，提高用户满意度，并且可以在训练过程中更好地指导模型的学习过程。
推荐系统中常用的损失函数
QromMatlab的博客
09-22 668
在推荐系统中，损失函数是评估推荐算法性能的重要指标之一。损失函数用于衡量模型预测结果与实际观测值之间的差异，进而指导模型参数的优化过程。下面将介绍几种在推荐系统中常用的损失函数，并提供相应的源代码。以上是推荐系统中常用的几种损失函数，通过选择适当的损失函数并结合合适的优化算法，可以提高推荐系统的性能和准确度。在实际应用中，还可以根据具体问题的特点选择或设计适合的损失函数来优化推荐算法的效果。
推荐系统对比学习中的损失函数
qq_43431934的博客
10-06 1864
最近在基于对比学习做实验，github有许多实现，虽然直接套用即可，但是细看之下，损失函数部分甚是疑惑，故学习并记录于此。关于对比学习的内容网络上已经有很多内容了，因此不再赘述。本文重在对InfoNCE的两种实现方式的记录。
程序员那些必须掌握的排序算法(上)
。。。
08-17 8万+
现在的IT行业并不像以前那么好混了，从业人员过多，导致初级程序员过剩，这也间接导致了公司的招聘门槛越来越高，要求程序员掌握的知识也越来越多。 算法也是一个争论了很久的话题，程序员到底该不该掌握算法？不同的人有不同的答案，而事实上，很多公司都对算法有一定的要求，有些公司直接在面试的时候便会要求面试者手写算法题。这就对程序员的技术要求产生了很大的考验，所以面对如今的大环境，我们必须掌握算法，才能在今后...
推荐系统中常用的损失函数及源代码实现
loop_syntax648的博客
09-20 518
Listwise Loss：Listwise Loss 是在 listwise ranking 中使用的损失函数，常见的有 SoftMax Loss 和 NDCG Loss。在推荐系统中，通常需要进行物品的排序，例如将某个用户对物品的评分进行排序，然后为其推荐评分较高的几个物品。而在推荐系统的算法设计中，损失函数扮演了非常关键的角色，用于衡量预测结果与真实标签之间的误差。在推荐系统中，可以将 (r_i) 视为用户对某个物品的实际评分，(\hat{r_i}) 视为推荐算法给出的该物品的评分预测值。
每天五分钟机器学习：推荐系统中所有用户的损失函数是什么？
huanfeng_AI的博客
01-08 542
我们分析机器学习算法都是从损失函数的角度来说的，为了找到最佳的参数θ，可以最小化损失函数，那么本节课程我们将学习基于内容的推荐系统的损失函数是什么？
推荐系统_各种方法的损失计算过程
qq_40341502的博客
06-30 1454
推荐系统损失计算
损失函数
weixin_41363820的博客
12-18 1421
线性回归中的损失函数用损失函数来度量预测系统的错误程度线性回归模型hθ(x)=θ0+θ1xh_\theta(x)=\theta_0+\theta_1x损失函数选用平方损失函数(线性回归的损失函数)L(Y,h(X))=(Y−h(X))2L(Y,h(X))=(Y-h(X))^2经验损失函数：Rexp(h)=1m∑i=1mL(yi,h(xi))R_{exp}(h)=\frac{1}{m}\sum^m_{i
焦点损失函数和余弦相似函数
11-16
### 焦点损失函数 #### 原理 焦点损失函数（Focal Loss）是在交叉熵损失函数的基础上进行改进的，主要用于解决类别不平衡问题。在目标检测等任务中，正负样本数量往往极度不平衡，大量的负样本会主导损失的计算，使得模型难以学习到正样本的特征。焦点损失函数通过引入一个调节因子 $(1 - p_t)^\gamma$，其中 $p_t$ 是模型预测的概率，$\gamma$ 是一个大于 0 的超参数。当样本被正确分类时，$p_t$ 接近 1，调节因子 $(1 - p_t)^\gamma$ 接近 0，这样就降低了易分类样本的损失权重；而对于难分类样本，$p_t$ 较小，调节因子 $(1 - p_t)^\gamma$ 接近 1，损失权重基本不变。其公式为： $FL(p_t) = - \alpha_t(1 - p_t)^\gamma \log(p_t)$ 其中 $\alpha_t$ 是用于平衡正负样本的权重因子。 #### 应用 焦点损失函数在目标检测领域有广泛的应用，例如在 RetinaNet 中，通过使用焦点损失函数，有效地解决了目标检测中正负样本不平衡的问题，提高了检测的精度。此外，在图像分类、语义分割等任务中，当存在类别不平衡情况时，也可以使用焦点损失函数来提升模型性能。 ### 余弦相似函数 #### 原理 余弦相似函数用于衡量两个向量之间的相似度，它通过计算两个向量夹角的余弦值来表示相似度。对于两个非零向量 $\vec{A}$ 和 $\vec{B}$，它们的余弦相似度定义为： $\cos(\theta) = \frac{\vec{A} \cdot \vec{B}}{\|\vec{A}\| \|\vec{B}\|}$ 其中 $\vec{A} \cdot \vec{B}$ 是向量 $\vec{A}$ 和 $\vec{B}$ 的点积，$\|\vec{A}\|$ 和 $\|\vec{B}\|$ 分别是向量 $\vec{A}$ 和 $\vec{B}$ 的模。余弦相似度的值范围在 $[-1, 1]$ 之间，值越接近 1，表示两个向量越相似；值越接近 -1，表示两个向量越不相似；值为 0 表示两个向量正交。 #### 应用 余弦相似函数在信息检索、自然语言处理等领域有广泛的应用。在信息检索中，可以使用余弦相似度来衡量文档之间的相似度，从而实现文档的排序和推荐。在自然语言处理中，常用于计算文本的相似度，例如在文本分类、情感分析等任务中，通过计算文本向量的余弦相似度来判断文本之间的相关性。 ### 区别 焦点损失函数和余弦相似函数有以下几个方面的区别： - **功能用途**：焦点损失函数主要用于解决机器学习中的类别不平衡问题，是一种损失函数，用于指导模型的训练；而余弦相似函数主要用于衡量向量之间的相似度，是一种相似度度量方法，常用于数据的比较和匹配。 - **数学定义**：焦点损失函数是基于概率的损失计算，通过调节因子来调整不同样本的损失权重；余弦相似函数是基于向量的点积和模的计算，用于衡量向量之间的夹角。 - **应用场景**：焦点损失函数主要应用于分类、检测等监督学习任务；余弦相似函数主要应用于信息检索、文本处理等领域。 ```python import torch import torch.nn.functional as F # 焦点损失函数示例 def focal_loss(logits, labels, alpha=0.25, gamma=2): probs = torch.sigmoid(logits) pt = probs * labels + (1 - probs) * (1 - labels) at = alpha * labels + (1 - alpha) * (1 - labels) loss = -at * (1 - pt) ** gamma * torch.log(pt) return loss.mean() # 余弦相似函数示例 def cosine_similarity(vec1, vec2): return F.cosine_similarity(vec1, vec2, dim=0) # 示例数据 logits = torch.randn(10) labels = torch.randint(0, 2, (10,)) vec1 = torch.randn(10) vec2 = torch.randn(10) # 计算焦点损失 focal_loss_value = focal_loss(logits, labels) print(f"Focal Loss: {focal_loss_value.item()}") # 计算余弦相似度 cosine_similarity_value = cosine_similarity(vec1, vec2) print(f"Cosine Similarity: {cosine_similarity_value.item()}") ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值