(Debiased) Contrastive Learning Loss for Recommendation

最新推荐文章于 2025-05-14 16:05:21 发布
最新推荐文章于 2025-05-14 16:05:21 发布
阅读量131 收藏
点赞数 4
分类专栏： LLM Daily Recommendation 文章标签： 深度学习 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/143918997
版权

本文是深度学习系列文章，针对《(Debiased) Contrastive Learning Loss for Recommendation》的翻译。

（去偏）推荐对比学习损失

摘要

在本文中，我们通过对比学习的视角对推荐损失进行了系统检查，包括列表（softmax）、成对（BPR）和逐点（均方误差、MSE和余弦对比损失、CCL）损失。我们首次在推荐设置下引入并研究了去偏InfoNCE和互信息神经估计器（MINE）。我们还通过下限分析将这两种损失与BPR损失联系起来并加以区分。此外，我们提出了去偏逐点损失（对于MSE和CCL），并从理论上证明了iALS和EASE这两个最流行的线性模型都是固有的去偏。实证实验结果表明，去偏损失和新引入的互信息损失的有效性优于现有的（有偏）损失。

1 引言

2 对比推荐损失

3 去偏POINTWISE损失

4 实验

5 相关工作

6 结论

本文从对比学习的角度对推荐损失函数进行了全面的分析。我们在推荐设置中引入了一系列去偏损失和新的基于互信息的损失函数——MI

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Revisiting Recommendation Loss Functions through Contrastive Learning
c_cpp_csharp的专栏
12-26 176
受对比学习成功的启发，我们系统地研究了推荐损失，包括列表（softmax）、成对（BPR）和点（MSE和CCL）损失。在这项工作中，我们引入了InfoNCE+，这是对具有平衡系数的InfoNCE的优化泛化，并强调了它的性能优势，特别是在与我们新的解耦对比损失MINE+相一致时。我们还利用已去偏置的InfoNCE对逐点推荐损失（CCL）进行去偏置，作为去偏置CCL。有趣的是，我们的分析表明，像iALS和EASE这样的线性模型本质上是去偏的。实证结果证明了MINE+和去偏CCL的有效性。
论文速读——Debiased Contrastive Learning for Sequential Recommendation
weixin_43954673的博客
03-14 1262
当前的顺序推荐系统被提出来利用各种神经技术（例如 Transformer 和图神经网络（GNN））来解决动态用户偏好学习问题。然而，从高度稀疏的用户行为数据中进行推断可能会阻碍顺序模式编码的表示能力。为了解决标签短缺问题，最近提出了对比学习（CL）方法，以两种方式执行数据增强：（i）随机破坏序列数据（例如，随机屏蔽、重新排序）；(ii) 跨预定义的对比视图对齐表示。尽管有效，但我们认为当前基于 CL 的方法在解决流行偏见以及区分用户一致性和真实兴趣方面存在局限性。
IJCAI 21 :Graph Debiased Contrastive Learning with Joint Representation Clustering
qq_40926715的博客
04-02 1472
文章信息 摘要 联合聚类+表征学习，基于 无偏采样 减少 对比学习中 负样本的 假阳性（即，负样本，可能和正样本有相同的类别） 介绍 假阳性问题：在负采样中的存在，导致 采样出的负样本和 正样本节点相同标签导致 被当作负样本，影响性能。 related work GAE DGI等 方法 1.对比学习 对比学习未考虑类间信息，故之后采用 伪标签 聚类来联合优化 2 DEC的框架 3.无偏采样： 在得到精确的聚类结果后，我们可以从聚类中随机选择不同于正样本聚类的负样本。这样，聚类结果可以作为监测信号，有效
开源项目亮点：Debiased Contrastive Learning — 自监督学习的新突破
gitblog_01133的博客
08-16 396
开源项目亮点：Debiased Contrastive Learning — 自监督学习的新突破 DCL项目地址:https://gitcode.com/gh_mirrors/dcl/DCL 项目介绍 在自监督表示学习领域，对比学习（Contrastive Learning）以其显著的效果脱颖而出。然而，在无标签数据环境下如何准确区分相似和不相似样本成为了一大挑战。**Debiased Cont...
NIPS2020——Debiased Contrastive Learning 详细解读
qq_40680309的博客
05-03 2893
论文及补充材料链接 ：Debiased Contrastive Learning 代码：https://github.com/chingyaoc/DCL 摘要： 自监督表示学习的一个突出技术是对比语义上相似和不同的样本对。在没有访问标签的情况下，不同的（负的）点通常被认为是随机抽样的数据点，隐含地接受这些点实际上可能具有相同的标签。也许并不令人意外，我们观察到，在有标签的合成设置中，从真正不同的标签中采样负的例子可以提高性能。基于这一观察结果，我们开发了一个去偏对比目标，以校正相同标签数据点...
Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems
我爱写报告的博客
08-27 1021
解决的问题 解决推荐系统中的召回问题，标准的方法就是通过采样进行极大似然估计。然而真实的推荐系统通常存在严重的曝光偏差，而极大似然估计从长期来讲会加重曝光偏差，而不合适的采样和特征选取会使得item表示学习效果打折扣。本文提出了CLRec，一种对比学习范式，来解决召回阶段的曝光偏差。 问题形式化 推荐系统的召回阶段范式为学习一个用户行为encoder fθ(x)∈Rdf_\theta(x) \in R^dfθ​(x)∈Rd和一个item encoder gθ(y)∈Rdg_\theta(y) \in R^d
论文《Contrastive Learning for Sequential Recommendation》
whgyxy的博客
04-10 5488
论文地址：https://arxiv.org/abs/2010.14395 摘要 序列推荐经常因为数据稀疏性问题，导致很难学习到高质量的用户向量表示。论文引入对比学习，提出Contrastive Learning for Sequential Recommendation(CL4SRec).，不仅有下一个序列预测的优势，还利用对比学习框架从原始用户行为序列中获取自监督信号。另外论文提出3种构造自监督信号的数据增强方法，在4个公开数据集上面大量实验表明得到的用户表示更好。 简介 序列推荐任务能捕捉用户动态的兴
Knowledge Graph Contrastive Learning for Recommendation（KGCL）阅读笔记
m0_58802684的博客
08-18 1786
现有知识图谱（KG）的稀疏性和噪声使得项目-实体依赖关系偏离了反映其真实特征，从而显着放大了噪声效应，阻碍了用户偏好的准确表示。为了填补这一研究空白，作者设计了一个通用的知识图对比学习框架（KGCL），该框架可以减轻知识图增强推荐系统的信息噪声。本篇论文中涉及了知识图谱和对比学习相关理论，因此本篇文章先简要介绍一下知识图谱和对比学习以及其在推荐系统上的应用，然后再解释论文核心原理。
什么是contrastive learning？
热门推荐
paper_reader的博客
05-10 1万+
阅读更多，欢迎关注公众号：论文收割机（paper_reader） 因为排版问题，很多图片和公式无法直接显示，欢迎关注我们的公众号点击目录来阅读原文。 引言 对比学习最近特别火，为了弄懂这个方向以及需要解决的问题，所以本文将各个领域内比较重要的一些工作拿出来介绍讨论一下。对比学习（Contrastive learning）的主要是与自学习（self-supervised learning）结合起来，从而挖掘数据集本身的一些特性，来帮助模型进行无标签的学习。 计算机视觉 Si...
SimGCL:Are Graph Augmentations Necessary? Simple GraphContrastive Learning for Recommendation 论文代码解读
zhao254014的博客
09-22 2170
开发了一种简单的无图增强的CL方法，以一种更直接的方式来调节表示分布的均匀性。通过在表示中加入有向随机噪声，进行不同的数据增强和对比，提出的方法显著提高了推荐能力
对比学习必知要点
zenRRan的博客
02-24 1097
每天给你送来NLP技术干货！干货作者：炼丹小生来自：炼丹笔记关于对比学习,除了那些优化目标必须知道,还必须知道以下要点.数据增强给定训练样本，我们需要用数据增强来创建带有噪声版本的数据，以...
NeurIPS 2020 | 聚焦自监督学习
Paper weekly
12-16 2810
©PaperWeekly 原创 ·作者｜张一帆学校｜华南理工大学本科生研究方向｜CV，Causality知乎ID｜yearn本文梳理了四篇来自 NeurIPS 2020 和对比学习相关...
Pycharm（十九）深度学习
higerwy的博客
05-06 1469
深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。深度学习、机器学习和人工智能之间的关系如下图所示：深度学习⊆机器学习⊆人工智能优点：1）精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类；2）随之计算机硬件的发展，可以近似任意的非线性函数；3）近年来在学界和业界受到了热捧，有大量的框架和库可供调。缺点：1）黑箱。
基于EMD-PCA-LSTM的光伏功率预测模型研究
专注AI大模型,软件混淆,授权
05-14 69
本文提出了一种结合经验模态分解(EMD)、主成分分析(PCA)和长短期记忆网络(LSTM)的混合模型，用于提高光伏功率预测的准确性。该模型首先利用EMD将非平稳的光伏功率序列分解为多个本征模态函数(IMF)，然后通过PCA对多维气象特征进行降维处理，最后将处理后的特征输入LSTM网络进行预测。实验结果表明，与单一LSTM模型和传统预测方法相比，EMD-PCA-LSTM模型在预测精度和稳定性方面均有显著提升。该模型有效处理了光伏功率序列的非平稳性和非线性，同时通过特征降维提高了模型效率，为光伏功率预测提供了一
使用深度学习预训练模型检测物体
最新发布
xinyu的记录博客
05-14 742
使用 GeoAI 工具和预训练模型自动检测棕榈树。
人工智能-深度学习之循环神经网络
m0_51678367的博客
05-14 644
LSTM文本生成实战summary1、通过搭建LSTM模型，实现了基于文本序列的字符生成功能；2、学习了文本加载、字典生成方法；3、掌握了文本的数据预处理方法，并熟悉了转化数据的结构；4、实现了对新文本数据的字符预测。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 1487
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
深度学习 自然语言处理(RNN) day_02
qq_59348412的博客
05-13 1012
感知机由于结构简单，完成的功能十分有限。可以将若干个感知机连在一起，形成 一个级联网络结构，这个结构称为“多层前馈神经网络”（Multi-layer Feedforward Neural Networks）。所谓“前馈”是指将前一层的输出作为后一 层的输入的逻辑结构。每一层神经元仅与下一层的神经元全连接。但在同一层之内， 神经元彼此不连接，而且跨层之间的神经元，彼此也不相连。循环神经网络（Recurrent Neural Network，RNN）是一种神经网络结构，专门用于处理序列数据。
Lora原理及实现浅析
m0_68784427的博客
05-11 735
简单介绍了Lora的原理及
contrastive learning loss
09-18
对比学习损失（contrastive learning loss）是一种用于自监督学习的损失函数。自监督学习是一种无需标注数据来训练模型的方法，其关键在于利用输入数据的内在结构进行学习。 对比学习损失通过将输入数据分为正例（positive）和负例（negative）两类，来衡量模型对于样本相似性的学习能力。具体而言，对于每个样本，我们将其与其他样本进行对比，并为它们计算一个相似性指标。正例是相似的样本对，而负例是不相似的样本对。 在对比学习中，一种常用的损失函数是对比损失（contrastive loss）。对于正例样本对，我们希望它们在特征空间中尽可能靠近，即相似性指标应该较小；而对于负例样本对，我们希望它们在特征空间中远离，即相似性指标应该较大。因此，对比损失的目标是最小化正例样本对的相似性指标，同时最大化负例样本对的相似性指标。 由于对比学习不需要标注数据，它可以广泛应用于许多领域。在计算机视觉中，对比学习可以用于图像特征学习、图像检索等任务。在自然语言处理中，对比学习可以用于文本相似度计算、句子表示学习等任务。对比学习通过学习数据的相似性，可以提升模型在无标注数据上的性能，为后续任务提供有用的特征表示。 总之，对比学习损失是一种用于自监督学习的损失函数，通过最小化正例样本对的相似性指标和最大化负例样本对的相似性指标，来提升模型在无标注数据上的学习效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值