Revisiting Recommendation Loss Functions through Contrastive Learning

最新推荐文章于 2025-07-25 09:23:27 发布
最新推荐文章于 2025-07-25 09:23:27 发布
阅读量192 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： LLM Daily Recommendation 文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/143918643

本文是深度学习系列文章，针对《Revisiting Recommendation Loss Functions through Contrastive Learning》的翻译。

通过对比学习重新审视推荐损失函数

摘要

受对比学习成功的启发，我们系统地研究了推荐损失，包括列表（softmax）、成对（BPR）和点（MSE和CCL）损失。在这项工作中，我们引入了InfoNCE+，这是对具有平衡系数的InfoNCE的优化泛化，并强调了它的性能优势，特别是在与我们新的解耦对比损失MINE+相一致时。我们还利用已去偏置的InfoNCE对逐点推荐损失（CCL）进行去偏置，作为去偏置CCL。有趣的是，我们的分析表明，像iALS和EASE这样的线性模型本质上是去偏的。实证结果证明了MINE+和去偏CCL的有效性。

引言

背景

去偏对比推荐损失

实验

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs
c_cpp_csharp的专栏
05-08 248
从人类反馈中强化学习（RLHF）形式的人工智能对齐越来越被视为高性能大型语言模型的关键组成部分。最近的文献将近端策略优化（PPO）定位为RLHF RL部分的规范方法。然而，它涉及高计算成本和敏感的超参数调整。我们假设，导致PPO发展的大多数动机原则在RLHF中不太受实际关注，并主张使用一种计算成本较低的方法来保持甚至提高性能。我们重新审视了RL背景下人类偏好的对齐公式。
Revisiting Graph based Social Recommendation: A Distillation Enhanced Social Graph Network
Zjkorigin的博客
05-14 804
社交推荐利用社交关系构建推荐系统（RS），在缓解信息过载方面发挥着重要作用。最近，图神经网络（GNN）由于其强大的图数据容量而受到越来越多的关注。由于RS中的数据本质上是图的结构，因此基于GNN的RS正在蓬勃发展。然而现有作品缺乏对社会推荐的深入思考。这些方法包含隐含的假设，在实践中没有得到很好的分析。为了解决这些问题，我们对广泛使用的社交推荐数据集进行统计分析。我们设计了评估社交信息的指标，这可以为我们是否以及如何在 RS 任务中使用这些信息提供指导。
涨点利器：推荐系统中对双塔模型的各种改造升级（中）
Kaiyuan_sjtu的博客
02-01 2694
「双塔各种改造方法概览：」「写在前面：」本系列文章主要介绍双塔结构在工业界的落地及改造升级方案，本系列相关文章汇总如下：涨点利器：推荐系统中对双塔模型的各种改造升级（上）4. 基于Learning to Rank的双塔召回4.1 双塔召回为什么要从Pointwise升级到Pairwise？Learning to Rank根据损失函数、输入空间、输出空间、优化方法的不同，可以分为三大类方法：Poin...
2024 推荐系统论文汇总
卢之
01-08 1万+
对2024年的 推荐系统论文进行一波收集，给各位初学者和算法大佬作为灵感来源，后续专栏会继续更新论文解读，根据评论不断补充，欢迎大家三连~
SIGIR 2022 推荐系统相关论文整理分类
abcdefg90876的博客
04-21 1289
关注我们，一起学习~SIGIR 2022论文接收情况已出，本文为大家整理了推荐系统相关的论文分别按照应用和热门技术进行了划分，包括序列推荐，会话推荐，点击率预估，图学习，automl，对比学习等。来源：https://sigir.org/sigir2022/program/accepted/广告分配问题来自美团外卖广告算法团队的论文：Deep Page-Level Int...
SIGIR 2022 | 推荐系统相关论文分类整理
04-19 4539
大家好，我是对白。ACM SIGIR 2022是CCF A类会议，人工智能领域智能信息检索（ Information Retrieval，IR）方向最权威的国际会议。会议专注于信息的存储、检索和传播等各个方面，包括研究战略、输出方案和系统评估等等。第45届国际计算机学会信息检索大会（The 45rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2022）计划于今年
CVPR2019论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
AAAI2021论文列表（中英对照）
dovings的博客
07-04 1万+
AAAI2021论文列表（中英对照）
CVPR2021论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
NIPS 2018 paper list（论文列表）
人工智能技术学习与分享
12-03 1万+
Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization Francis Bach Structure-Aware Convolutional Neural Networks Jianlong Chang, Jie Gu, Lingfeng Wang, GAOFENG MENG, ...
Graph Contrastive Learningwith Reinforcement Augmentation
chairuilin的博客
10-11 992
IJCAI24推荐指数： #paper/⭐⭐⭐领域：图增强+强化学习。
matlab_Revisiting IM2GPS in the Deep Learning Era_数据和代码
07-07
本文将深入探讨在深度学习时代如何利用MATLAB进行IM2GPS的研究，同时介绍提供的“revisiting-im2gps-master”压缩包中的数据和代码资源。 一、IM2GPS概述 IM2GPS的核心目标是建立一个模型，该模型能够从图像中提取...
时间序列预测Python机器学习应用
木头大左的博客
07-23 1244
时间依赖性：当前值受过去值的影响。趋势性：数据可能呈现长期上升或下降的趋势。季节性：数据在固定周期内重复出现的模式。噪声：随机波动，无明显规律。
跨境支付入门～国际支付结算（风控篇）
lkf19711的博客
07-25 758
跨境支付企业的"吞金兽"：风控系统成为最大成本黑洞。这类系统需采购海量第三方数据（年费超千万），并应对国际卡组织的高额合规要求（如VISA系统年增300万美元成本）。核心防控AML（反洗钱）和CFT（反恐融资）风险，通过四阶KYC认证体系（证件核验到持续监控）和KYB企业审查（股权穿透到贸易背景验证）。采用AI检测（准确率98.7%）、知识图谱等技术，并实施分级审核策略（CDD/EDD）。风控系统需融合3000+规则引擎和机器学习模型，实现全流程监控，是跨境支付企业的生死线。
大模型开发
2302_81352523的博客
07-23 1048
AI（人工智能）是使机器具备类人思考和解决问题能力的技术，其核心是Transformer神经网络模型（如GPT）。大模型应用结合传统编程实现记忆等复杂功能，应用开发技术包括Prompt问答、微调、Agent调用和RAG（外挂知识库），适用于客服、医疗、办公自动化等场景。AI通过数据训练掌握语言规律，处理模糊性问题，与传统程序互补形成强大应用。
统计与大数据分析与数学金融方向课程差异有哪些？如何提升职场竞争力？
LRQ2025的博客
07-23 985
统计与大数据分析和数学金融专业存在显著课程重叠（概率统计、编程、优化等），但主攻方向不同。统计侧重机器学习、大数据处理及广泛领域应用；数学金融则深入金融建模、衍生品定价等专业领域。建议新生结合兴趣（数据算法vs金融建模）与职业规划（数据科学家vs量化分析师），利用大一大二共同基础课程进行体验后选择。两个专业基础课高度相似，扎实掌握数学与编程核心能力是关键。
人工智能与交通：智能出行的变革与突破
最新发布
一套方法论打通全栈闭环，从 0 到 1 教你驾驭需求、设计、开发、项目、课题、论文和软著，速成全栈王者！
07-25 709
AI 驱动的智能交通不仅是技术升级，更是对城市空间、能源利用、社会分工的全面重构。从自动驾驶解放人类的驾驶时间，到智能调度让城市告别拥堵，再到绿色交通助力碳中和，每一项进步都在重新定义 “出行” 的意义 —— 从 “必要的负担” 变为 “高效、安全、愉悦的体验”。实现这一愿景需要技术突破、法规创新、社会协同的多方努力。当技术足够成熟、法规足够清晰、公众足够信任时，智能交通将成为 “未来城市” 的血管系统，支撑起更高效、更公平、更可持续的人类生活方式。
[2025CVPR]ViKIENet：通过虚拟密钥实例增强网络实现高效的 3D 对象检测
hasakie的博客
07-22 1154
ViKIENet论文摘要：ViKIENet提出一种高效的多模态3D物体检测框架，通过虚拟关键实例（VKIs）解决LiDAR点云稀疏性和传统虚拟点方法的高计算噪声问题。其核心创新包括：1）语义关键实例选择（SKIS），仅提取关键区域的虚拟点，减少90%计算量；2）多阶段融合模块（VIFF），结合BEV与RoI特征增强关键区域；3）深度校准模块（VIRA），抑制深度补全噪声。扩展版ViKIENet-R引入旋转等变特征，平衡精度与效率。实验显示，在KITTI、nuScenes等数据集上，ViKIENet以22.7
Revisiting Skeleton-based Action Recognition
03-08
### Skeleton-Based Action Recognition Research and Techniques In the field of skeleton-based action recognition, researchers have developed various methods to interpret human actions from skeletal data. These approaches leverage deep learning models that can effectively capture spatial-temporal features inherent in sequences of joint positions over time. One prominent technique involves utilizing recurrent neural networks (RNNs), particularly long short-term memory (LSTM) units or gated recurrent units (GRUs). Such architectures are adept at handling sequential information due to their ability to maintain a form of memory across timesteps[^1]. This characteristic makes them suitable for modeling temporal dependencies present within motion capture datasets. Convolutional Neural Networks (CNNs) also play an essential role when applied on graphs representing skeletons as nodes connected by edges denoting limb segments between joints. Graph Convolutional Networks (GCNs) extend traditional CNN operations onto non-Euclidean domains like point clouds or meshes formed around articulated bodies during movement execution phases[^2]. Furthermore, some studies integrate both RNN variants with GCN layers into hybrid frameworks designed specifically for this task domain; these combined structures aim to simultaneously exploit local appearance cues alongside global structural patterns exhibited throughout entire pose configurations captured frame-by-frame via sensors such as Microsoft Kinect devices or other depth cameras capable of tracking multiple individuals performing diverse activities indoors under varying lighting conditions without requiring any wearable markers attached directly onto participants' limbs/skin surfaces. ```python import torch.nn.functional as F from torch_geometric.nn import GCNConv class ST_GCN(torch.nn.Module): def __init__(self, num_features, hidden_channels, class_num): super(ST_GCN, self).__init__() self.conv1 = GCNConv(num_features, hidden_channels) self.fc1 = Linear(hidden_channels, class_num) def forward(self, x, edge_index): h = self.conv1(x, edge_index) h = F.relu(h) h = F.dropout(h, training=self.training) z = self.fc1(h) return F.log_softmax(z, dim=1) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值