(Debiased) Contrastive Learning Loss for Recommendation

本文是深度学习系列文章,针对《(Debiased) Contrastive Learning Loss for Recommendation》的翻译。

摘要

在本文中,我们通过对比学习的视角对推荐损失进行了系统检查,包括列表(softmax)、成对(BPR)和逐点(均方误差、MSE和余弦对比损失、CCL)损失。我们首次在推荐设置下引入并研究了去偏InfoNCE和互信息神经估计器(MINE)。我们还通过下限分析将这两种损失与BPR损失联系起来并加以区分。此外,我们提出了去偏逐点损失(对于MSE和CCL),并从理论上证明了iALS和EASE这两个最流行的线性模型都是固有的去偏。实证实验结果表明,去偏损失和新引入的互信息损失的有效性优于现有的(有偏)损失。

1 引言

2 对比推荐损失

3 去偏POINTWISE损失

4 实验

5 相关工作

6 结论

本文从对比学习的角度对推荐损失函数进行了全面的分析。我们在推荐设置中引入了一系列去偏损失和新的基于互信息的损失函数——MINE和MINE+。我们还展示了如何对逐点损失函数进行去偏,并证明iALS和EASE都是固有的去偏。实证实验结果表明,去偏损失和新信息损失的表现优于现有的(有偏)损失。在未来,我们希望研究损失函数如何与更复杂的神经架构一起工作,并通过利用这些损失来帮助发现更

论文速读——Debiased Contrastive Learning for Sequential Recommendation 当前的顺序推荐系统被提出来利用各种神经技术(例如 Transformer 和图神经网络(GNN))来解决动态用户偏好学习问题。然而,从高度稀疏的用户行为数据中进行推断可能会阻碍顺序模式编码的表示能力。为了解决标签短缺问题,最近提出了对比学习(CL)方法,以两种方式执行数据增强:(i)随机破坏序列数据(例如,随机屏蔽、重新排序);(ii) 跨预定义的对比视图对齐表示。尽管有效,但我们认为当前基于 CL 的方法在解决流行偏见以及区分用户一致性和真实兴趣方面存在局限性。 阅读详情

相关推荐

IJCAI 21 :Graph Debiased Contrastive Learning with Joint Representation Clustering

文章信息 摘要 联合聚类+表征学习,基于 无偏采样 减少 对比学习中 负样本的 假阳性(即,负样本,可能和正样本有相同的类别) 介绍 假阳性问题:在负采样中的存在,导致 采样出的负样本和 正样本节点相同标签导致 被当作负样本,影响性能。 related work GAE DGI等 方法 1.对比学习 对比学习未考虑类间信息,故之后采用 伪标签 聚类来联合优化 2 DEC的框架 3.无偏采样: 在得到精确的聚类结果后,我们可以从聚类中随机选择不同于正样本聚类的负样本。这样,聚类结果可以作为监测信号,有效

qq_40926715的博客 1606

AI对战五子棋——深度学习策略网络

在本篇博文中,我们完成了:✔ 构建一个 CNN 五子棋策略网络✔ 让神经网络输出落子概率✔ 使用 Policy Gradient 强化学习训练 AI✔ 让 AI 实现人与 AI、AI 自对弈博弈。

X2829352498的博客 43

解决Docker拉取镜像报错:Get https://registry-1.docker.io/v2/: 报错

解决Docker拉取镜像报错: Get “https://registry-1.docker.io/v2/”: net/http: request canceled while waiting for connection问题描述Get "https://registry-1.docker.io/v2/"是docker官方的镜像源,下载很慢的,一般会自己指定国内映射的加速镜像源。

qq_33650333的博客 4174

PLC模拟量输入电路设计:±10V与±20mA信号调理全解析

在工业自动化和数据采集系统中,模拟量输入是连接物理世界与数字控制的核心桥梁。无论是变送器输出的4-20mA电流环,还是伺服驱动与信号发生器提供的±10V电压信号,PLC和采集模块都需要在复杂现场环境下稳定、精准地完成信号采集。理解信号体制的原理——电流环抗长线干扰、电压环响应快——是设计模拟输入前端的基础。通过精密电阻网络实现分压与采样,利用运放完成双极性到单极性的电平搬移,配合TVS与滤波电路保障可靠性,并经过ADC量化与校准流程,最终构建出兼顾精度、成本和工业级鲁棒性的完整信号链路。本文面向硬件工程师与

weixin_29163797的博客 301

Seurat 单细胞转录组测序数据分析教程(三)——python(scanpy)

文章参考至,做了一个更详细的解读。本教程探讨了 scanpy 的可视化可能性,分为三个部分:嵌入的散点图(例如 UMAP、t-SNE)使用已知标记基因鉴定簇差异表达基因的可视化在本教程中,我们将使用来自 10x 的数据集,其中包含来自PBMC的 68k 个细胞。Scanpy 在其分布中包括该数据集的简化样本,该数据集仅包含 700 个细胞和 765 个高度可变的基因。该数据集已经过预处理和 UMAP 计算。在本教程中,我们还将使用以下文献标记:B细胞:CD79A、MS4A1。

coffeeii的博客 5829

Plant Simulation新手入门:从零开始搭建工厂布局仿真模型(附完整代码)

本文为Plant Simulation新手提供了一个从零开始搭建工厂布局仿真模型的完整实战教程。通过一个玩具工厂车间布局优化的具体案例,详细讲解了从数据准备、模型构建、核心逻辑编程到连接遗传算法进行自动优化的全流程,并附有完整代码示例,帮助读者快速掌握这一工业仿真软件的核心应用。

metal的博客 554

把 SM30 用顺:从表设计到权限与传输,全面掌握 SAP Table Maintenance Generator

摘要 SAP的Table Maintenance Generator(TMG)是为配置表维护需求设计的经典工具,能够生成标准化的维护对话框(SM30)。它支持单表、维护视图(多表关联)和视图簇(导航式维护)三种维护对象类型。使用TMG前需注意三个关键设置:1)表维护权限选项;2)交付类(决定数据传输行为);3)客户端字段配置。通过SE54/SE11生成维护对话框时,需选择维护类型(一步/两步)和记录例程(控制传输)。TMG生成的对象包含函数组、屏幕和处理模块,但部分标准框架不可修改。实际应用中,可通过参数事

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 176

90. 将 SAP ABAP 内表内容本地导出成 Excel 文件

这里文件扩展名为 csv,全称是 Comma-Separated Values,意思是这种类型的文件内容,由逗号分隔。除了 ASC 之外,另一个可用的选项是 BIN,适用于 PDF,EXE 等二进制文件的导出。支持海量的输入和输出参数,我们这个简单的本地导出场景里,大部分参数都用不上。这个分隔符的添加逻辑,编写在上图红色高亮矩形框内,使用的语法是。本教程有学习者向我提问,询问如何将 ABAP 某某函数的某某输出参数的值,导出成本地 Excel 文件。把这个内表的内容,下载到本地,以本地文件的方式保存。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1743

<IBM AIX> 《HACMP 实用手册和命令 HA切换手册》 - 鸿篇巨制,全网最全

操作命令检查磁盘预留策略要将磁盘预留策略更改为 no_reserve集群状态实用程序查看集群状态是否正常SMIT System Management (C-SPOC)Cluster ServicesShow Cluster Services 面板上的选项或 lssrc 命令查看资源组、资源组对应的VG、资源组对应的APPLICATION SERVER# ./cldispsmit常用命令F3退出F4列表Esc+6或者F6查看命令Esc+7或者F7选择多项检查状态。

Else 的博客 3365

手把手教你学simulink(13.2)--构建一个单相并网逆变器Simulink仿真模型

基于Simulink的单相并网逆变器项目的详细仿真实例。这个项目将重点放在逆变器的详细建模、最大功率点跟踪(MPPT)控制策略、并网控制和仿真分析上。我们将使用MATLAB/Simulink来构建整个系统,并通过具体的代码和模块来实现各个功能。

MHD0815的博客 546

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

上一篇: GWQ: Gradient-Aware Weight Quantization for Large Language Models
下一篇: BayLing 2: A Multilingual Large Language Model with Efficient Language Alignment
UnknownBody
博客等级 码龄16年 5601粉丝 4749原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值