文献阅读分享:XSimGCL - 极简图对比学习在推荐系统中的应用

【图对比推荐模型】SimGCL与XSimGCL:Towards Extremely Simple Graph Contrastive Learning for Recommendation 这段时间阅读了一下将对比学习应用到推荐系统中的一篇性能比较好的文章,对比了一下该文章作者在SIGIR‘22会议上发表的SimGCL模型和之后同作者在SCI一区中发布的XSimGCL模型。 阅读详情

XSimGCL: Towards Extremely Simple Graph Contrastive Learning for Recommendation

🌟 研究背景

随着推荐系统在电商、社交平台等领域的广泛应用,如何在数据稀疏的情况下提供准确的个性化推荐成为一大挑战。对比学习作为一种自监督学习方法,能够从无标签的原始数据中提取通用特征,从而缓解数据稀疏性问题。然而,对比学习在推荐系统中的具体作用机制尚未完全明晰,尤其是图增强在其中扮演的角色。现有的基于对比学习的推荐模型大多采用图增强来生成不同视图,但这些增强方法的有效性和必要性仍存在争议。

🔍 相关工作

在推荐系统领域,基于图神经网络(GNNs)的模型因其出色的用户-项目关系建模能力而备受关注。LightGCN作为其中的佼佼者,通过简化图卷积网络(GCN)的结构,高效地利用用户-项目交互数据进行推荐。然而,面对数据稀疏性问题,仅依靠图结构信息难以充分挖掘用户和项目的潜在特征。对比学习的引入为这一问题提供了新的解决方案。SGL模型通过节点/边dropout等图增强方法,最大化不同图视图下学习到的表示的一致性,取得了显著的性能提升。但也有研究表明,对比学习模型的性能并不总是依赖于复杂的图增强策略,这促使研究者重新审视对比学习在推荐系统中的应用。

🔄 模型图输入输出转变

XSimGCL模型的输入为用户-项目二分图的初始节点嵌入和邻接矩阵。与传统的基于图增强的对比学习模型不同,XSimGCL不再依赖于对图结构的扰动来生成不同视图,而是通过在每一层的聚合嵌入中添加不同的均匀随机噪声来实现。这些噪声相当于在嵌入空间中对节点进行微小的扰动,从而生成扰动表示。模型的输出为经过对比学习优化后的用户和项目嵌入,这些嵌入在保持与原始交互数据一致的同时,具有更加均匀的分布特性,有助于缓解推荐过程中的流行度偏差问题。

🧪 实验

实验部分,作者在四个大型且高度稀疏的基准数据集上对XSimGCL进行了全面评估,包括Yelp2018、Amazon-Kindle、Alibaba-iFashion和Amazon-Electronics。这些数据集涵盖了不同的推荐场景,具有不同的用户和项目数量以及交互密度。评估指标包括Recall@20和NDCG@20,分别从准确性和排名质量两个方面衡量模型的推荐性能。实验结果表明,XSimGCL在所有数据集上均取得了优异的性能,相较于基于图增强的对比学习模型,其在推荐准确性和训练效率上都有显著提升。

🚀 方法介绍 & 创新

XSimGCL的核心在于其创新的噪声增强方法和简化的模型架构。具体来说,XSimGCL通过在每一层的聚合嵌入中添加不同的均匀随机噪声来生成扰动表示,这些噪声向量的模长被限制为一个小常数ϵ,以确保扰动的幅度可控。同时,XSimGCL采用了跨层对比的策略,即对比不同层的嵌入表示,而非仅对比最终层的表示。这种跨层对比方式充分利用了不同层嵌入信息的差异性,有助于模型学习到更加丰富和鲁棒的特征表示。此外,XSimGCL通过共享单次传递的方式统一推荐和对比任务,极大地简化了模型的计算过程,减少了额外的前向和后向传播开销,提高了模型的训练效率。

SimGCL和XSimGCL 传统的SGL(图自监督学习)使得模型可以自行发掘任务特征,解决了数据稀疏和长尾分布的问题,SGL采用节点dropout、边dropout和随机游走三种方式对图结构进行扰动(图增强)进行对比学习,可以有效提高性能SGL主要解决传统推荐系统面临的数据稀疏和长尾分布问题。通过在图结构上进行数据增强,并结合对比学习机制,SGL能够有效提升模型的表征学习能力,从而改善推荐性能。 阅读详情

相关推荐

推荐系统领域对比学习和数据增强论文及代码集锦

推荐系统领域对比学习和数据增强论文及代码集锦

KingGugu的博客 2663

[SIGIR22]图对比推荐论文SimGCL/XSimGCL算法和代码简介

[SIGIR‘22]图对比推荐论文SimGCL/XSimGCL算法和代码简介

Blueghost19的博客 5800

推荐系统笔记(十四):极简图对比学习方法SimGCL

1)在基于CL的推荐模型中,CL的损失是核心,而图的增强只起次要作用。(2)优化CL损失可以得到更均匀的表示分布,能在推荐的场景中帮助消除偏差。(3)通过在表示中加入有向随机噪声,进行不同的数据增强和对比,可以显著提高推荐能力。...

qq_46006468的博客 3029

XSimGCL: Towards Extremely Simple GraphContrastive Learning for Recommendation 论文+代码解读

XSimGCL的推荐任务和对比任务在一个小批量中共享正向/反向传播,而不是拥有单独的管道。具体来说,SimGCL和XSimGCL都使用相同的输入:初始嵌入和邻接矩阵。 不同之处在于SimGCL对比了所学的两种最终表示,使用不同的噪声并依赖于普通表示进行推荐,而XSimGCL对两个任务使用相同的扰动表示,并用跨层对比替换SimGCL中的最终层对比。

zhao254014的博客 2438

SIGIR2022 | SimGCL: 面向推荐系统的极简图对比学习方法

嘿,记得给“机器学习与推荐算法”添加星标今天跟大家分享一篇发表在SIGIR2022上的不需要进行图数据增强的对比学习方法来进行推荐的文章。该文首先通过实验揭示了在基于对比学习范式的推荐模型中,对比学习通过学习更统一的用户/项目表示来进行推荐,这可以隐式地缓解流行度偏差。同时,还揭示了过去被认为是必要的图增强操作在推荐领域只是起到了很小的作用。基于这一发现,该文提出了一种简...

张小磊的博客 1575

基于python的奥运会历史数据分析【120年】

数据分析实战案例

xff123456_的博客 3338

XSimGCL: Towards Extremely Simple GraphContrastive Learning for Recommendation

在XSimGCL中重新审视了对比学习在推荐中的应用,并研究了它如何增强图推荐模型。研究结果表明InfoNCE损失是决定性因素,它解释了大部分性能提升,而精心设计的图增强方法只起到次要作用。优化InfoNCE损失可以实现更均衡的表示分布,有助于在推荐场景中推广长尾物品。基于这一发现,文中提出了一种简单而有效的基于噪声的增强方法,通过对比学习可以平滑地调整表示分布的均匀性。还提出了一种极其简单的模型XSimGCL,为基于对比学习的推荐提供了一个超轻量级的架构。

m0_56321960的博客 927

Unipush2.0 App消息推送(在线+离线推送)

使用unipush2.0进行消息推送,包含在线跟离线

weixin_50251467的博客 3699

浅谈学术界SSL4REC技术——xSimGCL

本文介绍了xSimGCL模型,这是对SimGCL的改进版本,旨在简化图对比学习在推荐系统中的应用。作者指出传统图增强方法成本高且效果有限,转而提出在表示层通过添加噪声生成正样本对。xSimGCL进一步优化计算成本,改为在不同网络层之间进行对比学习,以最终层输出为锚点,其他层加噪声形成对比样本。这种方法只需一次前向传播即可同时完成主任务和对比任务,显著提高了效率。论文论证了不同层表示加上适当噪声能产生理想的对比效果,同时不影响主任务训练。该方案在保持性能的同时大幅降低了计算复杂度。

2401_82977824的博客 349

ADS实战指南:负载牵引(Loadpull)在射频功放设计中的关键应用

本文深入解析了负载牵引(Loadpull)技术在射频功率放大器设计中的核心作用与实战方法。通过生动的比喻和详细的ADS软件操作指南,阐述了如何通过系统扫描负载阻抗,在史密斯圆图上绘制等功率线与等效率线,从而精准找到最优阻抗点,以平衡输出功率与效率,是应对5G等现代通信系统严苛要求的必备技能。

weixin_29198045的博客 601

泛微ecology9 利用字段值动态控制明细表显示与隐藏

本文详细介绍了在泛微ecology9中,如何利用WfForm.bindFieldChangeEvent监听字段变化,结合jQuery动态控制明细表显示与隐藏的实战方法。通过五步操作,可实现根据字段值(如报销类型)智能切换明细表,提升表单交互体验与开发效率,并确保PC与移动端完美兼容。

7z8x2c4v6b9的博客 585

SimGCL:Are Graph Augmentations Necessary? Simple GraphContrastive Learning for Recommendation 论文代码解读

开发了一种简单的无图增强的CL方法,以一种更直接的方式来调节表示分布的均匀性。通过在表示中加入有向随机噪声,进行不同的数据增强和对比,提出的方法显著提高了推荐能力

zhao254014的博客 2347

车载ECU底软测试:方法与技术的深度解析

底软是运行在 ECU 硬件平台上的基础软件,它为上层应用程序提供了硬件驱动、操作系统服务、通信协议栈等功能。底软的主要功能包括:硬件驱动:负责与 ECU 的各种硬件外设进行通信和控制,如 GPIO、UART、SPI、CAN 等。操作系统服务:提供任务调度、内存管理、中断处理等功能,确保系统的实时性和稳定性。通信协议栈:实现 ECU 与其他 ECU 或外部设备之间的通信,如 CAN、LIN、FlexRay 等。诊断服务:负责对 ECU 的故障进行诊断和处理,并将故障信息存储在故障码存储器中。

天赐好车的博客 1429

推荐系统论文阅读总结:ICLR 2023 LightGCL 简单且高效的图对比学习推荐系统

图神经网络(GNN)是基于图的推荐系统的一种强大的学习方法。近年来,结合对比学习的gnn在推荐数据增强方案方面表现出了优异的性能,其目标是处理高度稀疏的数据。尽管它们取得了成功,但大多数现有的图对比学习方法要么在用户-项目交互图上执行随机增强(例如,节点/边缘扰动),要么依赖于基于启发式的增强技术(例如,用户聚类)来生成对比视图。我们认为这些方法不能很好地保留固有的语义结构,并且容易受到噪声干扰的影响。在本文中,我们提出了一个简单而有效的图对比学习范式LightGCL,它减轻了这些问题,损害了基于cl的推荐

cyzz523的博客 1812

【雕爷学编程】一款功能强大、易于使用、适用范围广泛的嵌入式Python解释器:MicroPython

1、语法方面:Micropython与Python语法基本相同,但是由于Micropython是专门为嵌入式设备设计的,因此它对标准Python的功能进行了精简和优化,去掉了一些不必要的功能,同时增加了一些嵌入式系统特有的功能。3、库方面:Micropython与Python完全不同的是,它的标准库并不完全与Python的标准库一致,特别是一些底层库和硬件相关的库。5、丰富的库和工具支持:MicroPython有丰富的库和工具支持,如GPIO控制、网络连接、传感器数据采集等,可满足各种应用需求。

雕爷学编程 5194

5.30华为OD机试真题 新系统 - 链表数字游戏 (Java/Py/C/C++/Js/Go)

5.30华为OD机试真题 新系统 - 链表数字游戏 (Java/Py/C/C++/Js/Go)

算法大师! 1121

LIGHTGCL: 图对比学习在推荐系统中的应用

在这篇ICLR 2023的论文中,作者提出了一种新颖的图对比学习框架——LIGHTGCL,用于图基础的推荐系统。该方法通过奇异值分解(SVD)增强用户-项目交互图结构,以提高推荐系统的鲁棒性和效率。本文将重点介绍LIGHTGCL的核心方法和创新点,并尝试通过一些图像符号使内容更加生动有趣。

Shea的博客 1027

SAN存储与协议,了解SCSI、FC和ISCSI

在前面我们介绍SAN存储及iSCSI协议的时候了解到SAN存储其实是一个CS架构的系统。存储系统本身就是整个系统的服务端。以IP-SAN(也就是基于iSCSI的SAN存储)为例,其整体架构如图1所示。 图1 CS架构 对于存储系统来说,通常是由专业的存储厂商提供,比较知名的如EMC、NetAPP、IBM和日立等等。国内存储厂商也迅速崛起,比较知名的如华为、宏杉、浪潮和同友等等。另外,还有一些小的存储厂商,他们往往集中在某个领域,比如专注文件系统或者块存储等等。 除了专业的存储设备外,其实Linux

shuningzhang的专栏 2685

​ICLR 2023 | LightGCL: 简单且高效的图对比学习推荐系统

©PaperWeekly 原创 ·作者 |蔡旭恒单位 |香港大学研究方向 |推荐系统论文题目:LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation收录会议:ICLR 2023论文链接:https://arxiv.org/abs/2302.08191代码链接:https://github.co...

Paper weekly 1150

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

ICLR 2023 | LightGCL: 简单且高效的图对比学习推荐系统

近年来,图神经网络(Graph Neural Networks,或简称 GNN)在基于图的推荐系统上展现了良好的效果,而这得益于其整合相邻结点信息以进行协同过滤(Collaborative Filtering)的能力。总的来说,基于 GNN 的推荐模型在用户-物品交互图上进行多层的信息传递,以此挖掘高阶的(high-order)连接信息。很大一部分基于 GNN 的协同过滤模型采用了监督学习(Supervised Learning)的范式,而这需要大量而准确的带标签信息用以训练。

qq_43431934的博客 3195

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

论文笔记:LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation

ICLR 2023。

qq_40206371的博客 1375

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Simple Yet Effective Graph Contrastive Learning for Recommendation

图神经网络(GNN)是一种强大的基于图的推荐系统学习方法。最近,结合对比学习的gnn在处理高度稀疏数据时,在数据增强方案的推荐方面表现出了优异的性能。尽管它们取得了成功,但大多数现有的图对比学习方法要么在用户-项目交互图上执行随机增强(例如,节点/边缘扰动),要么依赖基于启发式的增强技术(例如,用户聚类)来生成对比视图。我们认为,这些方法不能很好地保持语义的内在结构,并且容易受到噪声扰动的影响。

回锅肉炒肉的博客 1327

SIGIR 2022 | 港大等提出超图对比学习在推荐系统中的应用

©PaperWeekly 原创 ·作者 | 夏良昊单位 | 香港大学研究方向 | 推荐系统论文题目:Hypergraph Contrastive Collaborative Filtering收录会议:SIGIR 2022论文链接:https://arxiv.org/pdf/2204.12200.pdf代码链接:https://github.com/akaxlh/HCC...

Paper weekly 3065

推荐系统领域最新研究进展论文整理

本次论文集合的方向主要包括基于Transformer的引用推荐评估[1]、推荐系统中语言解释的公平性[2]、工业级广告推荐的机器学习工程[3]、基于强化学习的推荐与推理[4]、多行为推荐中的因果干预公平性[5]、可信医疗诊断推荐系统[8]、基于循环神经切线核的序列推荐[9]、极简图对比学习推荐算法[13]、在线小说推荐中的可重复购买建模[14]、基于解耦图对比学习的评论推荐[19]、可解释指导的对...

fengdu78的博客 2782

论文阅读 Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation

title:Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation link:https://arxiv.org/pdf/2112.08679.pdf code:https://github.com/Coder-Yu/QRec from:SIGIR 2022 1. 导读 本文是针对图对比学习在推荐系统中的应用而提出的相关方法SimGCL。通常做对比学习的时候,需要对数据进行增.

qq_43431934的博客 1238

Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation

摘要 对比学习(CL)最近在推荐领域激发了富有成效的研究,因为它从原始数据中提取自我监督信号的能力与推荐系统解决数据稀疏性问题的需求非常一致。基于CL的推荐模型的一个典型途径是首先用结构扰动去进行增强用户-项目二部图,然后最大化不同图增强之间的节点表示一致性。尽管这种模式被证明是有效的,但性能提高的基础仍然是一个谜。在本文中,我们首先通过实验揭示,在基于CL的推荐模型中,CL通过学习更统一的用户/项目表示来操作,这可以隐式地减轻流行偏差。同时,我们揭示了过去被认为是必要的,只是发挥一个微不足道的作用。 .

ZZZ___bj的博客 3680
上一篇: 文献阅读分享:基于多模型融合与文本相似度的新闻情感分类与推荐系统设计
下一篇: LightGCN:为推荐系统简化图卷积网络的创新之作
Sheakan
博客等级 码龄7年 472粉丝 50原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值