文献阅读分享:XSimGCL - 极简图对比学习在推荐系统中的应用

【图对比推荐模型】SimGCL与XSimGCL:Towards Extremely Simple Graph Contrastive Learning for Recommendation 这段时间阅读了一下将对比学习应用到推荐系统中的一篇性能比较好的文章,对比了一下该文章作者在SIGIR‘22会议上发表的SimGCL模型和之后同作者在SCI一区中发布的XSimGCL模型。 阅读详情

XSimGCL: Towards Extremely Simple Graph Contrastive Learning for Recommendation

🌟 研究背景

随着推荐系统在电商、社交平台等领域的广泛应用,如何在数据稀疏的情况下提供准确的个性化推荐成为一大挑战。对比学习作为一种自监督学习方法,能够从无标签的原始数据中提取通用特征,从而缓解数据稀疏性问题。然而,对比学习在推荐系统中的具体作用机制尚未完全明晰,尤其是图增强在其中扮演的角色。现有的基于对比学习的推荐模型大多采用图增强来生成不同视图,但这些增强方法的有效性和必要性仍存在争议。

🔍 相关工作

在推荐系统领域,基于图神经网络(GNNs)的模型因其出色的用户-项目关系建模能力而备受关注。LightGCN作为其中的佼佼者,通过简化图卷积网络(GCN)的结构,高效地利用用户-项目交互数据进行推荐。然而,面对数据稀疏性问题,仅依靠图结构信息难以充分挖掘用户和项目的潜在特征。对比学习的引入为这一问题提供了新的解决方案。SGL模型通过节点/边dropout等图增强方法,最大化不同图视图下学习到的表示的一致性,取得了显著的性能提升。但也有研究表明,对比学习模型的性能并不总是依赖于复杂的图增强策略,这促使研究者重新审视对比学习在推荐系统中的应用。

🔄 模型图输入输出转变

XSimGCL模型的输入为用户-项目二分图的初始节点嵌入和邻接矩阵。与传统的基于图增强的对比学习模型不同,XSimGCL不再依赖于对图结构的扰动来生成不同视图,而是通过在每一层的聚合嵌入中添加不同的均匀随机噪声来实现。这些噪声相当于在嵌入空间中对节点进行微小的扰动,从而生成扰动表示。模型的输出为经过对比学习优化后的用户和项目嵌入,这些嵌入在保持与原始交互数据一致的同时,具有更加均匀的分布特性,有助于缓解推荐过程中的流行度偏差问题。

🧪 实验

实验部分,作者在四个大型且高度稀疏的基准数据集上对XSimGCL进行了全面评估,包括Yelp2018、Amazon-Kindle、Alibaba-iFashion和Amazon-Electronics。这些数据集涵盖了不同的推荐场景,具有不同的用户和项目数量以及交互密度。评估指标包括Recall@20和NDCG@20,分别从准确性和排名质量两个方面衡量模型的推荐性能。实验结果表明,XSimGCL在所有数据集上均取得了优异的性能,相较于基于图增强的对比学习模型,其在推荐准确性和训练效率上都有显著提升。

🚀 方法介绍 & 创新

XSimGCL的核心在于其创新的噪声增强方法和简化的模型架构。具体来说,XSimGCL通过在每一层的聚合嵌入中添加不同的均匀随机噪声来生成扰动表示,这些噪声向量的模长被限制为一个小常数ϵ,以确保扰动的幅度可控。同时,XSimGCL采用了跨层对比的策略,即对比不同层的嵌入表示,而非仅对比最终层的表示。这种跨层对比方式充分利用了不同层嵌入信息的差异性,有助于模型学习到更加丰富和鲁棒的特征表示。此外,XSimGCL通过共享单次传递的方式统一推荐和对比任务,极大地简化了模型的计算过程,减少了额外的前向和后向传播开销,提高了模型的训练效率。

SimGCL和XSimGCL 传统的SGL(图自监督学习)使得模型可以自行发掘任务特征,解决了数据稀疏和长尾分布的问题,SGL采用节点dropout、边dropout和随机游走三种方式对图结构进行扰动(图增强)进行对比学习,可以有效提高性能SGL主要解决传统推荐系统面临的数据稀疏和长尾分布问题。通过在图结构上进行数据增强,并结合对比学习机制,SGL能够有效提升模型的表征学习能力,从而改善推荐性能。 阅读详情

相关推荐

推荐系统领域对比学习和数据增强论文及代码集锦

推荐系统领域对比学习和数据增强论文及代码集锦

KingGugu的博客 2663

[SIGIR22]图对比推荐论文SimGCL/XSimGCL算法和代码简介

[SIGIR‘22]图对比推荐论文SimGCL/XSimGCL算法和代码简介

Blueghost19的博客 5800

推荐系统笔记(十四):极简图对比学习方法SimGCL

1)在基于CL的推荐模型中,CL的损失是核心,而图的增强只起次要作用。(2)优化CL损失可以得到更均匀的表示分布,能在推荐的场景中帮助消除偏差。(3)通过在表示中加入有向随机噪声,进行不同的数据增强和对比,可以显著提高推荐能力。...

qq_46006468的博客 3029

XSimGCL: Towards Extremely Simple GraphContrastive Learning for Recommendation 论文+代码解读

XSimGCL的推荐任务和对比任务在一个小批量中共享正向/反向传播,而不是拥有单独的管道。具体来说,SimGCL和XSimGCL都使用相同的输入:初始嵌入和邻接矩阵。 不同之处在于SimGCL对比了所学的两种最终表示,使用不同的噪声并依赖于普通表示进行推荐,而XSimGCL对两个任务使用相同的扰动表示,并用跨层对比替换SimGCL中的最终层对比。

zhao254014的博客 2438

SIGIR2022 | SimGCL: 面向推荐系统的极简图对比学习方法

嘿,记得给“机器学习与推荐算法”添加星标今天跟大家分享一篇发表在SIGIR2022上的不需要进行图数据增强的对比学习方法来进行推荐的文章。该文首先通过实验揭示了在基于对比学习范式的推荐模型中,对比学习通过学习更统一的用户/项目表示来进行推荐,这可以隐式地缓解流行度偏差。同时,还揭示了过去被认为是必要的图增强操作在推荐领域只是起到了很小的作用。基于这一发现,该文提出了一种简...

张小磊的博客 1575

Hierarchical Flow Partition(Top-down&&Bottom-up)

hierarchy flow是将设计切分成多个block,分别处理单个block,然后完成后,将它们进行拼接以完成最终的chip。一般划分为三个阶段:chip planning;physical budget就是pin assignmenthierarchy flow实现的方法有两种,一种是top-down,另一种是bottom-up,无论是哪种,都是都要通过flatten的方法分别全局范围进行优化实现。

qq_39493558的博客 3072

XSimGCL: Towards Extremely Simple GraphContrastive Learning for Recommendation

在XSimGCL中重新审视了对比学习在推荐中的应用,并研究了它如何增强图推荐模型。研究结果表明InfoNCE损失是决定性因素,它解释了大部分性能提升,而精心设计的图增强方法只起到次要作用。优化InfoNCE损失可以实现更均衡的表示分布,有助于在推荐场景中推广长尾物品。基于这一发现,文中提出了一种简单而有效的基于噪声的增强方法,通过对比学习可以平滑地调整表示分布的均匀性。还提出了一种极其简单的模型XSimGCL,为基于对比学习的推荐提供了一个超轻量级的架构。

m0_56321960的博客 927

形位公差标注的常见误区与优化策略

本文深入解析机械设计中形位公差标注的常见误区与优化策略,特别针对NX2406用户提供实用技巧。从标注冗余、基准选择到公差值设定等五大误区入手,结合工程图实例展示如何提升标注精度与效率,帮助工程师避免常见错误,优化设计流程,确保零件功能实现与制造可行性。

info6的博客 245

浅谈学术界SSL4REC技术——xSimGCL

本文介绍了xSimGCL模型,这是对SimGCL的改进版本,旨在简化图对比学习在推荐系统中的应用。作者指出传统图增强方法成本高且效果有限,转而提出在表示层通过添加噪声生成正样本对。xSimGCL进一步优化计算成本,改为在不同网络层之间进行对比学习,以最终层输出为锚点,其他层加噪声形成对比样本。这种方法只需一次前向传播即可同时完成主任务和对比任务,显著提高了效率。论文论证了不同层表示加上适当噪声能产生理想的对比效果,同时不影响主任务训练。该方案在保持性能的同时大幅降低了计算复杂度。

2401_82977824的博客 349

解决屏幕不亮难题:慷智SerDes DE信号极性配置避坑指南

本文深入探讨了基于慷智AIM95x系列SerDes芯片的嵌入式显示系统开发中,因DE信号极性配置不匹配导致屏幕不亮的典型故障。文章详细解析了DE信号的核心作用与极性定义,提供了慷智SerDes芯片中DE极性寄存器的具体配置方法与调试记录,并给出了从隔离问题、对比时序到波形验证的系统性排查流程,帮助工程师快速定位并解决此类隐蔽问题。

weixin_29185493的博客 141

成分数据的闭合效应对地球化学数据的影响及其解决方案

封闭效应 (Closure Effect),也称为常数和效应 (Constant Sum Effect),是地球化学数据分析中一个需要特别注意的统计现象。它的产生是由于我们通常使用成分数据 (Compositional Data)百分比 (%)百万分率 (ppm)由于这些数据表示的是各组分占总体的比例,它们的总和必然是一个常数 (例如 100% 或 1,000,000 ppm)。这意味着每个元素的含量不是独立的,而是与其他元素的含量相互制约。改变其中一个元素的含量必然会影响其他元素的相对比例。

qq_59349063的博客 1538

SimGCL:Are Graph Augmentations Necessary? Simple GraphContrastive Learning for Recommendation 论文代码解读

开发了一种简单的无图增强的CL方法,以一种更直接的方式来调节表示分布的均匀性。通过在表示中加入有向随机噪声,进行不同的数据增强和对比,提出的方法显著提高了推荐能力

zhao254014的博客 2347

Gamit 数据处理,相关的文件配置

一、处理前准备 1、在主文件夹内新建test项目文件,项目内新建brdc、igs和rinex三个文件夹,分别存放广播星历,精密星历几观测值文件,所用的命令分别为sh_get_nav、sh_get_orbits和sh_get_rinex (若文件为.Z,用gunzip命令解压,若仍为d,用命令sh_crx2rnx -f 命令解压为o文件) 2、进入test项目文件夹,链接tables,运行 sh_setup -yr 2015 -apr itrf08_com.apr 3、生成station.info文件。 将t

CodeDoraemon的博客 3375

推荐系统论文阅读总结:ICLR 2023 LightGCL 简单且高效的图对比学习推荐系统

图神经网络(GNN)是基于图的推荐系统的一种强大的学习方法。近年来,结合对比学习的gnn在推荐数据增强方案方面表现出了优异的性能,其目标是处理高度稀疏的数据。尽管它们取得了成功,但大多数现有的图对比学习方法要么在用户-项目交互图上执行随机增强(例如,节点/边缘扰动),要么依赖于基于启发式的增强技术(例如,用户聚类)来生成对比视图。我们认为这些方法不能很好地保留固有的语义结构,并且容易受到噪声干扰的影响。在本文中,我们提出了一个简单而有效的图对比学习范式LightGCL,它减轻了这些问题,损害了基于cl的推荐

cyzz523的博客 1812

5G边缘计算:核心网下沉革命

5G核心网与边缘计算的深度融合,通过UPF下沉、本地流量卸载等关键技术,实现了低时延、高效能的分布式计算架构。该技术将数据处理从核心网向边缘节点转移,支持工业控制、车联网、远程医疗等场景的1-10ms超低时延需求。5G核心网的SBA架构和CUPS设计为边缘计算提供了灵活部署基础,SMF、PCF等网元协同确保业务质量与可靠性。

Qinti_mm的博客 1402

玩转大语言模型——使用华为官方MindIE-Server镜像方式部署DeepSeek模型

本文将详细介绍在国产Linux系统欧拉中使用华为官方MindIE-Server镜像方式部署DeepSeek模型。一般情况下华为昇腾800I服务器可以推理DeepSeek-R1-70B,4张300I-Duo服务器可以推理DeepSeek-R1-32B。在配置中尽量贴合官方文档,包含用到的一些其他的技术细节,便于零基础入门使用。

艾醒的博客 1289

LIGHTGCL: 图对比学习在推荐系统中的应用

在这篇ICLR 2023的论文中,作者提出了一种新颖的图对比学习框架——LIGHTGCL,用于图基础的推荐系统。该方法通过奇异值分解(SVD)增强用户-项目交互图结构,以提高推荐系统的鲁棒性和效率。本文将重点介绍LIGHTGCL的核心方法和创新点,并尝试通过一些图像符号使内容更加生动有趣。

Shea的博客 1027

Matlab安装硬件支持包、simulink离线安装硬件支持包安装,离线安装ESP32、stm32等安装包,Are you up-to-date on SoftWare Maintenance?

注意:如果提示出现“没有可从此位置安装的兼容支持包后,这个问题,请查看步骤5,是不是没有按照步骤5进行操作.一般情况下出现“没有可从此位置安装的兼容支持包”后,重新安装选择了默认路径就可以成功。如果不是很清楚,直接安装在默认的文件夹下面,即使这个文件夹下没有matlab相关的文件夹,也要这么下载,没有为什么,切记尽量按默认路径安装,更改下载的路径不成功,别怪我没提醒。:下载到哪里非常重要,如果下载的不是默认的路径下,就需要将其中这个的是这个archives文件夹,连同其他文件一并要复制出来,拷贝到。

pvmsmfchcs的博客 1746

​ICLR 2023 | LightGCL: 简单且高效的图对比学习推荐系统

©PaperWeekly 原创 ·作者 |蔡旭恒单位 |香港大学研究方向 |推荐系统论文题目:LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation收录会议:ICLR 2023论文链接:https://arxiv.org/abs/2302.08191代码链接:https://github.co...

Paper weekly 1150

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

ICLR 2023 | LightGCL: 简单且高效的图对比学习推荐系统

近年来,图神经网络(Graph Neural Networks,或简称 GNN)在基于图的推荐系统上展现了良好的效果,而这得益于其整合相邻结点信息以进行协同过滤(Collaborative Filtering)的能力。总的来说,基于 GNN 的推荐模型在用户-物品交互图上进行多层的信息传递,以此挖掘高阶的(high-order)连接信息。很大一部分基于 GNN 的协同过滤模型采用了监督学习(Supervised Learning)的范式,而这需要大量而准确的带标签信息用以训练。

qq_43431934的博客 3195

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

论文笔记:LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation

ICLR 2023。

qq_40206371的博客 1375

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Simple Yet Effective Graph Contrastive Learning for Recommendation

图神经网络(GNN)是一种强大的基于图的推荐系统学习方法。最近,结合对比学习的gnn在处理高度稀疏数据时,在数据增强方案的推荐方面表现出了优异的性能。尽管它们取得了成功,但大多数现有的图对比学习方法要么在用户-项目交互图上执行随机增强(例如,节点/边缘扰动),要么依赖基于启发式的增强技术(例如,用户聚类)来生成对比视图。我们认为,这些方法不能很好地保持语义的内在结构,并且容易受到噪声扰动的影响。

回锅肉炒肉的博客 1327

SIGIR 2022 | 港大等提出超图对比学习在推荐系统中的应用

©PaperWeekly 原创 ·作者 | 夏良昊单位 | 香港大学研究方向 | 推荐系统论文题目:Hypergraph Contrastive Collaborative Filtering收录会议:SIGIR 2022论文链接:https://arxiv.org/pdf/2204.12200.pdf代码链接:https://github.com/akaxlh/HCC...

Paper weekly 3065

推荐系统领域最新研究进展论文整理

本次论文集合的方向主要包括基于Transformer的引用推荐评估[1]、推荐系统中语言解释的公平性[2]、工业级广告推荐的机器学习工程[3]、基于强化学习的推荐与推理[4]、多行为推荐中的因果干预公平性[5]、可信医疗诊断推荐系统[8]、基于循环神经切线核的序列推荐[9]、极简图对比学习推荐算法[13]、在线小说推荐中的可重复购买建模[14]、基于解耦图对比学习的评论推荐[19]、可解释指导的对...

fengdu78的博客 2782

论文阅读 Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation

title:Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation link:https://arxiv.org/pdf/2112.08679.pdf code:https://github.com/Coder-Yu/QRec from:SIGIR 2022 1. 导读 本文是针对图对比学习在推荐系统中的应用而提出的相关方法SimGCL。通常做对比学习的时候,需要对数据进行增.

qq_43431934的博客 1238

Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation

摘要 对比学习(CL)最近在推荐领域激发了富有成效的研究,因为它从原始数据中提取自我监督信号的能力与推荐系统解决数据稀疏性问题的需求非常一致。基于CL的推荐模型的一个典型途径是首先用结构扰动去进行增强用户-项目二部图,然后最大化不同图增强之间的节点表示一致性。尽管这种模式被证明是有效的,但性能提高的基础仍然是一个谜。在本文中,我们首先通过实验揭示,在基于CL的推荐模型中,CL通过学习更统一的用户/项目表示来操作,这可以隐式地减轻流行偏差。同时,我们揭示了过去被认为是必要的,只是发挥一个微不足道的作用。 .

ZZZ___bj的博客 3680
上一篇: 文献阅读分享:基于多模型融合与文本相似度的新闻情感分类与推荐系统设计
下一篇: LightGCN:为推荐系统简化图卷积网络的创新之作
Sheakan
博客等级 码龄7年 472粉丝 50原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值