Self-supervised Graph Learning for Recommendation-----SIGIR2021（个人笔记）

原创 已于 2022-05-13 14:22:05 修改 · 808 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #推荐算法

于 2022-05-13 13:58:14 首次发布
本文介绍了SIGIR2021上一篇关于自监督图学习（SGL）在推荐系统中的应用的研究。针对基于GCN的推荐模型存在的稀疏监督信号、数据分布不均和交互噪声问题，SGL提出了一种新的学习范式，通过图结构的数据增强和对比学习来提供辅助信号，提高了推荐模型的性能。在三个基准数据集上的实验表明，SGL在减少程度偏差、增加对交互噪声的鲁棒性方面表现优越。

论文：自监督图学习推荐系统 （SIGIR2021）

文章链接：http://staff.ustc.edu.cn/~hexn/papers/sigir21-SGL.pdfhttp://staff.ustc.edu.cn/~hexn/papers/sigir21-SGL.pdf

 Code:https://github.com/wujcan/SGL-TensorFlowhttps://github.com/wujcan/SGL-TensorFlow

GitHub - wujcan/SGL-Torch: SGL PyTorch versionhttps://github.com/wujcan/SGL-Torch

1. 前言

1.1 提出的问题（当前基于GCN的推荐模型）

  • 稀疏监督信号 ：大多数模型在监督学习范式下处理推荐任务，监督信号来自观察到的用户项目交互。然而，与整个交互空间相比，观察到的交互非常稀疏，不足以学习高质量的表示。
  • 不均的数据分布 : 观察到的相互作用通常呈现幂律（长尾）分布，其中长尾由缺乏监督信号的低度项（冷门项目）组成。相比之下，在邻域聚合和监督损失中，高次项（热门项目）出现的频率更高，从而对表示学习产生更大的影响。因此，GCN很容易偏向于热门项目，从而忽略了冷门（长尾）项目。
  • 噪声的交互干扰 ：用户提供的大多数反馈都是隐式的（例如，点击、查看），而不是显式的（例如，评分、喜欢/不喜欢）。因此，观察到的交互通常包含噪音，例如，用户被误导点击了某个商品，在浏览或使用后感觉并不感兴趣。GCNs中的邻域聚合方案扩大了交互对表示学习的影响，使学习更容易受到交互噪声的影响。

1.2 做出的贡献 

  • 我们设计了一种新的学习范式SGL，它将节点自动识别为自我监督任务，为表示学习提供辅助信号
最低0.47元/天 解锁文章
论文阅读《Self-supervised Graph Learning for Recommendation》
qq_43431934的博客
04-12 1208
总结 文章认为当前的推荐算法往往是基于GCN的结构监督学习，更侧重于网络中度数高（即发生交互多）的节点而忽视了低度数节点，此外还容易受到交互噪声的影响。因此文章将自监督学习Self-supervised Learning引入到图结构数据上，提出了SGL框架，通过利用节点舍弃、边舍弃和随机游走三种方法，为同一个节点生成不同视图，从而达到了在原有数据上的增强，进一步提高了推荐算法的稳健型和效果。下图为传统监督图学习和自监督图学习的区别： 1 GCN结构和监督学习 现有推荐算法往往都基于GCN结构，即通
SIGIR 2021 Self-supervised Graph Learning for Recommendation文献笔记
m0_68019326的博客
05-14 532
本文作者探讨了基于user-item图的自监督学习SGL，从而提高GCNs推荐的准确性和鲁棒性。其思想是在经典的有监督推荐任务的基础上增加一个辅助的自我监督任务，通过自我判别来加强节点表示学习。
SGL：Self-supervised Graph Learning for Recommendation论文
zhao254014的博客
09-21 1613
正对的辅助监督促进了同一节点的不同视图之间的一致性来进行预测，而负对的监督则加强了不同节点之间的差异
Self-supervised Graph Learning for Recommendation(SIGIR2021)
weixin_43401022的博客
01-12 1240
原文链接Self-supervised Graph Learning for Recommendationhttps://arxiv.org/abs/2010.10783v4 INTRODUCTION 1、目前基于GCN的推荐模型仍存在一些局限性： ①Sparse Supervision Signal---稀疏的监督信号 ②Skewed Data Distribution---长尾效应 ③Noises in Interactions---隐反馈常常包含噪声 为解决以上问题，引入自监督self..
Self-supervised Graph Learning for Recommendation
ZZZ___bj的博客
11-29 5282
对于推荐来说，用户-商品图的表示学习已经从使用单个ID或交互历史发展到利用高阶邻居，这导致了图卷积网络(GCNs)的成功推荐，如PinSage和LightGCN。尽管有效，但我们认为它们存在两个局限性：（1）高阶节点对表示学习有更大的影响，恶化了低阶（长尾）商品的推荐；（2）因为邻域聚合方案进一步扩大了观察边缘的影响，表示容易受到噪声交互的影响。 在本研究中，我们探索了在用户-商品图上的自监督学习，以提高GCN作为推荐的准确性和鲁棒性。该思想是用一个辅助的自我监督任务来补充经典的推荐监督任务，通过自我鉴别.
文献阅读（51）SIGIR2021-Self-supervised Graph Learning for Recommendation
优快云TianJi的博客
09-05 3537
本文是对《Self-supervised Graph Learning for Recommendation》一文的浅显翻译与理解，如有侵权即刻删除。
SGL：Self-supervised Graph Learning for Recommendation
m0_56321960的博客
11-13 540
通过「数据增强」来改变图结构，使得图模型于不会过于依赖某些「边」或者某些「高度结点」。通过「对比学习」同一结点的不同视图表征，模型能够有效地发现「最有意义的模式」，尤其是结点的图结构信息，同时还能挖掘困难负样本，提高模型的区分能力。
【GCN-RS】对比学习SGL：Self-supervised Graph Learning for Recommendation (SIGIR‘21)
chadlee
11-18 1808
Self-supervised Graph Learning for Recommendation (SIGIR‘21) 还是何向南组提出的图自监督学习框架，对用户-物品的二部图上的节点、边做dropout等方法实现数据增强，产生许多子视图，在多个子视图上进行对比学习，实现自监督。再配合监督学习，多任务学习。 作者提出的图自监督学习框架SGL可以改善长尾、提高鲁棒。SGL只是一个框架，里面的图表示学习方法可以用LightGCN等。 数据增强 一般GNN对节点编码的方式： Z1(l)=H(Z1(l−1),G
Self-supervised Graph Learning for Recommendation(SGL)
qq_42018521的博客
07-09 1493
（作者给出了Pytorch和Tensorflow两个版本）本文提出了一种应用于的框架。核心的思想是，对用户-物品二部图做，增强后的图可以看做原始图的子视图；在子视图上使用任意的图卷积操作，如LightGCN来提取结点的表征，对于同一个结点，多个视图就能形成多种表征；然后借鉴[5]的思路，构造自监督学习任务：最大化同一个结点不同视图表征之间的相似性，最小化不同结点表征之间的相似性；最后和联合起来，构成多任务学习的范式，具体如下图所示。
Self-supervised Graph Learning for Recommendation 详解
a13683857889的博客
12-06 535
基于用户-物品图的推荐表示学习已经从使用单一 ID 或交互历史发展到利用高阶邻居。这导致了图卷积网络(GCNs)在推荐方面的成功，如 PinSage 和 LightGCN。尽管具有有效性，但我们认为它们存在两个局限性：(1)高阶节点对表示学习的影响更大，使低阶(长尾)项目的推荐恶化;(2)由于邻域聚集方案进一步扩大了观测边缘的影响，表征容易受到噪声相互作用的影响。在这项工作中，我们探索了用户项图的自监督学习，以提高GCNs推荐的准确性和鲁棒性。
经典图推荐系统论文Self-supervised Graph Learning for Recommendation算法及代码简介
Blueghost19的博客
03-24 1834
经典图推荐系统论文Self-supervised Graph Learning for Recommendation算法及代码简介
文献阅读《Self-Supervised Graph Transformer on Large-Scale Molecular Data》
EE呈双的博客
12-09 3317
这篇文章是腾讯AI Lab和清华大学合作，投稿在2020年NeurlPS上的文章，主要的工作是设计了一个预训练模型，能够在大规模的无标签的化学分子数据上进行自监督训练，使得模型在下游任务的泛化性更强。接下来进入这篇文章的大概解读。 一、任务背景 在人工智能驱动的药物设计和发现中，如何获得分子的信息表示是至关重要的先决条件。近年来，很多研究将分子抽象为图（Graph），并使用图神经网络（GNNs）进行分子表示学习。但是有两个问题阻碍了GNNs在真实场景中的使用:（1）用于监督训练的有标签分子数据不足；（2.
推荐系统新星：Self-supervised Graph Learning（SGL）
最新发布
gitblog_00027的博客
06-05 721
推荐系统新星：Self-supervised Graph Learning（SGL） 去发现同类优质开源项目:https://gitcode.com/ 在信息爆炸的时代，个性化推荐系统已经成为连接用户与海量信息的桥梁。近期，我们在SIGIR 2021大会上提出了一种创新的深度学习模型——SGL，全称为Self-supervised Graph Learning。该模型基于TensorFlow实现，...
【论文阅读】Self-Supervised Graph Representation Learning via Global Context Prediction
grove976的博客
11-11 1283
论文地址: https://arxiv.org/abs/2003.01604 0 摘要 为了充分利用快速增长的无标签网络数据，本文介绍了一种新的自监督策略，通过利用数据本身 的自然监督来进行图表示学习 我们研究全局上下文是否可以成为学习有用的节点表示的监督信号的来源 随机选择图中给的几对节点，训练一个精心设计的神经网络来预测一个节点相对于另一个节点的上下文位置 1 介绍 应该学习什么一直是无监督学习的核心问题 在没有手工标注的情况下，如何设计合适的目标函数来学习理想的节点表示是一个具有挑战性的问题 如何.
SIGIR‘21|SGL基于图自监督学习的推荐系统
木东的博客
10-09 2663
本篇文章主要介绍王翔、何向南老师团队在SIGIR2021上发表的文章SGL，Self-supervised Graph Learning for Recommendation[1]。这篇文章提出了一种应用于用户-物品二分图推荐系统的图自监督学习框架。核心的思想是，对输入的二分图，做结点和边的dropout进行数据增强，增强后的图可以看做原始图的子视图；在子视图上使用任意的图卷积神经网络，如LightGCN[2]来提取结点的表征，对于同一个结点，多个视图就能形成多种表征；然后借鉴对比学习[5]的思路，构造自监
推荐系统笔记（九）：SGL --利用自监督对比学习缓解推荐系统长尾效应
qq_46006468的博客
07-30 3708
SGL是模型不可知框架，采用用户项图上的自监督学习来弥补数据集稀疏和噪声影响的不足。论文中通过实验证明了SGL长尾推荐、训练收敛和抗噪声交互鲁棒性方面的优势。
【论文笔记】“When Does Self-Supervision Help Graph Convolutional Networks“
BIT_CABINZ
12-05 644
未经同意，禁止转载。 文章目录未经同意，禁止转载。【论文笔记】"When Does Self-Supervision Help Graph Convolutional Networks"主要内容相关背景基于图的半监督学习 (Graph-based semi-supervised learning)自监督学习 (Self-supervised learning)基于图的对抗性攻防 (Adversarial attack and defense on graphs)已有的上游训练方法预训练和微调 (Pretra
简单好用！推荐中的自监督图神经网络
weixin_45519842的博客
02-22 1307
数据的偏态分布、噪声等问题在机器学习中广泛存在，极大的限制了模型的性能。自监督学习可能是缓解上述问题的有效途径！微软亚洲研究院、中国科学技术大学、新加坡国立大学的一众大佬联合提出了SGL模...
ICML2021论文笔记《Self-supervised Graph-level Representation Learning with Local and Global Structure》
weixin_44031582的博客
12-27 3035
ICML2021论文笔记《Self-supervised Graph-level Representation Learning with Local and Global Structure》 摘要 本文研究了无监督/自监督的全图表示学习，这在药物和材料发现中的分子性质预测等许多任务中都是至关重要的。现有的方法主要集中在保留不同图实例之间的局部相似性结构，但没有发现整个数据集的全局语义结构。在本文中，我们提出了一个统一的框架，称为局部实例和全局语义学习(GraphLoG)，用于自监督的全图表示学习。具体来
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值