WWW21-Graph Contrastive Learning with Adaptive Augmentation 笔记

已于 2022-05-03 13:20:50 修改
阅读量452 收藏
点赞数
分类专栏： 图神经网络 学习笔记 文章标签： 机器学习 深度学习 人工智能
于 2022-05-03 11:58:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40248634/article/details/124547831
版权
该博客介绍了无监督图表示学习的研究，重点是GCA（Graph Contrastive Learning with Adaptive Augmentation）方法。GCA利用node-level的对比损失，引入了inter-view和intra-view的负样本设计，同时结合了GNN编码器和投影头。此外，作者提出了一系列启发式自适应的图增强策略，以提升模型的表现。详细内容可在提供的链接中查阅。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

WWW21-Graph Contrastive Learning with Adaptive Augmentation

== ICML21-workshop Deep Graph Contrastive Representation Learning

在这里插入图片描述
https://github.com/CRIPAC-DIG/GCA
\这篇文章是做无监督图表示学习的，使用了node-level 上的contrastive loss

在这里插入图片描述
这个contrastive loss 就是在负样本的设计上多了inter-view 和 intra-view, 其他跟普通的contrastive 方法一样，也有GNN encoder , 有projection header。
在这里插入图片描述
在这里插入图片描述
作者还提出了几种启发式的自适应的graph augmentation 的方法，详情可以参考 https://blog.youkuaiyun.com/cziun/article/details/119334558

Graph Contrastive Learning with Adaptive Augmentation
欢迎订阅 -- 小源笔迹
07-09 1121
对比学习在无监督图表示学习中取得了很好的效果，大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性。其中，图上的增强方式是非常重要的部分鲜有人探索。我们认为数据增强模式应该保留图固有的属性和结构，可以使模型学到对于不重要的结点和边扰动不敏感的表示信息。但目前的方法大多采用均质的增强方法如均匀的去边，或扰动特征，只能达到次优效果。本文借助先验信息从拓扑和语义角度引入自适应的增强策略。具体来说，在拓扑角度，采用基于结点的中心性来衡量连接结构的重要性的方式设计增强模式；在特征维度，给不
【论文阅读】Graph Contrastive Learning with Adaptive Augmentation
Lereno的博客
04-19 2876
Graph Contrastive Learning with Adaptive Augmentation 用于图数据增强的图对比学习 文章目录Graph Contrastive Learning with Adaptive Augmentation用于图数据增强的图对比学习摘要1 引言二、使用步骤1.引入库2.读入数据总结 摘要 近年来，对比学习（Contrastive Learning，CL）已成为一种成功的无监督图表示学习方法。大多数图的CL方法首先对输入图进行随机增强，以获得两个图的视图，并最大化两
WWW21 GCA： Graph Contrastive Learning with Adaptive Augmentation
qq_40926715的博客
10-13 794
GRACE， adaptive mask， SSL
【论文阅读】GCA：Graph Contrastive Learning with Adaptive Augmentation
cziun的博客
08-03 5641
代码链接：https://github.com/CRIPAC-DIG/GCA 基于自适应增强的图对比学习摘要1 引言2 相关工作3 方法3.1 准备工作3.2 对比学习框架3.3 自适应图增强3.3.1 拓扑级增强3.3.2 节点属性级增强 摘要 近年来，对比学习（CL）已成为一种成功的无监督图表示学习方法。大多数图CL方法首先对输入图进行随机增强，以获得两个图视图，并最大限度地提高两个视图的表示一致性。尽管图CL方法的蓬勃发展，但图增强方案的设计——CL中的一个关键组成部分——仍然很少被探索。 我们认为，
Graph Contrastive Learningwith Reinforcement Augmentation
chairuilin的博客
10-11 973
IJCAI24推荐指数： #paper/⭐⭐⭐领域：图增强+强化学习。
Knowledge Graph Contrastive Learning for Recommendation（KGCL）阅读笔记
m0_58802684的博客
08-18 1799
现有知识图谱（KG）的稀疏性和噪声使得项目-实体依赖关系偏离了反映其真实特征，从而显着放大了噪声效应，阻碍了用户偏好的准确表示。为了填补这一研究空白，作者设计了一个通用的知识图对比学习框架（KGCL），该框架可以减轻知识图增强推荐系统的信息噪声。本篇论文中涉及了知识图谱和对比学习相关理论，因此本篇文章先简要介绍一下知识图谱和对比学习以及其在推荐系统上的应用，然后再解释论文核心原理。
论文笔记：Cross-modal Contrastive Learning for Multimodal Fake News Detection
最新发布
Sun_victory的博客
11-29 2531
自学论文笔记
论文阅读：Graph Contrastive Learning with Augmentations
yihanyifan的博客
06-17 1258
图结构数据上的广义、可转移和鲁棒表示学习仍然是当前图神经网络(GNNs)面临的一个挑战。与用于图像数据的卷积神经网络(CNNs)不同，对gnn的自我监督学习和预训练的探索较少。在本文中，我们提出了一个图对比学习(GraphCL)框架来学习图数据的无监督表示。首先，我们设计了四种图增广来包含各种先验。然后，我们在四种不同的设置中系统地研究了图增强的各种组合对多个数据集的影响:半监督、无监督、迁移学习以及对抗性攻击。结果表明，即使不调优扩展范围，也不使用复杂的GNN架构，我们的GraphCL框架可以产生与最先进
Graph Contrastive Learning with Augmentations
m0_37525990的博客
03-22 939
Graph Contrastive Learning with Augmentations 图增强对比学习 孪生网络框架，用于学习数据的无监督学习表示。 设计了四种不同的图扩充方法 对比学习目的：通过不同扩充视图下最大化特征一致性来学习表示形式。 总结 基于孪生网络的对比学习，提出了图数据上的增强方式 ...
直播 | 北京邮电大学徐逸辰：图对比学习研究进展
Paper weekly
05-17 809
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而...
顶会论文看图对比学习（GNN+CL）研究趋势
sinat_22510827的博客
07-03 814
随着对比学习（Contrastive Learning）在 CV、NLP 等领域大放异彩，其研究热度近年来也逐步走高。在图学习领域，由于图（Graph）数据也存在缺少标签或难以标注的问题，自 2020 年来，研究者们也着力于将对比学习技术应用于图表示学习任务上，取得了十分不错的效果，这一系列算法研究称为 图对比学习（Graph Contrastive Learning）。由于图是一种离散的数据结构，且一些常见的图学习任务中，数据之间往往存在紧密的关联（如链接预测）。如何针对这些特性设计图对比学习算法、对比学
论文笔记：NIPS 2020 Graph Contrastive Learning with Augmentations
qq_44015059的博客
02-17 1596
前言 本文主要提出在图对比学习大框架下的图数据增强的若干方法。 概括来说，本文提出了一种图对比学习框架来无监督的完成图表示学习，首先作者提出了基于各种先验信息的四种图数据增强方法。然后，作者分析了在四种不同的图数据增强条件下，不同组合对多个数据集的影响:半监督、无监督、迁移学习以及对抗性攻击。 作者为 GNN 的预训练提出了基于图数据增强的对比学习框架来解决图中数据异质性的挑战，本文的主要贡献如下： 作者提出了四种图数据增强的方法，并且四种方法对图数据施加一定的先验性，并对范围和模式进行参数化。 作者提出
图对比学习入门 Contrastive Learning on Graph
热门推荐
YoHu人家的博客
11-21 2万+
对比学习作为近两年的深度学习界的一大宠儿，受到了广大研究人员的青睐。而图学习因为图可以用于描述生活中广泛出现的非欧式数据，具有广大的应用前景。本文从对比学习入手，再介绍图对比学习模型，以及近年的一些有意思的模型。 目录对比学习(Contrastive Learning)Gelato Bet （冰淇淋赌注）与何凯明组的MoCo模型监督学习vs自监督学习生成式学习与对比学习对比学习的工作方式对比学习范例从DIM(Deep InfoMax)到DGI(Deep Graph InfoMax)Deep InfoMax（
【论文阅读】Graph Contrastive Learning with Augmentations
cziun的博客
08-06 1725
图增强对比学习摘要1 引言2 相关工作3 方法3.1 图的数据增强3.2 图对比学习4 数据增强在图对比学习中的作用4.1 数据增强至关重要。增强组合好处。4.2 有效图增强的类型、范围和模式4.3 与“harder”任务不同，过于简单的对比任务没有帮助。4 与最先进的方法进行的比较 摘要 对于GNN来说，在图结构数据上的可推广、可转移和鲁棒的表示学习仍然是一个挑战。本文提出了一个用于学习图的无监督表示的图对比学习框架——GraphCL。首先，设计了四种类型的图增强器来合并各种先验。然后，我们系统地研究了不
2020[NIPS] Graph Contrastive Learning with Augmentations 用于图数据增强的图对比学习
YoHu人家的博客
11-04 9542
目录AbstractIntroduction研究意义与难点贡献概念补充Method图的数据增强图对比学习GraphCLDiscussion图对比学习中数据增强扮演的角色有效图扩充的类型、范围和模式ComparsionConclusionBroader Impact Abstract ​ 对图结构化数据的通用性，可传递性和鲁棒性表示学习仍然是当前图神经网络（GNN）面临的挑战。与针对卷积神经网络（CNN）开发的图像数据不同，针对GNN的自我监督学习和预训练的探索较少。在本文中，我们提出了一种图对比学习（Gr
Make GNN Great Again: GNN 上的预训练和自监督学习
Kaiyuan_sjtu的博客
05-10 1934
© 作者｜侯宇蓬机构｜中国人民大学高瓴人工智能学院硕士一年级导师｜赵鑫教授研究方向 |图机器学习和推荐系统1 引言近些年来，对图神经网络（GNN）的研究如火如荼。通过设计基于 GNN 的...
【NLP】近期必读ICLR 2021相关论文
zenRRan的博客
10-31 2261
导读本期的关注焦点是NLP的6篇论文。接下来我们还将精选模型压缩、预训练等热点领域，为大家带来系列论文解读，敬请关注。点击文末“阅读原文”，获取正在接受盲审的论文列表。NLPCoDA: ...
矩阵Jordan标准型过渡矩阵的求解
weixin_40248634的博客
09-20 1万+
引用自： 程云鹏 《矩阵论》 第三版
graph contrastive learning with augmentations
03-16
图形对比学习是一种利用数据增强技术来学习图形表示的方法。它通过将同一图形的不同版本（例如旋转、缩放、裁剪等）作为正样本对比，将不同图形的版本作为负样本对比，从而学习到更加鲁棒和泛化性能更好的图形表示。这种方法已经在计算机视觉领域取得了很好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值