An Empirical Study of Graph Contrastive Learning

最新推荐文章于 2024-10-11 21:20:05 发布
最新推荐文章于 2024-10-11 21:20:05 发布
阅读量553 收藏
点赞数 1
分类专栏： 机器学习 图论和图神经网络 文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sb985/article/details/125614698
版权
本文深入探讨了图对比学习的各个方面，包括数据增强、对比模式、对比目标和负采样策略。研究发现，拓扑增强对于提高GCL性能至关重要，而InfoNCE目标函数在多数情况下效果最佳。此外，对比模式应与下游任务粒度一致，以优化学习表示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要
图对比学习在图表示学习领域树立了新的范式，不需要人工标注信息。但对GCL的分析却寥寥无几。本文通过分析一般化的GCL范式的各个部分包括增强函数，对比模式，对比目标和负采样技术，然后分析各个组件之间的相互作用。实验结论显示，简单的拓扑增强可以生成稀疏视图带来不错的性能提升；对比模型应该与最终任务的粒度一致。

引言
一个经典的图对比学习方法是首先通过对输入的随机增强构建多个图视图，然后通过对比正负样本学习表示。以每个节点作为中心节点为例，正样本一般是其他视图中表示一致的一些节点，而负样本则是在该Batch中的给定图或者其他图中选择其他节点作为负样本。

尽管图对比学习已经取得了很大的成功，但是已有工作只是在模型级别做了评估，对于到底是什么因子影响GCL的效果尚未可知。为了分析这些问题，我们首先提出了一个一般化的对比范式，将之前的工作分解为四个部分分别为1）数据增强函数，2）对比模式，3）对比目标函数，4）负采样策略

我们的工作企图回答如下三个问题：
1）一个有效的GCL算法中最重要的组成部分是什么?
2）不同的设计考虑如何影响模型性能?
3）这些设计考虑是否有利于某些特定类型的数据或终端任务？

为设计高效的GCL算法，实验

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Graph Contrastive Learning with Adaptive Augmentation
欢迎订阅 -- 小源笔迹
07-09 1093
对比学习在无监督图表示学习中取得了很好的效果，大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性。其中，图上的增强方式是非常重要的部分鲜有人探索。我们认为数据增强模式应该保留图固有的属性和结构，可以使模型学到对于不重要的结点和边扰动不敏感的表示信息。但目前的方法大多采用均质的增强方法如均匀的去边，或扰动特征，只能达到次优效果。本文借助先验信息从拓扑和语义角度引入自适应的增强策略。具体来说，在拓扑角度，采用基于结点的中心性来衡量连接结构的重要性的方式设计增强模式；在特征维度，给不
Graph Contrastive Learning 图对比学习GCL
最新发布
m0_51448653的博客
10-12 1407
一般意义上，图对比学习是一种针对图数据的自监督学习算法。对给定的大量无标注图数据，图对比学习算法旨在训练出一个图编码器，目前一般指图神经网络（Graph Neural Network, GNN）。由这个 GNN 编码得到的图表示向量，可以很好地保留图数据的特性，并进一步在无监督、半监督、迁移学习以及鲁棒性测试等实验设置下进行测试，并应用于社交网络、蛋白质交互网络、分子结构、学术引用网络等多个场景中。随机采样一批（batch）图；对每一个图进行两次随机的数据增强（如删除若干条边（edge）），增强后。
Graph Contrastive Learningwith Reinforcement Augmentation
chairuilin的博客
10-11 953
IJCAI24推荐指数： #paper/⭐⭐⭐领域：图增强+强化学习。
Graph Contrastive Learning with Augmentations
weixin_45731480的博客
10-09 283
图结构数据的可泛化、可迁移和鲁棒的表示学习仍然是当前图神经网络（GNN）的一个挑战。与针对图像数据的卷积神经网络 (CNN) 开发的技术不同，GNN 对自监督学习和预训练的探索较少。在本文中，我们提出了一种图对比学习（GraphCL）框架，用于学习图数据的无监督表示。我们首先设计四种类型的图增强来合并各种先验。然后，我们在四种不同的设置中系统地研究图增强的各种组合对多个数据集的影响：半监督、无监督、迁移学习以及对抗性攻击。
RIPGeo参文35（SimGRACE）：A simple framework for graph contrastive learning without data augmentation
sinat_41942180的博客
03-16 848
WWW, 2022.文章，并且可能在增广不当时导致语义变化的问题，基于扰动后的encoder可以保持图数据语义的分析和发现，提出无需的对比学习框架SimGRACE，该方法利用不同的图编码器作为对比视图的生成器，比较两个不同编码器扰动后得到的视图之间的语义相似度，通过在向量空间中，拉近相同语义的向量表示，进行对比学习。此外，利用对抗训练的方式提出AT-SimGRACE，进一步提升方法的鲁棒性。图对比学习已经成为主流的图表示学习方法，不仅能够充分挖掘图的结构和语义信息，并且避免了对大量人工标注样本的依赖。
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6216
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2620
CVPR2022完整论文列表
Awesome-Graph-Contrastive-Learning:图对比学习方法的集合
04-12
很棒的图对比学习 图对比学习方法的集合。 论文参考及实施 InfoMax 2020年 通过图形互信息最大化（WWW）进行图形表示学习 作者：彭震，黄文兵，罗敏楠，郑庆华，于蓉，徐挺阳，黄俊洲 InfoGraph：通过互信息最大化（ICLR）进行无监督和半监督的图形级表示学习 作者：孙凡云，乔丹·霍夫曼，维卡斯·维尔玛，唐健 2019年 深度图InfoMax（ICLR） 作者：PetarVeličković，William Fedus，William L. Hamilton，PietroLiò，Yoshua Bengio和R Devon Hjelm GNN预训练 2020年 GCC：用于图形神经网络预训练（KDD）的图形对比编码 作者：邱介中，陈其斌，董玉晓，张静，杨红霞，丁铭，王宽三，唐洁 [代码] 具有增强功能的图对比学习（NeurIPS） 作者：尤宇宁，陈天龙，隋永
【论文阅读】Graph Contrastive Learning with Adaptive Augmentation
Lereno的博客
04-19 2819
Graph Contrastive Learning with Adaptive Augmentation 用于图数据增强的图对比学习 文章目录Graph Contrastive Learning with Adaptive Augmentation用于图数据增强的图对比学习摘要1 引言二、使用步骤1.引入库2.读入数据总结 摘要 近年来，对比学习（Contrastive Learning，CL）已成为一种成功的无监督图表示学习方法。大多数图的CL方法首先对输入图进行随机增强，以获得两个图的视图，并最大化两
Augmentation-Free Graph Contrastive Learning（论文笔记）
qq_39329902的博客
05-22 602
Graph contrastive learning (GCL) is the most representative and prevalent self- supervised learning approach for graph-structured data. Despite its remarkable success, existing GCL methods highly rely on an augmentation scheme to learn the representations
【论文阅读】Graph Contrastive Learning with Augmentations
cziun的博客
08-06 1674
图增强对比学习摘要1 引言2 相关工作3 方法3.1 图的数据增强3.2 图对比学习4 数据增强在图对比学习中的作用4.1 数据增强至关重要。增强组合好处。4.2 有效图增强的类型、范围和模式4.3 与“harder”任务不同，过于简单的对比任务没有帮助。4 与最先进的方法进行的比较 摘要 对于GNN来说，在图结构数据上的可推广、可转移和鲁棒的表示学习仍然是一个挑战。本文提出了一个用于学习图的无监督表示的图对比学习框架——GraphCL。首先，设计了四种类型的图增强器来合并各种先验。然后，我们系统地研究了不
【论文阅读】JOAO：Graph Contrastive Learning Automated
cziun的博客
08-11 2384
目录摘要1 引言2 准备工作3 方法3.1 JOAO：统一框架3.2 将JOAO实例化为min-max优化3.2.1 验证增强选择效果3.3 增强感知多投影头4 实验 摘要 本文提出了一个统一的双层优化框架 Joint Augmentation Optimization (JOAO)，以在图上执行GraphCL时，自动、自适应、动态地选择数据增强方案。该通用框架被实例化为最小-最大优化。JOAO所做的增强选择大体上与以前手工调整中观察到的“最佳实践”一致：但现在是自动化的，更加灵活和通用。此外，我们提出了一
论文阅读：Graph Contrastive Learning with Augmentations
yihanyifan的博客
06-17 1232
图结构数据上的广义、可转移和鲁棒表示学习仍然是当前图神经网络(GNNs)面临的一个挑战。与用于图像数据的卷积神经网络(CNNs)不同，对gnn的自我监督学习和预训练的探索较少。在本文中，我们提出了一个图对比学习(GraphCL)框架来学习图数据的无监督表示。首先，我们设计了四种图增广来包含各种先验。然后，我们在四种不同的设置中系统地研究了图增强的各种组合对多个数据集的影响:半监督、无监督、迁移学习以及对抗性攻击。结果表明，即使不调优扩展范围，也不使用复杂的GNN架构，我们的GraphCL框架可以产生与最先进
2020[NIPS] Graph Contrastive Learning with Augmentations 用于图数据增强的图对比学习
YoHu人家的博客
11-04 9463
目录AbstractIntroduction研究意义与难点贡献概念补充Method图的数据增强图对比学习GraphCLDiscussion图对比学习中数据增强扮演的角色有效图扩充的类型、范围和模式ComparsionConclusionBroader Impact Abstract ​ 对图结构化数据的通用性，可传递性和鲁棒性表示学习仍然是当前图神经网络（GNN）面临的挑战。与针对卷积神经网络（CNN）开发的图像数据不同，针对GNN的自我监督学习和预训练的探索较少。在本文中，我们提出了一种图对比学习（Gr
图对比学习入门 Contrastive Learning on Graph
YoHu人家的博客
11-21 2万+
对比学习作为近两年的深度学习界的一大宠儿，受到了广大研究人员的青睐。而图学习因为图可以用于描述生活中广泛出现的非欧式数据，具有广大的应用前景。本文从对比学习入手，再介绍图对比学习模型，以及近年的一些有意思的模型。 目录对比学习(Contrastive Learning)Gelato Bet （冰淇淋赌注）与何凯明组的MoCo模型监督学习vs自监督学习生成式学习与对比学习对比学习的工作方式对比学习范例从DIM(Deep InfoMax)到DGI(Deep Graph InfoMax)Deep InfoMax（
（深度学习快速入门）Graph Contrastive Learning with Augmentations(GraphCL)笔记
快乐江湖的博客
02-04 350
图结构化数据上的可推广、可转移和鲁棒表示学习仍然是当前图神经网络（GNN）面临的挑战。与为图像数据开发的卷积神经网络（CNN）不同，对于GNN来说，自监督学习和预训练的研究较少。在本文中，我们提出了一种图对比学习（GraphCL）框架，用于学习图数据的无监督表示。我们首先设计了四种类型的图增强，以整合各种先验知识。然后，我们系统地研究了各种图增强在多个数据集上的影响，在四种不同的设置下进行了研究：半监督、无监督和迁移学习以及对抗攻击。
integer quantization for deep learning inference: principles and empirical e
09-19
整数量化是一种将深度学习推断网络中的权重和激活值转换为整数的技术。通常，深度学习模型中的参数是使用浮点数表示的，这需要大量的存储空间和计算资源。而整数量化可以将这些参数转换为整数，从而减小网络的存储需求和计算复杂度。 整数量化的原则是通过一些策略将浮点数参数映射到整数值。一种常见的方法是线性量化，在此方法中，浮点数范围被分成几个子区间，并将每个子区间的浮点数映射到整数值。这种线性量化可以通过最小化映射的量化误差来优化。 为了确保量化后的网络性能仍然能够保持原始网络的精度，还需要进行一些经验性的调整。例如，可以通过重新量化某些参数或调整量化精度来改进网络性能。经验表明，较高的量化精度可以提供更好的精度保持，但代价是更高的存储需求和计算复杂度。 通过整数量化，可以减小深度学习推断所需的存储和计算资源，从而使得在嵌入式设备和边缘设备上部署深度学习模型变得更加可行。此外，整数量化还能够加速推断过程，提高实时响应能力。 综上所述，整数量化是一种将深度学习推断所需的参数和激活值转换为整数的技术。通过一些原则和经验调整，整数量化可以减小网络的存储需求和计算复杂度，并提高深度学习模型的实时性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小源er

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值