【阅读笔记】图对比学习 GNN+CL

最新推荐文章于 2025-10-30 17:58:04 发布
原创 最新推荐文章于 2025-10-30 17:58:04 发布 · 1.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

本文介绍了一种基于图数据的对比学习方法，该方法通过随机数据增强生成不同视图，并利用图神经网络提取特征。文章详细阐述了算法流程，包括采用InfoNCE损失函数促进同一图的不同增强视图表示向量的接近，而使来自不同图的视图表示向量相距较远。

🎯来源：  https://mp.weixin.qq.com/s/X7gxlcY-PaQ97MiEJmKfbg

对给定的大量无标注图数据，图对比学习算法旨在训练出一个图编码器，目前一般指图神经网络（Graph Neural Network, GNN）。由这个 GNN 编码得到的图表示向量，可以很好地保留图数据的特性。

Graph Contrastive Learning with Augmentations. NeurIPS 2020.

算法步骤：

1. 随机采样一批（batch）图

2. 对每一个图进行两次随机的数据增强（增删边/舍弃节点）得到新图（view）

3. 使用待训练的 GNN 对 View 进行编码，得到节点表示向量（node representation）和图表示向量（graph representations） 

4. 根据上述表示向量计算 InfoNCE 损失，其中由同一个 graph 增强出来的 view 的表示相互靠近，由不同的 graph 增强得到的 view 的表示相互远离；【特征被加强】

【启发式图数据增强】由于图数据经过GNN 后会产生 节点表示 和

最低0.47元/天 解锁文章
图对比学习（GNN+CL）顶会论文看 研究趋势
强化学习曾小健
02-24 3259
一般意义上，图对比学习是一种针对图数据的自监督学习算法。对给定的大量无标注图数据，图对比学习算法旨在训练出一个图编码器，目前一般指图神经网络（Graph Neural Network, GNN）。由这个 GNN 编码得到的图表示向量，可以很好地保留图数据的特性，并进一步在无监督、半监督、迁移学习以及鲁棒性测试等实验设置下进行测试，并应用于社交网络、蛋白质交互网络、分子结构、学术引用网络等多个场景中。随机采样一批（batch）图；对每一个图进行两次随机的数据增强（如删除若干条边（edge。
【论文解读】AAAI-2023图对比学习论文MA-GCL
qq_51072801的博客
03-20 1392
在本文中，我们强调了先前GCL方法的一个关键的局限，即它们的对比视图过于接近，无法有效地过滤噪声。然后，我们提出了模型增强，它专注于操纵视图编码器的神经结构，而不是干扰图输入或模型参数。非对称、随机和洗牌，它们分别有助于缓解高频噪声、丰富训练实例和带来更安全的增强。通过这三种技巧，两个对比视图可以保持适当的距离，即既不能太远(失去与任务相关的语义)，也不能太近(引入不必要的噪声)。
Awesome-Graph-Contrastive-Learning:图对比学习方法的集合
04-12
很棒的图对比学习 图对比学习方法的集合。 论文参考及实施 InfoMax 2020年 通过图形互信息最大化（WWW）进行图形表示学习 作者：彭震，黄文兵，罗敏楠，郑庆华，于蓉，徐挺阳，黄俊洲 InfoGraph：通过互信息最大化（ICLR）进行无监督和半监督的图形级表示学习 作者：孙凡云，乔丹·霍夫曼，维卡斯·维尔玛，唐健 2019年 深度图InfoMax（ICLR） 作者：PetarVeličković，William Fedus，William L. Hamilton，PietroLiò，Yoshua Bengio和R Devon Hjelm GNN预训练 2020年 GCC：用于图形神经网络预训练（KDD）的图形对比编码 作者：邱介中，陈其斌，董玉晓，张静，杨红霞，丁铭，王宽三，唐洁 [代码] 具有增强功能的图对比学习（NeurIPS） 作者：尤宇宁，陈天龙，隋永
图对比学习入门 Contrastive Learning on Graph
热门推荐
YoHu人家的博客
11-21 2万+
对比学习作为近两年的深度学习界的一大宠儿，受到了广大研究人员的青睐。而图学习因为图可以用于描述生活中广泛出现的非欧式数据，具有广大的应用前景。本文从对比学习入手，再介绍图对比学习模型，以及近年的一些有意思的模型。 目录对比学习(Contrastive Learning)Gelato Bet （冰淇淋赌注）与何凯明组的MoCo模型监督学习vs自监督学习生成式学习与对比学习对比学习的工作方式对比学习范例从DIM(Deep InfoMax)到DGI(Deep Graph InfoMax)Deep InfoMax（
【深度学习:理论篇】--一文彻底搞懂对比学习：原理、方法与应用
最新发布
我是个好人呀，O(∩_∩)O
10-30 1399
摘要：对比学习是一种自监督学习方法，旨在从无标注数据中学习有效表示。其核心思想是通过构造相似/不相似样本对，使相似样本在投影空间距离相近，不相似样本相距较远。SimCLR作为典型对比学习模型，通过复合图像增强构建正负样本，采用双塔结构（Encoder+Projector）和InfoNCE损失函数进行训练。关键创新包括：1）验证复合增强的有效性；2）引入Projector结构提升特征质量。对比学习需防止模型坍塌（所有样本映射到同一点），常见方法包括使用负样本、对比聚类、非对称网络等。实验表明，对比学习模型能有
图对比学习
qq_42690797的博客
10-31 1545
图对比学习简介
【图对比学习】Contrastive Multi-View Representation Learning on Graphs
sxl的博客
10-23 441
[1]论文详解：Contrastive Multi-View Representation Learning on Graphs [2]图对比学习的应用（NCL，SimGRACE，ClusterSCL）
GNN学习笔记（六）：Cluster-GCN：一种用于训练深度和大型图卷积网络的高效算法
LuoMin2523的博客
07-01 4449
引言 普通的基于SGD的图神经网络的训练方法，存在着以下问题： 问题1：计算成本较大问题。随着图神经网络层数增加，计算成本呈指数增长。 问题2：内存消耗巨大问题。保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间。 解决措施： 方法1：无需保存整个图的信息和每一层每个节点的表征到GPU内存（显存）的方法。 方法1存在的问题：可能会损失预测精度或者对提高内存的利用率并不明显。 方法2：论文Cluster-GCN: An Efficient Algorithm for
几种GNN模型的应用与改进
Wisley的读书笔记分享
11-20 4707
近期又陆续看了一些关于GNN的文章，这些文章总体上都是想要解决一个问题，就是如何从大规模图数据中，能有效嵌入节点和拓扑结构的信息，同时降低计算的复杂度，缓解过拟合的风险。有效地对图结构数据的节点进行embedding就需要考虑数据本身的特征，同时也要考虑不同应用场景以及下游任务的目标。 在实际场景中，图数据本身就是错综复杂的，节点直接的联系有些是我们可以从先验知识中得到的，有些是无法直接定义，或者需要从模型中隐式地学习。关于图的描述和学习就有很多方法，比如从邻近的定义有deepwalk、Node2Vec、m
【论文学习笔记】Forecast-MAE: Self-supervised Pre-training for Motion Forecasting with Masked Autoencoders
技术宅学长的博客
11-02 1481
本研究探讨了自监督学习(SSL)在运动预测任务中的应用，尽管SSL在计算机视觉和自然语言处理中取得了广泛的成功，但这一领域尚未得到广泛的研究。为了解决这一差距，我们引入了Forecast-MAE，这是掩模自编码器框架的扩展，专为运动预测任务的自监督学习而设计。我们的方法包括一种新的掩蔽策略，该策略利用了智能体轨迹和道路网络之间的强互连，包括对智能体未来或历史轨迹的互补掩蔽和车道段的随机掩蔽。
Graph Contrastive Learning 图对比学习GCL
m0_51448653的博客
10-12 2184
一般意义上，图对比学习是一种针对图数据的自监督学习算法。对给定的大量无标注图数据，图对比学习算法旨在训练出一个图编码器，目前一般指图神经网络（Graph Neural Network, GNN）。由这个 GNN 编码得到的图表示向量，可以很好地保留图数据的特性，并进一步在无监督、半监督、迁移学习以及鲁棒性测试等实验设置下进行测试，并应用于社交网络、蛋白质交互网络、分子结构、学术引用网络等多个场景中。随机采样一批（batch）图；对每一个图进行两次随机的数据增强（如删除若干条边（edge）），增强后。
对比学习
努力的小胡同学的博客
04-09 586
对比学习首先介绍自监督学习方法对比学习细节 首先介绍自监督学习 自监督学习属于无监督学习范式的一种，特点是不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，来学习样本数据的特征表达，处理任务。 方法 1.Generative Methods（生成式方法）这类方法以自编码器为代表，主要关注pixel label的loss。举例来说，在自编码器中对数据样本编码成特征再解码重构，这里认为重构的效果比较好则说明模型学到了比较好的特征表达，而重构的效果通过pixel label的loss来衡量。 2.Con
图对比学习综述
cccjp1999的博客
02-25 364
传统图数据分析采用监督学习框架，通过人为特征提取或端到端图深度学习模型将图数据作为输入，经过训练后，挖掘图数据中的有效信息，输出预测结果。不依赖于人工标注的自监督学习正在成为图深度学习的趋势。图对比学习期望学到一个编码模型，使得相似的节点（图）经过编码模型后得到相似的表示，不相似的节点（图）得到差异较大的表示。现有的方法可以总结成一个同一的框架，首先定义正负例并利用正例生成器和负例生成器分别得到正负样本。最后设计一个将正负样本表示区分开的损失函数，进行参数优化。
图对比学习的应用（NCL，SimGRACE，ClusterSCL）
nakaizura
05-04 5783
博主以往已经整理过图神经网络用于推荐系统，整理过对比学习用于推荐系统。 图神经网络用于推荐系统问题（PinSage，EGES，SR-GNN） 图神经网络用于推荐系统问题（NGCF，LightGCN） 图神经网络用于推荐系统问题（IMP-GCN，LR-GCN） 图神经网络用于推荐系统问题（SURGE，GMCF，TASRec，MixGCF） 对比学习用于推荐系统问题（SSL，S^3-Rec，SGL，DHCN，SEMI，MMCLR） 自监督学习用于推荐系统问题综述 而图+对比学习结合的趋势也算较为明显。本期先
对比学习（contrastive Learning）
mdd优快云的博客
11-02 888
自监督学习又可以分为对比学习(contrastive learning)和生成学习(generative learning)两条主要的技术路线。比学习的核心思想是将正样本和负样本在特征空间对比，从而学习样本的特征表示，使得样本与正样本的特征表示尽可能接近。正样本和负样本是使用代理任务(pretext task)来定义的． 代理任务定义了样本之间的相似性，给定一个样本，与之相似的样本就是正样本，而不相似的样本就是负样本．。
图对比学习，用一个简单的例子概括
我的博客
08-13 457
m表示margin的意思是一个bias，损失函数在这当然是越小越好，梯度更新的方向是朝损失函数减少的方向进行的。因此d_AB - d_AC + m
[论文分享] DGI： 图对比学习：局部-全局对比，最大化互信息
m0_50826544的博客
03-20 1705
基于局部-全局互信息最大化以及infoNCE损失的图对比学习算法
对比学习(Contrastive Learning)
HsinglukLiu的博客
03-10 892
文章目录Understanding Contrastive Learning Understanding Contrastive Learning https://towardsdatascience.com/understanding-contrastive-learning-d5b19fd96607
对比学习（Contrastive Learning）
weixin_44012667的博客
05-10 1117
对比学习（Contrastive Learning）的核心目标是通过学习数据的表征，使得相似的样本（正样本对）在表征空间中彼此接近，而不相似的样本（负样本对）彼此远离。• 假负样本（False Negatives）：避免将潜在正样本误判为负样本（如跨类别的语义相似样本）。• 正样本对：来自同一数据的不同增强视图（如图像旋转、裁剪）或语义相似的样本（如相同类别的数据）。• 目标：通过优化损失函数，最大化正样本对的相似度，最小化负样本对的相似度。• 负样本对：来自不同数据的样本（如不同类别的数据）。
GNN+迁移学习
03-08
### 图神经网络与迁移学习的应用场景 图神经网络（GNNs）通过聚合邻域节点的信息来学习节点嵌入，从而有效地处理图结构数据[^1]。当涉及到迁移学习时，这种特性使得GNN能够在不同领域之间传递知识。 #### 应用场景 1. **跨领域推荐系统** 推荐系统的成功依赖于捕捉用户行为模式的能力。利用GNN可以建模用户-物品交互形成的复杂网络结构。而迁移学习则允许模型将在一个领域的学到的知识迁移到另一个相似但不同的领域中去。例如，在电影评分预测上训练好的GNN可以直接应用于音乐偏好预测任务中，只需微调部分参数即可适应新环境下的分布差异。 2. **生物医学研究** 生物分子之间的相互作用构成了复杂的网络形式，如蛋白质-蛋白质互作网(PPI)或者药物靶点关联图谱。借助迁移学习框架下预训练过的大型PPI数据库上的GNN模型，研究人员可以在较小规模的数据集上更快地获得高质量的结果，加速新型疾病机制探索过程或是发现潜在治疗方案。 3. **社交网络分析** 社交媒体平台上存在着大量的人际关系链路构成的巨大社会图景。对于那些希望理解社区动态变化趋势的企业而言，他们往往面临着缺乏标注样本的问题。此时如果能先在一个拥有充足标签信息的其他社交平台之上预先训练好相应的GNN架构，则可以通过简单的调整迅速部署至目标环境中开展深入洞察工作。 ### 实现方式 一种常见的做法是在源域(即有较多可用标记实例的地方)上充分训练基础版GNN作为初始化权重；接着针对特定目标任务选取合适的损失函数指导下游finetune阶段的学习进程。具体来说： ```python import torch.nn as nn from dgl import DGLGraph from dgl.nn.pytorch.conv import GraphConv class GCN(nn.Module): def __init__(self, in_feats, h_feats, num_classes): super(GCN, self).__init__() self.conv1 = GraphConv(in_feats, h_feats) self.conv2 = GraphConv(h_feats, num_classes) def forward(self, g: DGLGraph, features): h = self.conv1(g, features) h = F.relu(h) h = self.conv2(g, h) return h # 假定已经加载好了两个图g_source 和 g_target 及其对应的feature矩阵features_source/features_target model = GCN(features_source.shape[1], hidden_size=16, num_classes=num_class).to(device) optimizer = optim.Adam(model.parameters(), lr=learning_rate) for epoch in range(num_epochs): model.train() logits = model(g_source, features_source) loss = criterion(logits[train_mask], labels[train_mask]) optimizer.zero_grad() loss.backward() optimizer.step() # Fine-tuning on target domain with frozen layers or lower learning rate. for param in model.named_parameters(): if 'conv' not in param[0]: param[1].requires_grad_(False) fine_tuner_optimizer = optim.SGD(filter(lambda p:p.requires_grad,model.parameters()),lr=fine_tune_lr,momentum=momentum) for fine_epoch in range(fine_tune_epochs): ... ``` 上述代码片段展示了一个简单版本的两层GCNs如何被用来做迁移学习的例子。这里假设有一个源域`source_domain_data=(g_source,features_source)`和一个目标域`target_domain_data=(g_target,features_target)`。首先在整个源域数据集中进行完整的训练周期以获取较好的泛化性能；然后再切换到只更新某些选定层的方式继续优化直至收敛为止。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值