图增强与图对比学习

已于 2022-07-25 13:06:23 修改
阅读量1.2k 收藏 3
点赞数 2
分类专栏： 图论和图神经网络 机器学习 文章标签： 学习 算法 机器学习
于 2022-07-20 16:31:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sb985/article/details/125894693
版权
本文探讨了自监督学习在图数据中的应用，特别是对比学习和数据增强策略。对比学习通过不同增强视图间的对比最大化互信息，而数据增强则包括基于特征、结构、采样和自适应的增强方法。这些方法旨在从无标签图数据中学习知识，并应用于下游任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


优快云排版太垃圾了，点此连接去知乎看吧！！！！！

自监督学习（SSL）的最新进展为减少对标签的过度依赖，实现在大量无标注数据上的训练提供了新的见解。自监督学习的主要目标是通过精心设计的代理任务，从丰富的无标签数据中学习可迁移的知识，然后将学到的知识迁移到具有特定监督信号的下游任务中。Graph SSL方法分为三类：对比式的、生成式的和预测式的。
在这里插入图片描述

  1. 比式方法：对不同的增广t1(.)和t2(.)产生的视图进行对比学习，将数据-数据对（inter-data）之间的共性和差异信息作为监督信号。
    生成式方法：关注图数据内部（intra-data）的信息，一般基于特征/结构重构等代理任务，利用图本身的特征和结构作为监督信号。
    预测式方法：通过一些简单的统计分析或专家知识self-generate伪标签，然后根据生成的伪标签设计基于预测的代理任务来处理数据-标签（data-labelÿ
了解本专栏 订阅专栏 解锁全文 超级会员免费看
图对比学习综述（一）：对比范式与优化目标
强化学习曾小健
02-24 1467
对于图级别的下游任务，我们可以更进一步地通过聚合节点级别的表征得到图 � 图级别的表征 �=�������(�)∈��′ ，其中读出函数 �������(⋅) 可以是一个简单的置换不变性的函数例如 ���� 或者 ��� 池化， 或者是含参的神经网络。����(ℎ�,ℎ�)=��(ℎ�,ℎ�)[log⁡(�(ℎ�,ℎ�))]−log⁡��(ℎ�)�(ℎ�)[���(1−�(ℎ�,ℎ�))]如果把 �(ℎ�,ℎ�)=sigmod(�′(ℎ�,ℎ�)) 来表示，则我们可以得到一个softplus版本的公式。
Awesome-Graph-Contrastive-Learning:图对比学习方法的集合
04-12
很棒的图对比学习 图对比学习方法的集合。 论文参考及实施 InfoMax 2020年 通过图形互信息最大化（WWW）进行图形表示学习 作者：彭震，黄文兵，罗敏楠，郑庆华，于蓉，徐挺阳，黄俊洲 InfoGraph：通过互信息最大化（ICLR）进行无监督和半监督的图形级表示学习 作者：孙凡云，乔丹·霍夫曼，维卡斯·维尔玛，唐健 2019年 深度图InfoMax（ICLR） 作者：PetarVeličković，William Fedus，William L. Hamilton，PietroLiò，Yoshua Bengio和R Devon Hjelm GNN预训练 2020年 GCC：用于图形神经网络预训练（KDD）的图形对比编码 作者：邱介中，陈其斌，董玉晓，张静，杨红霞，丁铭，王宽三，唐洁 [代码] 具有增强功能的图对比学习（NeurIPS） 作者：尤宇宁，陈天龙，隋永
图对比学习的模型增强技巧
gao00013的博客
12-19 2010
对比学习(CL)已经成为无监督视觉表征学习的一个很有前途的范例(Chen et al . 2020;他等人2020;Grill等人2020;简而言之，典型的CL方法将通过数据增强生成相同样本的两个视图，然后最大化其编码表示之间的相似性。这样，CL可以提取不同视图之间共享的信息(Tian et al . 2020)，从而缓解只出现在单个视图中的任务无关噪声。最近，CL也被引入到图域，用于无监督图的表示学习，被称为图对比学习(GCL) (Y ou et al 2020;Zhu等2021;邱等人2020;
2020[NIPS] Graph Contrastive Learning with Augmentations 用于图数据增强的图对比学习
YoHu人家的博客
11-04 9465
目录AbstractIntroduction研究意义与难点贡献概念补充Method图的数据增强图对比学习GraphCLDiscussion图对比学习中数据增强扮演的角色有效图扩充的类型、范围和模式ComparsionConclusionBroader Impact Abstract ​ 对图结构化数据的通用性，可传递性和鲁棒性表示学习仍然是当前图神经网络（GNN）面临的挑战。与针对卷积神经网络（CNN）开发的图像数据不同，针对GNN的自我监督学习和预训练的探索较少。在本文中，我们提出了一种图对比学习（Gr
AAAI 2023 | 图对比学习的模型增强技巧
Paper weekly
02-22 3465
©作者 |公绪蒙单位|北京邮电大学硕士生来源 |北邮 GAMMA Lab简介对比学习（Contrastive Learning）是一种无监督的表示学习方法，其通过数据增强和负采样获得正负样本，并使用目标函数增大正样本对之间的相似度，减小负样本对间的相似度，以获得具有判别性的表征。对比学习常用的损失函数 InfoNCE 如下：对比学习最早在 CV 中取得了广泛应用，通过对目标样本（图像）进行...
【2023/图对比/无负样本】基于无负样本损失和自适应增强的图对比学习
码农的科研笔记
03-01 1173
【2023/图对比/无负样本】基于无负样本损失和自适应增强的图对比学习
Python 图像对比度增强的几种方法(小结)
09-18
总结来说，Python进行图像对比度增强的几种方法主要包括灰度直方图分析和线性变换。灰度直方图分析帮助我们理解图像的亮度分布，并指导我们如何调整图像亮度和对比度。线性变换方法则提供了一种简单有效的方式来增强...
图像检索-基于对比学习+CLIP融合的图像检索算法实现-附项目源码-优质项目实战.zip
最新发布
09-06
在本项目中，提出了基于对比学习和CLIP（Contrastive Language-Image Pre-training）模型融合的图像检索算法。 对比学习是深度学习中的一种技术，它通过对正负样本对进行比较，使得相似的样本更接近，不相似的样本...
MERIT(图神经网络增强学习+对比学习+蒸馏)
07-29
MERIT，作为一项自监督学习方法，结合了图神经网络、增强学习、对比学习和蒸馏技术，为图表示学习领域带来了新的突破。 在讨论MERIT之前，我们首先需要了解一些基础概念。图神经网络通过网络结构的学习和传播，能够...
一文详解图对比学习（GNN+CL）的一般流程和最新研究趋势
热门推荐
Paper weekly
10-28 1万+
©作者 |侯宇蓬单位 |中国人民大学文章来源 |RUC AI Box随着对比学习（Contrastive Learning）在 CV、NLP 等领域大放异彩，其研究热度近年来也逐步走...
Awesome-Graph-Contrastive-Learning:图对比学习相关资源的收集
05-24
真棒图对比学习 与图对比学习相关的资源集合。 内容 文件 2019年 | 编码： ， tf_geometric 方法（ DGI ）：局部-全局互信息最大化 实验： 任务：传导性节点分类| 数据集： Cora，Citeseer，Pubmed。 | 基准：原始特征，标签传播，DeepWalk，DeepWalk +特征，GCN，Planetoid。 任务：归纳节点分类| 数据集： Reddit，PPI。 | 基线：原始功能； DeepWalk； DeepWalk +功能； GraphSAGE-GCN; GraphSAGE-mean; GraphSAGE-LSTM； GraphSAGE-pool; FastGCN； 平均集中。 2020年 InfoGraph：通过互信息最大化实现无监督和半监督的图级表示学习孙凡云，Jordan Hoffmann，Vikas Verma，Jian Ta
contrastive-learning:对比学习方法
03-10
对比学习方法 支持更多内容的对比学习方法的第三方pytorch实现（请参阅“可用内容”部分）。 有什么可用的？ 使用SimCLR进行对比学习预训练 通过停止梯度进行在线线性评估 Pytorch闪电登录和默认收益（多GPU训练，混合精度等） 在GPU装置上收集负片以模拟更大的批次大小（尽管梯度不会在GPU上流动） 使用加快数据加载速度（以使用更多GPU内存为代价） SimCLR多分辨率农作物 SimCLR + 预训练后线性评估（通常得出1-1.5％的准确度点） 工作于： 结果 模型 方法 数据集 时代 批 温度 多作 大理 监督下 在线线性评估 预训练后线性评估 Resnet18 SimCLR Imagenet-100 100 256 0.2 70.74 71.02 Resnet18 SimCLR Imagenet-100 100 256 0.2 :check_mark_button:
图对比学习 GMI code study
qq_40926715的博客
10-16 874
GMI， Code， InfoMax， GNN
【阅读笔记】图对比学习 GNN+CL
sinat_22510827的博客
07-03 295
🎯来源： https://mp.weixin.qq.com/s/X7gxlcY-PaQ97MiEJmKfbg对给定的大量无标注图数据，图对比学习算法旨在训练出一个图编码器，目前一般指图神经网络（Graph Neural Network, GNN）。由这个 GNN 编码得到的图表示向量，可以很好地保留图数据的特性。 Graph Contrastive Learning with Augmentations. NeurIPS 2020.算法步骤：1. 随机采样一批（batch）图2. 对每一个图进行两次随机.
推荐系统笔记（十四）：极简图对比学习方法SimGCL
qq_46006468的博客
08-18 2447
1）在基于CL的推荐模型中，CL的损失是核心，而图的增强只起次要作用。（2）优化CL损失可以得到更均匀的表示分布，能在推荐的场景中帮助消除偏差。（3）通过在表示中加入有向随机噪声，进行不同的数据增强和对比，可以显著提高推荐能力。...
对比学习
llf000000的博客
06-22 308
对比学习通过对比数据对的“相似”或“不同”以获取数据的高阶信息。由同一张原始图片扩增而来的两张新的图片，叫做Positive Pairs。将这两张图片送入深度学习模型中，我们希望深度学习模型学习到这两个图像是相似的。由不同原始图片扩增而得到的新的图像，成为Negtive Pairs。将Negtive Pairs送入深度学习模型中，我们希望深度学习模型学习到这两个图像是不同的。
CLIP 对比学习 源码理解快速学习
weixin_44064434的博客
12-15 2141
是相似的，或者说这两个东西是一个意思，然后把这两个当成正样本，计算正样本的相似度要越大越好，即学习到的图像和文本的潜在特征表示进行运算后得到的相似度要越大越好，所以反向约束表示图像和文本的特征要能够彼此互通，图像的特征向量能够跟文本的特征向量在语义上能够互相认识彼此，从而认出彼此是相似的。优化方向：分母的负样本相似度越小越好，小到0可忽略不计，这时正样本上下抵消为1，log1=0，loss为0.最终计算contrastive loss，loss计算加上 -log。si,i ：正样本相似度。
对比学习代码逐行解释
m0_66889551的博客
04-20 803
self.encoder_q = base_encoder(num_classes=dim)#moco模型图里的正例查询query。self.encoder_k = base_encoder(num_classes=dim)#moco模型图里的负例key们。self._momentum_update_key_encoder() # 用自己的来更新key encoder。param_k.data.copy_(param_q.data) # 初始化。K: 负例序列长度 (default: 65536)
【gcc】gnn图对比学习
weixin_40827685的博客
11-13 592
gcc代码：git地址 GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training pretrain graph representation。for unlabeled data 无监督图表示学习框架 task subgraph instance discrimination. for each subgraph, we use a graph neural network (speci! cally, the GIN mod
智能图片相似度分析与对比工具
- **图像采集与预处理**：了解如何从各种来源采集图片数据，并进行必要的预处理，比如去噪、调整大小、对比度增强等。 ### 图片相似度度量技术 图片相似度度量是进行图片搜索、分类、重复内容检测等任务的核心技术...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小源er

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值