【图神经网络:原理与实战】第七章 图对比学习(Graph Contrastive Learning)

【论文阅读】Graph Contrastive Learning with Adaptive Augmentation Graph Contrastive Learning with Adaptive Augmentation 用于图数据增强的图对比学习 文章目录Graph Contrastive Learning with Adaptive Augmentation用于图数据增强的图对比学习摘要1 引言二、使用步骤1.引入库2.读入数据总结 摘要 近年来,对比学习(Contrastive Learning,CL)已成为一种成功的无监督图表示学习方法。大多数图的CL方法首先对输入图进行随机增强,以获得两个图的视图,并最大化两 阅读详情

目录

第七章 图对比学习(Graph Contrastive Learning)

7.1 对比学习框架形式化

7.1.1 形式化设定与目标

7.1.2 视图构造策略的分类(概念与数学)

7.1.3 正负样本的选择与采样偏差(重要性采样与无偏估计)

7.1.4 Loss 函数的可微形式与梯度推导(InfoNCE / NT-Xent)

7.1.5 对比学习的理论界与泛化界(信息下界与泛化误差)

InfoNCE 与互信息下界(精确推导)

泛化界(经验风险与真实风险的集中)

7.2 视图构造方法(Graph-specific)

7.2.1 结构扰动(边删/增、子图抽样):数学效果与误差界

7.2.2 属性扰动(特征遮盖、噪声注入):偏差—方差权衡

7.2.3 模态混合视图(节点/边/子图/文本):对齐与对照损失构造

7.2.4 视图融合与多任务协同策略(联合目标与梯度冲突解决)

7.3 负样本设计与无监督正则化

7.3.1 显式负样本与内存对比表(Memory Bank)实现原理

一、显式负样本的统计定义

二、内存表的结构化更新机制

三、基于内存表的对比损失推导

四、收敛与存储动态分析

7.3.2 无负样本方法与对比正则化(BYOL 类)

一、问题提出

二、目标函数形式化

三、塌陷防止的数学条件

四、对比正则化(Contrastive Regularization)

7.3.3 负样本污染与修正策略

一、污染定义与统计偏差

二、污染项对 InfoNCE 梯度的偏移分析

三、修正策略(校正加权)

四、软正样本扩展(soft positives)

7.3.4 统计效率与样本复杂度分析

一、互信息估计的方差下界

二、样本复杂度上界

三、优化收敛速率

7.4 应用与评估

7.4.1 下游微调与线性评估协议

7.4.2 对比学习在异构与动态图上的迁移

一、异构图(Heterogeneous Graphs)

二、动态图(Dynamic Graphs)

7.4.3 性能敏感性与超参数探索


综述 | 走向图对比学习:综述与展望 本论文针对图表示学习中的图对比学习(GCL)方法进行了全面综述。文章系统总结了GCL的基本原理,包括数据增广策略、对比模式和优化目标等方面。并进一步探讨了GCL在弱监督学习、迁移学习等数据高效学习场景中的扩展应用。最后,讨论了GCL在药物发现、基因组学分析、推荐系统等实际领域的应用,展望了该领域面临的挑战和未来的发展方向。 阅读详情

相关推荐

【论文阅读】AD-GCL:Adversarial Graph Augmentation to Improve Graph Contrastive Learning

目录摘要1 引言2 准备工作2.1 学习图表示2.2 GNNs2.3 互信息最大化3 对抗性图对比学习3.1 AD-GCL的理论动机及制定3.2 通过可学习的边缘扰动实例化AD-GCL3.2.1 可学习的Edge Dropping GDA模型TΦ(⋅)T_Φ(·)TΦ​(⋅)3.2.2 参数化TΦ(⋅)T_Φ(·)TΦ​(⋅)3.2.3 调整TΦ(⋅)T_Φ(·)TΦ​(⋅)4 实验 摘要 提出了对抗性图对比学习——AD-GCL,它通过优化GCL中使用的对抗性图增强策略,使GNN在训练过程中避免捕获冗余(图

cziun的博客 3013

一文详解图对比学习(GNN+CL)的一般流程和最新研究趋势

随着对比学习(Contrastive Learning)在 CV、NLP 等领域大放异彩,其研究热度近年来也逐步走高。在图学习领域,由于图(Graph)数据也存在缺少标签或难以标注的问题,自 2020 年来,研究者们也着力于将对比学习技术应用于图表示学习任务上,取得了十分不错的效果,这一系列算法研究称为图对比学习(Graph Contrastive Learning)。由于图是一种离散的数据结构,且一些常见的图学习任务中,数据之间往往存在紧密的关联(如链接预测)。如何针对这些特性设计图对比学习算法、对比学习

sinat_22510827的博客 5196

GraphCAD实战:如何用图对比学习提升异常检测效果(附代码)

本文详细介绍了GraphCAD框架如何利用图对比学习技术提升异常检测效果。通过创新的对比学习机制和三级GNN编码器架构,GraphCAD能够有效识别复杂网络中的异常节点,并提供完整的代码实现和调优策略。该技术在金融欺诈检测、网络安全监控等领域展现出显著优势,为开发者提供了前沿的异常检测解决方案。

weixin_30955617的博客 433

Graph Contrastive Learning 图对比学习GCL

一般意义上,图对比学习是一种针对图数据的自监督学习算法。对给定的大量无标注图数据,图对比学习算法旨在训练出一个图编码器,目前一般指图神经网络(Graph Neural Network, GNN)。由这个 GNN 编码得到的图表示向量,可以很好地保留图数据的特性,并进一步在无监督、半监督、迁移学习以及鲁棒性测试等实验设置下进行测试,并应用于社交网络、蛋白质交互网络、分子结构、学术引用网络等多个场景中。随机采样一批(batch)图;对每一个图进行两次随机的数据增强(如删除若干条边(edge)),增强后。

m0_51448653的博客 2522

Graph Contrastive Learning with Adaptive Augmentation

对比学习在无监督图表示学习中取得了很好的效果,大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性。其中,图上的增强方式是非常重要的部分鲜有人探索。我们认为数据增强模式应该保留图固有的属性和结构,可以使模型学到对于不重要的结点和边扰动不敏感的表示信息。但目前的方法大多采用均质的增强方法如均匀的去边,或扰动特征,只能达到次优效果。本文借助先验信息从拓扑和语义角度引入自适应的增强策略。具体来说,在拓扑角度,采用基于结点的中心性来衡量连接结构的重要性的方式设计增强模式;在特征维度,给不

欢迎订阅 -- 小源笔迹 1227

An Empirical Study of Graph Contrastive Learning

摘要 图对比学习在图表示学习领域树立了新的范式,不需要人工标注信息。但对GCL的分析却寥寥无几。本文通过分析一般化的GCL范式的各个部分包括增强函数,对比模式,对比目标和负采样技术,然后分析各个组件之间的相互作用。实验结论显示,简单的拓扑增强可以生成稀疏视图带来不错的性能提升;对比模型应该与最终任务的粒度一致。引言 一个经典的图对比学习方法是首先通过对输入的随机增强构建多个图视图,然后通过对比正负样本学习表示。以每个节点作为中心节点为例,正样本一般是其他视图中表示一致的一些节点,而负样本则是在该Batch中

欢迎订阅 -- 小源笔迹 665

AAAI 2023 | 图对比学习的模型增强技巧

©作者 |公绪蒙单位|北京邮电大学硕士生来源 |北邮 GAMMA Lab简介对比学习(Contrastive Learning)是一种无监督的表示学习方法,其通过数据增强和负采样获得正负样本,并使用目标函数增大正样本对之间的相似度,减小负样本对间的相似度,以获得具有判别性的表征。对比学习常用的损失函数 InfoNCE 如下:对比学习最早在 CV 中取得了广泛应用,通过对目标样本(图像)进行...

Paper weekly 3998

(深度学习快速入门)Graph Contrastive Learning with Augmentations(GraphCL)笔记

图结构化数据上的可推广、可转移和鲁棒表示学习仍然是当前图神经网络(GNN)面临的挑战。与为图像数据开发的卷积神经网络(CNN)不同,对于GNN来说,自监督学习和预训练的研究较少。在本文中,我们提出了一种图对比学习(GraphCL)框架,用于学习图数据的无监督表示。我们首先设计了四种类型的图增强,以整合各种先验知识。然后,我们系统地研究了各种图增强在多个数据集上的影响,在四种不同的设置下进行了研究:半监督、无监督和迁移学习以及对抗攻击。

快乐江湖的博客 650

2020[NIPS] Graph Contrastive Learning with Augmentations 用于图数据增强的图对比学习

目录AbstractIntroduction研究意义与难点贡献概念补充Method图的数据增强图对比学习GraphCLDiscussion图对比学习中数据增强扮演的角色有效图扩充的类型、范围和模式ComparsionConclusionBroader Impact Abstract ​ 对图结构化数据的通用性,可传递性和鲁棒性表示学习仍然是当前图神经网络(GNN)面临的挑战。与针对卷积神经网络(CNN)开发的图像数据不同,针对GNN的自我监督学习和预训练的探索较少。在本文中,我们提出了一种图对比学习(Gr

YoHu人家的博客 9791

Ubuntu双系统开机黑屏?3分钟搞定NVIDIA显卡驱动冲突(18.04/20.04实测有效)

本文详细解决Ubuntu双系统开机黑屏问题,特别是由NVIDIA显卡驱动冲突引起的故障。提供从临时进入系统到永久安装专有驱动的完整方案,适用于Ubuntu18.04/20.04用户,帮助快速恢复系统并优化显卡性能。

resnet7explorer的博客 311

记录:N10激光雷达串口编程,将数据存进 SQLite,并进行 ROS2 - cartographer 单雷达建图

N10 系列采用 TOF(time of flight)测距原理,通过测量调制激光的发射、返回时间差来测量物体与传感器的相对距离。激光发射器发出调制脉冲激光,内部定时器开始 从t1时刻计算时间,当激光照射到目标物体后,部分能量返回,当雷达接收到返回的激光信号时,在t2时刻停止内部定时器计时,光速C,激光雷达到达物体的距离D为:经过N10系列激光雷达内嵌的信号处理单元的实时解算得到探测物体的距离值,结合高精度自适应角度测量模块输出的角度信息,可以得到量程内周围 360 度环境 的二维平面信息。

m0_74013893的博客 1096

Towards Graph Contrastive Learning: A Survey and Beyond

基于图的深度学习依赖于带标签的图数据,但这些数据的获取成本高、耗时多自监督学习SSL可以从无标签的图数据中生成有意义的表示但是SSL的一个关键部分图对比学习GCL没有全面概述,因此本文是GCL的一个综述(原理、应用、挑战、未来发展)

weixin_46191137的博客 1671

RealSense D455的标定并运行VINS-FUSION

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

qq_40186909的博客 2万+

Let Invariant Rationale Discovery Inspire Graph Contrastive Learning

  主流图对比学习(GCL)方法以两种方式进行图增强:(1)随机破坏锚点图,可能导致语义信息的丢失;(2)使用领域知识维护显著特征,破坏对其他领域的泛化。从GCL的不变性角度来看,我们认为高性能的增强应该保留锚图关于实例区分的显著语义。为此,我们将GCL与不变的基本原理发现联系起来,并提出了一个新的框架,基本原理感知图对比学习(RGCL)。具体来说,在没有监督信号的情况下,RGCL使用基本原理生成器来揭示图实例判别的显著特征,然后为对比学习创建基本原理感知视图。这种理性感知的训练前方案赋予骨干模型强大的表示

回锅肉炒肉的博客 1411

TPL5010硬件看门狗电路

在做一些采集频率很低的产品的时候,会考虑电池供电,比如表、电气表等,为了控制功耗,往往会在设备不需要工作的时候让它进入低功耗模式。为了设备的稳定性,避免死机后无法恢复,必须配置看门狗,一般的看门狗芯片,喂狗间隔时间是几秒钟。这样在喂狗和低功耗之间就产生了一个矛盾,频繁的喂狗就需要频繁的醒过来,这样功耗就很难做到很低。这颗看门狗芯片,特别适合上面的应用。2小时的间隔意味着主控芯片每2小时醒过来喂狗一次即可,而在2.5V供电的情况下,功耗仅仅35nA,几乎可以忽略不计。

zxm8513优快云博客 3310

UniApp消息推送进阶:不用插件实现动态语音播报(含保活策略)

本文详细介绍了在UniApp中实现动态语音播报的进阶方案,无需依赖第三方插件。核心采用透传消息传递动态数据,结合本地TTS引擎合成语音,并针对不同安卓厂商提供了深度通道配置与差异化保活策略,有效解决了App退至后台或被清理后语音播报失效的难题。

weixin_29224309的博客 490

论文阅读:Graph Contrastive Learning with Augmentations

图结构数据上的广义、可转移和鲁棒表示学习仍然是当前图神经网络(GNNs)面临的一个挑战。与用于图像数据的卷积神经网络(CNNs)不同,对gnn的自我监督学习和预训练的探索较少。在本文中,我们提出了一个图对比学习(GraphCL)框架来学习图数据的无监督表示。首先,我们设计了四种图增广来包含各种先验。然后,我们在四种不同的设置中系统地研究了图增强的各种组合对多个数据集的影响:半监督、无监督、迁移学习以及对抗性攻击。结果表明,即使不调优扩展范围,也不使用复杂的GNN架构,我们的GraphCL框架可以产生与最先进

yihanyifan的博客 1422

出个AI8051U的PWM例程 | 3相互补SPWM变频驱动,PWMA-3个相位差120度的PWM互补输出

通道2输出: P2.2, PWMA2P输出, P2.3, PWMA2N输出, PWMA2相对PWMA1滞后120度相位.通道3输出: P2.4, PWMA3P输出, P2.5, PWMA3N输出, PWMA3相对PWMA1滞后240度相位.先别修改程序, 直接下载"Objects"里的"pwm.hex"测试, 下载时选择主频24MHz.主频32.768MHz, PWM周期1422, 刷新频率23040Hz,死区0.5us,通道1输出: P2.0, PWMA1P输出, P2.1, PWMA1N输出。

USB_CAN_8051的博客 691

【论文阅读】Graph Contrastive Learning with Augmentations

图增强对比学习摘要1 引言2 相关工作3 方法3.1 图的数据增强3.2 图对比学习4 数据增强在图对比学习中的作用4.1 数据增强至关重要。增强组合好处。4.2 有效图增强的类型、范围和模式4.3 与“harder”任务不同,过于简单的对比任务没有帮助。4 与最先进的方法进行的比较 摘要 对于GNN来说,在图结构数据上的可推广、可转移和鲁棒的表示学习仍然是一个挑战。本文提出了一个用于学习图的无监督表示的图对比学习框架——GraphCL。首先,设计了四种类型的图增强器来合并各种先验。然后,我们系统地研究了不

cziun的博客 2067

工业4.0必备:C#上位机+数字孪生 生产线实时监控与智能预警系统(工业级实战)

数据割裂:PLC、传感器、工业相机的数据散落在不同系统,想看全局生产状态要切换N个软件,“数据孤岛”导致决策滞后;故障难预判:设备突发故障时,只能停机排查,平均故障响应时间超30分钟,一条生产线停工1小时损失超10万;可视化差:传统监控只有冰冷的数字和2D图表,设备运行状态、生产流程、物料流转无法直观感知,新人上手需3个月才能熟悉产线。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 661

RK356x U-Boot研究所(命令篇)3.10 bidram与sysmem相关命令的作用

RK356x U-Boot研究所(命令篇)3.10 bidram与sysmem相关命令的作用

Systemcall名屋 624

干货!针对图数据不变特征的对比学习方法

点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入!李思杭:中国科学技术大学硕士,师从何向南教授和王翔教授。研究图神经网络的预训练和泛化。内容简介现有的图对比学习框架中的数据强化方法可被分为两类:一类是随机破坏原图特征,这可能导致原始数据语义信息的改变;另一类则利用外源的领域知识进行指导,会导致模型的泛化能力的下降。因此,我们提出一种一种新的通用图对比学习框架,在进行数据强化时保留下原始图数...

AITIME_HY的博客 1174

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

图神经网络与半监督学习的融合:Awesome-Semi-Supervised-Learning前沿技术

半监督学习作为机器学习领域的重要分支,通过结合少量标记数据和大量未标记数据进行模型训练,有效解决了标记数据稀缺的问题。而图神经网络(GNN)凭借其处理非欧几里得数据的独特优势,成为半监督学习的理想工具。本文将深入探讨图神经网络与半监督学习的融合技术,介绍Awesome-Semi-Supervised-Learning项目中的前沿研究成果和实用资源。 ## 半监督学习与图神经网络的完美结合 半监

gitblog_00023的博客 442

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

图深度学习 ICLR 2022 论文全景导览:graph-based-deep-learning-literature 主题导航实战指南

本文以开源仓库 graph-based-deep-learning-literature 中的 [ICLR 2022 投稿论文主题目录](https://link.gitcode.com/i/38edb121ce63d4b37c85020a7903333e) 为核心骨架,系统梳理该届会议中图深度学习(Graph-based Deep Learning)相关论文的 40 个主题分区、约 280 篇论

gitblog_00040的博客 274

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

零射击学习技术原理与实战应用指南

零射击学习(Zero-Shot Learning)是计算机视觉领域解决未知类别识别的关键技术,其核心在于构建视觉特征与语义描述的共享嵌入空间。通过属性标注、词向量或知识图谱等语义表示方法,系统能够将未见类别的语义描述映射到视觉特征空间,实现类似人类的推理识别能力。该技术在野生动物监测、零售商品识别等场景展现出独特价值,特别是当遇到数据稀缺或需要快速扩展识别类别时。实践中需注意处理语义间隙和领域偏移问题,采用多模态融合、转导学习等方法优化模型性能。随着CLIP等跨模态模型的发展,零射击学习正成为实现通用视觉识

weixin_33770878的博客 400

LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CON-TRASTIVE LEARNING FOR RECOMMENDATION论文笔记

一种用于基于图的推荐系统的图神经网络(GNN)方法,结合了对比学习(Contrastive Learning, CL)来提高对稀疏数据的处理能力。

qq_45862997的博客 782
上一篇: 【图神经网络:原理与实战】第六章 自监督学习与特征解耦
下一篇: AdaI-PINNs:高效求解界面问题的自适应物理信息神经网络框架
VectorShift
博客等级 码龄1年 1839粉丝 1109原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VectorShift

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值