自我关注图汇聚：SAGPool

最新推荐文章于 2024-04-07 18:00:01 发布
最新推荐文章于 2024-04-07 18:00:01 发布
阅读量388 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： pytorch 深度学习 人工智能 机器学习-深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/KdpdCode/article/details/133189088
本文详细介绍了SAGPool（Self-Attention Graph Pooling）的工作原理，这是一种用于图神经网络的汇聚操作，通过自注意力机制选择重要节点。文章提供PyTorch代码示例，展示如何在图数据上实现降维和特征提取，并强调了SAGPool在图神经网络任务中的应用价值。

自我关注图汇聚（Self-Attention Graph Pooling，简称SAGPool）是一种用于图神经网络的汇聚操作。它利用自注意力机制，根据节点之间的相似度来选择并保留最重要的节点，从而实现图的降维和汇聚。本文将详细介绍SAGPool的原理，并提供相应的源代码示例。

SAGPool的原理

SAGPool的核心思想是利用自注意力机制来计算节点之间的相似度，并根据相似度选择重要的节点进行汇聚。下面是SAGPool的主要步骤：

  1. 输入：给定一个图G，其中包含节点集合V和边集合E。

  2. 特征提取：对于每个节点v∈V，计算其特征表示x(v)。

  3. 相似度计算：使用自注意力机制计算节点之间的相似度。具体而言，对于每个节点v∈V，计算其与其他节点之间的相似度得分，可以使用注意力机制中的加权点积注意力来计算。

  4. 节点选择：根据节点之间的相似度得分，选择一部分重要的节点。可以使用Top-K操作或基于阈值的筛选方法来选择节点。

  5. 节点汇聚：将选择的节点进行汇聚，得到新的图。可以采用一些常用的汇聚方法，例如将选定的节点作为新图的节点集合，保留原图中的边或根据一些规则建立新的边。

  6. 重复步骤2到步骤5，直到达到所需的图的规模或达到汇聚的终止条件。

SAGPool的源代码示例

下面是一个简单的示例代码，演示了如何在PyTorch中实现SAGPool：

了解本专栏 订阅专栏 解锁全文
【图神经网络论文整理】（五）—— Self-Attention Graph Pooling：SAGPool
优快云 精品推荐
11-23 1104
之后会根据学习出的Z也就是注意力分数矩阵进行池化操作，这时会定义一个超参数k，代表保留节点的比率，那么【kN】就是最终需要保存节点的个数，我们会根据注意力分数进行排序，保留分数最大的前【kN】个节点。但是上面做法也会存在局限性，它单单只考虑了图节点特征，并没有考虑图的拓扑结构，为了进一步改进，作者提出了SAGPool，该方法可以同时使用节点特征和图的拓扑结构产生更加合理的图的层次表示。为了改进池化效果，本文提出了一种新的池化方式，基于自注意力机制方式，这种方式可以同时考虑节点特征以及图拓扑结构。
Pytorch+PyG实现SAGPool实现图分类
优快云 精品推荐
02-22 1569
本专栏整理了《图神经网络代码实战》，内包含了不同图神经网络的相关代码实现（PyG以及自实现），理论与实践相结合，如GCN、GAT、GraphSAGE等经典图网络，每一个代码实例都附带有完整的代码。
SAGPool - Self-Attention Graph Pooling 图分类 图池化方法 ICML 2019
知行合一，止于至善
11-30 2万+
文章目录1 相关介绍背景创新性2 相关工作基于拓扑的池化全局池化分层池化3 方法3.1 基于self-attention的图池化方法：SAGPoolSelf-attention mask图池化SAGPool的变种3.2 模型架构卷积层readout层全局池化架构分层池化架构4 实验数据集GNNs的评估训练过程BaselinesSAGPool的变种结果总结5 分析全局池化和分层池化考虑图拓扑结构的影...
图卷积知识点一些小总结
bettle_king的博客
04-07 1186
参考文章：https://zhuanlan.zhihu.com/p/362095540。
【论文阅读-SAGPool】Self-Attention Graph Pooling
weixin_42534393的博客
07-08 2297
论文地址：https://arxiv.org/abs/1904.08082 来源：ICML 2019 本篇论文主要是改变了Topk的得分方式，也是本文的创新之处。作者认为以往的得分函数过于简单，没有考虑到图的拓扑信息，认为谱域卷积同时考虑了图的拓扑信息和节点信息，故用谱域卷积的注意力来替换。其他部分基本是参考Graph U-Net论文提出的方法。 模型架构 图2左图是全局池化结构，右图是分层池化结构。 全局池化结构由三个图卷积层组成，每层的输出被连接起来。节点特征在池化层之后的readout层中聚合。然后
论文笔记之Self-Attention Graph Pooling
附子Jun的博客
09-23 2287
论文笔记之Self-Attention Graph Pooling 文章目录论文笔记之Self-Attention Graph Pooling一、论文贡献二、创新点三、背景知识四、SAGPool层1. SAGPool机理五、模型架构六、 实验结果分析七、未来研究 一、论文贡献 本文提出了一种基于self-attention的图池化方法SAGPool。使用图形卷积能够使池化方法同时考虑节点特征和图形拓扑。 二、创新点 该方法可以使用相对较少的参数以端到端方式学习层次表示。 利用self
SAGPool笔记
qq_40515250的博客
04-21 809
Self-Attention Graph Pooling 图分类 图池化方法 ICML 2019 转载：https://blog.youkuaiyun.com/yyl424525/article/details/103327551 Arxiv:https://arxiv.org/abs/1904.08082 github链接：https://github.com/inyeoplee77/SAGPool ...
10.2. 注意力汇聚：Nadaraya-Watson 核回归
weixin_45063703的博客
10-11 1745
带参数的注意力汇聚，使用小批量矩阵乘法， 定义Nadaraya-Watson核回归的带参数版本为# queries和attention_weights的形状为(查询个数，“键－值”对个数)# values的形状为(查询个数，“键－值”对个数)
汇聚思维：人机共创未来
最新发布
10-05
《汇聚思维》探讨人类与人工智能协同创新的无限可能。通过真实案例与深度分析，展示AI如何赋能创意、科研与教育，重塑工作模式。书中揭示了生成式AI在项目管理、内容创作与战略规划中的实际应用，并提出‘人类独角兽...
策略周报：关注流动宽松下的动能汇聚-200223.rar
09-11
标题“策略周报：关注流动宽松下的动能汇聚-200223.rar”表明这是一份关于投资策略的周报，重点关注在流动性宽松环境下的市场动向。200223可能是报告发布的时间，即2020年2月23日。报告的核心是分析在货币政策宽松时...
策略周报：关注流动宽松下的动能汇聚-200223.pdf
04-08
这份策略周报的核心主题是关注流动宽松下的动能汇聚，在2020年2月23日发布。报告中详细分析了市场动态、资金流向、市场情绪以及投资者应关注的板块与投资机会。以下是基于所提供内容的知识点整理： 一、市场动态...
SAGPool原理和python实现
qq_35090060的博客
05-18 533
SAGPool原理 python实现 import os import urllib import torch import torch.nn as nn import torch.nn.init as init import torch.nn.functional as F import torch.utils.data as data import numpy as np import scipy.sparse as sp from zipfile import ZipFile from sklearn
图神经网络 | (6) 图分类(SAGPool)实战
sdu_hao的博客
02-03 2万+
近期买了一本图神经网络的入门书,最近几篇博客对书中的一些实战案例进行整理，具体的理论和原理部分可以自行查阅该书，该书购买链接：《深入浅出的图神经网络》。 该书配套代码 本节我们通过代码来实现基于自注意力的池化机制(Self-Attention Pooling)。来对图整体进行分类，之前我们是对节点分类，每个节点表示一条数据，学习节点的表示，进而完成分类，本节我们通过自注意力池化机制，得到整个图...
图神经网络之池化SAGPool
weixin_44370695的博客
08-14 1685
SAGPool 一个自注意力图池化方法，它是架构在层次池化环境下的。 Self-attention mask 注意力可以让网络关注重要的特征，而轻视不重要的特征。 我们利用图图卷积来进行自注意力打分。 σ\sigmaσ为激活函数，如tanh. 下面需要选取top-k个结点 网络结构： (1) 卷积层： (2) READOUT层： (3) 池化层 图池化 层次池化 传送门：https://arxiv.org/pdf/1904.08082.pdf ...
SAGPool图分类
周先森爱吃素的博客
11-27 2940
本文介绍使用SAGPool对D&D数据集进行图分类。
GNN Pooling(五)：Self-Attention Graph Pooling，2019ICML
qq_36618444的博客
07-13 3333
目录Graph PoolingMethodSelf-Attention Graph Pooling Graph Pooling 本文的作者来自Korea University, Seoul, Korea。话说在《请回答1988里》首尔大学可是很难考的，韩国的高考比我们的要更激烈乃至残酷得多。 本文提出了一种基于自注意的图池方法。使用图形卷积使我们的池化方法同时考虑节点特征和图形拓扑。为了确保公平的比较，对现有的池方法和我们的方法使用了相同的训练过程和模型架构。实验结果表明，该方法在参数合理的情况下，能够在基
图神经网络（四）图分类（4）图分类实战完整代码
weixin_43360025的博客
05-07 2404
图神经网络（四）图分类（4）图分类实战完整代码完整代码代码说明SetUp功能函数定义D&D数据Model定义GraphConvolutionReadOut实现基于自注意力机制的池化层模型一：SAGPool Global Model模型二：SAGPool Hierarchical Model训练&测试运行结果 完整代码 代码说明 这里使用Jupyter Notebook来完成代码的实现，只需导包然后按照步骤运行即可。 SetUp !pip install --verbose --no-cac
【论文阅读-GSAPool】Structure-Feature based Graph Self-adaptive Pooling
weixin_42534393的博客
07-09 1858
论文地址：https://arxiv.org/pdf/2002.00848.pdf 代码地址：https://github.com/psp3dcg/GSAPool 来源：WWW2020 近年来，提出了各种处理Graph的方法。但是，这些方法大多侧重于节点特征的聚合，而很少关注图池化。而现有的基于top-k的图池化方法也存在一些问题。首先，为了构建池图拓扑，目前的top-k选择方法仅从单个角度评估节点的重要性，过于简单和客观。其次，在池化过程中，未选择节点的特征信息直接丢失，不可避免地导致大量图特征信息丢失。
池化方法总结（Pooling）
热门推荐
Daniel_djf的专栏
01-05 6万+
在卷积神经网络中，我们经常会碰到池化操作，而池化层往往在卷积层后面，通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。 为什么可以通过降低维度呢？ 因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值
双网卡汇聚操作教程：图文详解
双网卡汇聚，又称为网络适配器绑定、NIC Teaming或Link Aggregation，是一种将多个网络接口卡（NIC）捆绑在一起，提供更高带宽和冗余的网络连接技术。通过网络聚合，计算机可以同时使用多条物理连接进行数据传输，以...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值