【ICLR 2018图神经网络论文解读】Graph Attention Networks (GAT) 图注意力模型

已于 2024-05-19 15:20:59 修改
阅读量5.7k 收藏 23
点赞数 5
分类专栏： 论文解读 大厂算法岗求职攻略 文章标签： 图神经网络 GAT 注意力机制
于 2021-11-06 09:39:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43827595/article/details/121174348
版权
本文深入解读ICLR 2018的Graph Attention Networks（GAT）。GAT通过注意力机制解决了图神经网络中的Inductive Learning问题，无需完整图结构，仅依赖节点及邻居信息。对比GCN，GAT在处理动态图和未知结构时更具优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

写在前面

问题：我们能不能让图自己去学习A节点与A的邻居节点之间聚合信息的权重呢？
本文提出的模型GAT就是答案

Graph Attention Network为了避免与GAN弄混，因此缩写为GAT。

与GCN类似，GAT同样是一种局部网络。因此，（相比于GNN或GGNN等网络）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【图神经网络论文整理】（二）—— HOW ATTENTIVE ARE GRAPH ATTENTION NETWORKS?：GATv2
优快云 精品推荐
11-21 2071
作者使用一个简单的综合问题证明了GA T的弱点，即GAT甚至无法拟合简易数据，但很容易通过GATv2解决。图注意力网络GATs是目前较为流行的GNN架构，在GAT中每个节点可以看成一个查询向量Q，该节点的邻居可以看成键向量K，然后基于Q和K计算对应的注意力分数，也可以说成是权重系数，然后利用该权重对该节点的邻居进行加权求和聚合操作，作为该节点新的表示向量。k9】计算注意力分数时，都是k8的注意力分数最大，也就是无论q是什么，k8的贡献都是相对最大的，为了解决这个问题，作者提出了GATv2来使用动态注意力。
图神经网络论文阅读(六) GRAPH ATTENTION NETWORKS，ICLR2018
qq_36618444的博客
03-15 1492
本文的第一作者来自剑桥大学计算机学院。 文本提出了图形注意网络(GATs)，这是一种新型的神经网络结构，它对图结构的数据进行操作，利用masked self-attention来解决先前方法的缺点。通过堆叠不同的GAT层，使得节点能够关注它们的邻域特性。我们可以(隐式地)为一个邻域内的不同节点指定不同的权重，而不需要任何昂贵的矩阵运算(比如求逆)，也不需要预先了解图的结构。 GRAPH ATTEN...
图注意力网络GAT - 《Graph Attention Networks》论文详解
November、Chopin
10-15 2921
图注意力网络GAT论文详解
GAT图注意力网络论文源码pytorch版超详细注释讲解！！！_pytorch gat
2501_90245229的博客
01-12 1382
rowsum = np.array(mx.sum(1)) # 对每一行求和r_inv = np.power(rowsum, -1).flatten() # 求倒数r_inv[np.isinf(r_inv)] = 0. # 如果某一行全为0，则r_inv算出来会等于无穷大，将这些行的r_inv置为0r_mat_inv = sp.diags(r_inv) # 构建对角元素为r_inv的对角矩阵。
GAT-GRAPH ATTENTION NETWORKS（论文笔记）
最新发布
水深00安东尼的博客
04-10 1131
图注意力网络（GATs），可以在图结构数据上操作的神经网络架构。在GAT模型中，节点能够在它们的邻域特征上进行“关注”，从而隐式地为邻域中的不同节点指定不同的权重。
【GAT】GRAPH ATTENTION NETWORKS论文笔记
weixin_43887183的博客
12-30 2599
GRAPH ATTENTION NETWORKS摘要 摘要 GCN将局部的图结构和节点特征结合在节点分类任务中获得好的表现。但GCN及其近似模型有两点不足： 一是结合邻近节点特征的方式和图结构相关，限制模型泛化能力； 二是给同阶邻域不同结点分配相同权重，限制模型捕捉空间信息相关性能力； 本文提出了一种新的应用于图数据上的网络结果Graph Attention Networks(GATs)，不同于先前一些基于谱域的图神经网络，通过使用masked的self attention，从而克服了先前图卷积网络或其
2018 ICLR | GRAPH ATTENTION NETWORKS
发呆的比目鱼的博客
05-16 531
Paper: https://arxiv.org/pdf/1710.10903 2018 ICLR | GRAPH ATTENTION NETWORKS
Graph Attention Network (GAT) 图注意力模型
酒酿小圆子呀～
07-07 1万+
文章目录 GAT模型的提出，可见ICLR 2018论文 GRAPH ATTENTION NETWORKS
图注意力网络(GAT) ICLR2018, Graph Attention Network论文详解
热门推荐
祥瑞的技术博客
04-21 10万+
背景：ICLR2018 论文，Graph Attention Network在GNN中非常重要，再之前图卷积网络GCN的基础之上引入了注意力机制，非常实用。 论文地址：https://arxiv.org/abs/1710.10903 代码地址： https://github.com/Diego999/pyGAT 相关论文详解： GCN (Graph Convolutional Networ...
GAT-图注意力模型
为援不可图
09-06 5182
在直推式模型如GCN中，使用拉普拉斯矩阵来获取顶点特征，但是，拉普拉斯矩阵存在着一些问题，在运算的时候，需要把整个图所有节点都放进模型中，这就导致无法预测新节点。而GAT采用Attention架构，只负责将该节点的邻居节点进行计算，也就是只计算子图的一部分，这样，就可以避免全图计算。
论文阅读：ICLR 2020 图神经网络论文
南有芙蕖
09-11 3103
论文阅读：ICLR 2020 图神经网络论文汇总 目录论文阅读：ICLR 2020 图神经网络论文汇总1.Contrastive Learning of Structured World Models1.1 问题场景1.2 挑战1.3 贡献1.4 GCN 之后 C-SWMs2.The Logical Expressiveness of Graph Neural Networks3.Geom-GCN: Geometric Graph Convolutional Networks3.1 引言3.2 模型3.3
ICLR 2018论文合集
02-12
ICLR论文合集，此篇收集了2018的所有论文，希望对各位同学有用，论文合集，论文合集，论文合集，论文合集。
论文阅读ICLR2020《ADAPTIVE STRUCTURAL FINGERPRINTS FOR GRAPH ATTENTION NETWORKS》
qq_37908670的博客
07-18 1455
论文阅读ICLR2020《ADAPTIVE STRUCTURAL FINGERPRINTS FOR GRAPH ATTENTION NETWORKS》摘要确定节点相似性时图的结构Adaptive Structural Fingprients（ADSF）模型介绍结果分析原作CONCLUSION AND FUTURE WORK论文 摘要 观点：如何利用注意力机制中的丰富的结构信息 针对问题：增加高阶邻居的注意范围会对性能产生负面影响，过平滑风险 本文提出“Adaptive structure Fingerpri
【论文复现】Graph Attention Networks图注意力神经网络
weixin_73074012的博客
05-05 1695
这篇论文提出的核心方法就是在计算一个节点的输出的时候考虑与其相邻的节点对当前节点的影响，同时也将节点对自己的影响考虑在内，为了方便后续解释中将简化成GAT来表述，阅读原版论文有困难可以看一下Aleksa大神录制的讲解视频辅助理解，我在看完视频以后对第多头注意力下的结果输出部分茅塞顿开，同时对自己看论文的时候的一些理解也更加深刻了；另外还有B站上的GAT代码讲解视频的讲解很详细,相比于pytorch给出的源码。
论文 | 图注意力网络 | GRAPH ATTENTION NETWORKS
haoji007的博客
11-24 2988
论文链接：https://arxiv.org/abs/1710.10903 摘要 本文提出了图注意力网络（GATs），这是一种新的作用在图结构数据上的神经网络框架。Attention机制利用masked self-attentional layers来解决以前基于图卷积或者与图卷积近似的前人方法中的不足之处。通过堆叠这样的层 —— 当层中节点在更新自身特征的时候能够兼顾它所有邻居...
GAT模型介绍
vincent_duan的专栏
09-02 3820
在GCN里介绍了处理cora数据集，以及返回的结果： features：论文的属性特征，维度2708 × 1433 2708 \times 14332708×1433，并且做了归一化，即每一篇论文属性值的和为1. labels：每一篇论文对应的分类编号：0-6 adj：邻接矩阵，维度2708 × 2708 2708 \times 27082708×2708 idx_train：0-139 idx_val：200-499 idx_test：500-1499 这一节介绍GAT模型： GAT模型 model:
[论文精读]Graph Attention Networks
Sherlily的博客
10-19 519
计算机-人工智能-脑科学与类脑智能
论文分享--＞GNN--＞Graph Attention network
村头陶员外的博客
05-16 898
本次要总结分享的论文： 论文链接：Graph Attention network（GAT) 来源会议：ICLR 2018 作者：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Yoshua Bengio 参考代码：GAT-CODE 本篇论文的核心内容其实很简单，就是将 NLP领域的 注意力机制 延用到不规则的 图结构上，使得节点在聚合其邻居节点信息时，能自适应的分配不同邻居不同权重。实验显示取得了不错的效果。本论文是GNN领域内重要的一篇论文，
#Paper Reading# Graph Attention Networks（图注意力网络）
weixin_43805551的博客
03-09 611
#论文题目：Graph Attention Networks（图注意力网络） #论文地址：https://arxiv.org/pdf/1710.10903.pdf #论文发表网站：https://arxiv.org/abs/1710.10903 #论文源码开源地址：https://g...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

捡起一束光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值