图学习(一)Graph Attention Networks

最新推荐文章于 2024-05-11 10:26:18 发布
原创 最新推荐文章于 2024-05-11 10:26:18 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch

本文介绍了图注意力网络（GAT），一种针对图结构数据的新方法，解决了图卷积网络在inductive任务和有向图处理中的局限性。GAT允许节点根据邻居特征分配不同权重，无需预先构建图，适用于动态图问题。通过逐节点的注意力机制，GAT能够在保持计算效率的同时捕捉图的复杂结构。

背景

研究机构：Department of Computer Science and Technology；Centre de Visi´o per Computador, UAB；Montreal Institute for Learning Algorithms
来源:ICLR2018

摘要

针对图结构的数据，本文提出了一种图注意力网络GAT，该网络使用masked self-attention用于解决之前图卷积模型中存在的问题。在GAT中，图中的每个节点可以根据邻节点的特征，为其分配不同的权值。GAT的另一个优点在于，无需使用预先构建好的图。

动机

GCN的局限性：
(1)无法完成inductive任务，即处理动态图问题。
inductive任务是指：训练阶段与测试阶段需要处理的graph不同。通常是训练阶段只是在子图（subgraph）上进行，测试阶段需要处理未知的顶点。（unseen node）
(2)处理有向图的瓶颈，不容易实现分配不同的学习权重给不同的neighbor。

方法

作者提到，GAT的实现方式可以有两种思路。其一，Global graph attention
即每一个顶点 i i i都对图上任意顶点进行attention操作。优点：完全不依赖于图的结构，可以很好的完成inductive任务。缺点：计算量巨大，并且数据本身的图结构特点丢失，可能导致很差的结果。

其二，Mask graph attention，注意力机制的运算只在邻居顶点上进行。作者采用的是这种方式。
具体细节:
与一般的attention方法类似，GAT的计算步骤也是两步走策略：
（1）计算注意力分布（即用于加权的系数）
对于顶点 i i i，逐个计算各个邻居 j ( j ∈ N i ) j(j\in N_i) j(j∈Ni​

最低0.47元/天 解锁文章
Graph Attention Network (GAT) 图注意力模型
酒酿小圆子呀～
07-07 1万+
文章目录 GAT模型的提出，可见ICLR 2018论文 GRAPH ATTENTION NETWORKS
graph attention network
weixin_47055840的博客
04-19 901
参考博客：Graph Attention Networks学习笔记 - 知乎 (zhihu.com) 在本文中，作者提出了一种基于attention的节点分类网络——GAT。其基本思想是，根据每个节点在其邻节点上的attention，来对节点表示进行更新。GAT具有以下几个特点：（1）计算速度快，可以在不同的节点上进行并行计算；（2）可以同时对拥有不同度的节点进行处理；（3）可以被直接用于解决归纳学习问题，即可以对从未见过的图结构进行处理。Graph Attentional Layer 输入： .
原创 | 图注意力神经网络(Graph Attention Networks)综述
数据派THU
07-19 8665
作者：邓杨 本文约6300字，建议阅读10分钟本文根据提出GAT文章Velickovic et al.(2017)中论述的顺序，简单介绍一下GAT的工作原理。数无形时少直觉，形少数时难入微–华罗庚1 图注意力神经网络的介绍1.1GAT的原理与特性图形，由点、线、面和体构成，代表了一种理解抽象概念和表达抽象思想的有效工具。图形语言的优势在于其跨越语言障碍的能力，这种能力和技术大多是人类为了理解世...
GRAPH ATTENTION NETWORKS
deye1979的专栏
04-08 696
基本就是第一层concatenate，第二层不concatenate. 相关论文： Semi-Supervised Classification with Graph Convolutional Networks Geometric deep learning on graphs and manifolds using mixture model CNNs Con...
Graph Attention Networks(GATs)
weixin_65191557的博客
09-05 1171
图注意网络（GATs）是对GCNs的理论改进。GATs提出了一种加权因子，该因子考虑了节点特征的“自我关注”过程，改进了GCNs静态的归一化系数。在本文中，我们将介绍GATs是如何工作的，并将其应用于实例，进一步了解其工作原理。
Relational Graph Attention Networks
10-24
本文介绍了一种新型的深度学习模型——关系图注意力网络（Relational Graph Attention Networks,简称R-GAT）。该模型是在图注意力网络（Graph Attention Networks, GAT）的基础上进行扩展，旨在结合节点特征与关系...
Graph Attention Networks(图自注意力网络)
小鱼的小窝
07-16 9839
Graph Attention Networks(图自注意力网络)
Att论文解读|ICLR 2018 《Graph attention networks》图注意力网络
YuZhou的博客
05-11 2946
我们提出了图注意力网络（GATs），这是一种可在图结构数据上运行的新型神经网络架构，它利用掩码自注意力层来解决之前基于图卷积或其近似值的方法的不足之处。通过堆叠节点能够关注其邻域特征的层，我们能够（隐式地）为邻域中的不同节点指定不同的权重，而不需要任何形式的代价高昂的矩阵运算（如反转），也不依赖于对图结构的预先了解。通过这种方式，我们同时解决了基于谱的图神经网络所面临的几个关键挑战，并使我们的模型可随时应用于归纳和转换问题。
关系图卷积网络 - Relational Graph Attention Networks.pdf.zip
10-30
关系图卷积网络（Relational Graph Convolutional Networks，简称RGCNs）是图卷积网络（Graph Convolutional Networks，GCNs）的一种扩展形式，它特别针对包含丰富关系信息的图数据进行设计。GCNs在处理无向图时表现...
深入理解图注意力机制（Graph Attention Network）
04-21
图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。
Graph attention networks
steph_curry的博客
06-09 300
ICLR 2018 最近在学习图卷积网络。调研一些文章吧。 这篇文章不是GCN，是GAT 输入是N个结点特征h，输出是新的N个特征h'。这个过程至少需要一个权重矩阵W来转移。这里W是所哟结点共享的。这样的共享的结果肯定不是最优的，因此加上self-attention,为每个相邻节点到中心节点的转移设置独特的权重： 这里Ni是i节点的邻接点集合。aij就是上述独特的权重，其实就是邻接...
Graph Attention Networks
Ying_M
06-10 1106
目录前期简介论文导读论文研究背景、成果及意义研究背景研究成果研究意义论文泛读摘要论文小标题论文精读论文算法模型总览模型的细节消息传递机制(Message Passing)Attention机制Multi-head Attention直推式学习 & 归纳式学习GAT算法实验设置和结果分析论文总结 前期简介 前期知识储备 论文结构 学习目标 论文导读 论文研究背景、成果及意义 研究背景 图像上的卷积操作 In CNN, pixel representation is created by
#Paper Reading# Graph Attention Networks（图注意力网络）
weixin_43805551的博客
03-09 705
#论文题目：Graph Attention Networks（图注意力网络） #论文地址：https://arxiv.org/pdf/1710.10903.pdf #论文发表网站：https://arxiv.org/abs/1710.10903 #论文源码开源地址：https://g...
图注意力网络——Graph attention networks (GAT)
qq_41977459的博客
04-19 2万+
文章目录摘要引言 摘要   图注意力网络，一种基于图结构数据的新型神经网络架构，利用隐藏的自我注意层来解决之前基于图卷积或其近似的方法的不足。通过堆叠层，节点能够参与到邻居的特征，可以(隐式地)为邻域中的不同节点指定不同的权值，而不需要任何代价高昂的矩阵操作(如反转)，也不需要预先知道图的结构。通过这种方法，该模型克服了基于频谱的故神经网络的几个关键挑战，并使得模型适用于归纳和推理问题。在四个数据集上实现或匹配了最先进的结果（Cora, Citeseer, Pubmed citation network,
深入浅出GAT–Graph Attention Networks（图注意力模型）
热门推荐
xiao_muyu的博客
12-07 6万+
深入浅出GAT–Graph Attention Networks（图注意力模型） 文章目录深入浅出GAT--Graph Attention Networks（图注意力模型）1 GAT的诞生2 关于图2.1 图的重要的“两特征”2.2 GCN的局限性3 GAT3.1 Global graph attention3.2 Mask graph attention4 输入浅出GAT4.1 计算注意力系数（attention coefficient）4.2 加权求和（aggregate）5 深入理解强化GAT5.1
2018-graph attention networks
最新发布
05-12
<think>好的，用户想了解2018年提出的图注意力网络（Graph Attention Networks）的相关信息或论文，特别是关于实现的部分。首先，我需要回忆一下GAT的基本结构和主要贡献。GAT由Velickovic等人在2018年提出，核心是使用注意力机制来动态计算节点之间的重要性权重，替代了传统的基于图结构的方法，比如GCN中的固定归一化。 接下来，用户提到的是论文的实现，所以需要详细说明模型的架构，特别是多头注意力机制和参数共享的部分。记得要引用用户提供的参考资料中的相关部分，比如引用[4]提到的注意力机制公式，这可能与GAT中的注意力函数有关。需要确认引用中的符号是否与GAT论文一致，例如$a(W\vec{h_i}, W\vec{h_j})$，这里可能对应GAT中的注意力系数计算。 然后，用户可能需要代码示例，所以应该提供一个简单的PyTorch实现，包括图注意力层的定义和前向传播过程。要注意代码中的关键部分，比如线性变换、注意力系数的计算、LeakyReLU激活函数以及softmax的应用。同时，多头注意力的实现可能需要将多个注意力头的结果拼接或平均，这部分也需要在代码中体现。 用户的问题中还提到了相关问题的生成，需要根据GAT的特点和应用场景来设计问题。例如，GAT与GCN的区别、多头注意力的作用、如何处理动态图等。这些问题需要简洁明了，能够引导用户进一步探索。 另外，需要检查是否有遗漏的要点，比如训练方法。引用[3]提到了使用REINFORCE算法训练策略网络，但GAT通常使用监督学习，可能需要指出这点差异。同时，引用[1]和[2]提到的图网络结构和双层GCN可能作为对比，说明GAT的灵活性和优势。 最后，确保回答符合系统级指令，数学公式用$...$，独立公式用$$...$$，正确使用中文，并且引用标识正确添加。例如，在提到注意力机制时引用[4]，在讨论图卷积网络时引用[2]。</think># 图注意力网络(GAT) 2018论文实现解析 ## 一、核心机制 2018年提出的图注意力网络(Graph Attention Networks, GAT)[^4] 创新性地将注意力机制引入图神经网络，其核心是通过$α_{ij}$注意力系数动态计算节点间关系： $$e_{ij} = \text{LeakyReLU}(\vec{a}^T[W\vec{h_i}||W\vec{h_j}])$$ $$α_{ij} = \text{softmax}_j(e_{ij}) = \frac{\exp(e_{ij})}{\sum_{k∈\mathcal{N}_i}\exp(e_{ik})}$$ 其中$\vec{a}∈\mathbb{R}^{2F'}$是可训练参数向量，$W∈\mathbb{R}^{F'×F}$是共享线性变换矩阵[^4] ## 二、模型架构 ### 2.1 单头注意力层 ```python import torch import torch.nn as nn import torch.nn.functional as F class GraphAttentionLayer(nn.Module): def __init__(self, in_features, out_features, dropout=0.6): super().__init__() self.W = nn.Linear(in_features, out_features) self.a = nn.Linear(2*out_features, 1) self.dropout = nn.Dropout(dropout) self.leakyrelu = nn.LeakyReLU(0.2) def forward(self, h, adj): Wh = self.W(h) # [N, out_features] N = Wh.size(0) # 构造所有节点对 Wh_repeated = Wh.unsqueeze(1).repeat(1, N, 1) # [N, N, out_features] Wh_repeated_transposed = Wh_repeated.transpose(0,1) concat = torch.cat([Wh_repeated, Wh_repeated_transposed], dim=2) # [N, N, 2*out_features] e = self.leakyrelu(self.a(concat).squeeze(2)) # [N, N] zero_vec = -9e15*torch.ones_like(e) attention = torch.where(adj > 0, e, zero_vec) attention = F.softmax(attention, dim=1) attention = self.dropout(attention) h_prime = torch.matmul(attention, Wh) # [N, out_features] return F.elu(h_prime) ``` ### 2.2 多头注意力机制（论文关键创新） $$h_i' = \|_{k=1}^K σ(\sum_{j∈\mathcal{N}_i} α_{ij}^k W^k h_j)$$ 其中$\|$表示拼接操作，$K$为注意力头数量[^4] ## 三、训练要点 1. 参数初始化：使用Glorot初始化权重矩阵 2. 正则化：在注意力系数上应用dropout（0.6概率） 3. 激活函数：ELU非线性激活 4. 优化器：Adam优化器（初始学习率0.005） ## 四、性能优势 与GCN相比，GAT具有三大优势： 1. 隐式指定不同邻居的权重，无需预先知道图结构 2. 适用于inductive学习任务 3. 多头注意力机制增强模型稳定性 ## 五、典型应用场景 1. 蛋白质相互作用网络分析 2. 社交网络用户行为预测 3. 知识图谱补全 4. 交通流量预测[^1]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值