图神经网络学习笔记（一）：graph attention neural network

最新推荐文章于 2025-05-18 16:35:12 发布
原创 最新推荐文章于 2025-05-18 16:35:12 发布 · 2.6k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了图注意力网络GAT，首先讲解了单注意力机制的工作流程，包括特征提取层、Attention layer和隐藏层的细节。接着，概述了多注意力机制，即通过多个单注意力机制计算每个顶点，最终取平均值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文地址

代码实现（tensorflow）

论文里面实现的GAT网络是多注意力机制的，直接理解起来很困难，这里我们就先从单注意力机制的GAT网络说起。

一、单注意力机制

先来看看单注意力下，GAT网络的工作流程（以代码中的demo为例）：
在这里插入图片描述

上述流程图也可以简化为：
在这里插入图片描述

这里将特征提取层、attention layer与hidden layer（output layer）合并为了一个attn head layer，论文中也明确指出GAT仅仅attn head layer组成。
接下来我们将attn head layer视为一层，来介绍其中每个子层的作用：

1、 特征提取层

这里给出几个符号定义：
（1） F1：表示输入attn head layer的特征向量长度
（2） F2：表示attn head layer输出的特征向量长度
（3） nodes：表示图的顶点个数
（4） Feature_in：输入特征向量矩阵，大小为：（nodes，F1）
（5） Feature_out：输出特征向量矩阵，大小为：（nodes，F2）
（6） W1：表示该层的权重矩阵，大小为：（F2，1，F1）。
（7） W1_1：表示W1的第一个卷积核，大小为（1，F1）。
算法流程：

最低0.47元/天 解锁文章

200万优质内容无限畅学
图神经网络（九）：GRAPH ATTENTION NETWORKS
码匀的博客
03-13 602
一句话概括该论文： 这篇论文提出了用注意力机制来获取节点重要性的方式，通过获取的重要性程度，我们可以得到更加合理的节点表示，解决了以往GCN中必须知道全部节点的信息的问题，得到的结论是：通过使用注意力机制我们可以较为完美的知道每个节点的重要程度，通过这个重要程度我们可以有针对的对节点进行处理，增加了节点表达的能力。 以往GCN的缺点： 这个模型对于同阶的领域上分配给不同的邻居的权重是完全相同的，这一点限制了模型对于空间信息的相关性的捕捉能力。 GCN结合邻近节点特征的方式和图的结构息息相关，这局限了训练所的
深入理解图注意力机制（Graph Attention Network）
04-21
图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。
GRAPH ATTENTION NETWORKS
deye1979的专栏
04-08 667
基本就是第一层concatenate，第二层不concatenate. 相关论文： Semi-Supervised Classification with Graph Convolutional Networks Geometric deep learning on graphs and manifolds using mixture model CNNs Con...
图注意力网络（GAT， Graph Attention Network）
最新发布
不断积累不断学习
05-18 1178
（1）图数据具有非欧几里得性质（不满足欧几里得几何公理体系（如平行公设、距离定义等）的空间或结构的特性，传统的CNN难以直接处理，所以图卷积应需而生。（2）图卷积（GCN）通过固定权重聚合邻居信息，无法区分不同邻居的重要性，具有局限性。（3）注意力机质允许模型动态调整各邻居的权重，捕捉重要节点间的交互。
An Attention-based Graph Neural Network for Heterogeneous Structural Learning
weixin_45848585的博客
02-12 2663
论文链接：https://arxiv.org/abs/1912.10832 代码链接：https://github.com/didi/hetsann Abstract 针对HIN（Heterogeneous Information Network）的表示学习，提出 HetSANN（Heterogeneous Graph Structural Attention Neural Network） 模型，不使用元路径（mate-path）直接编码HIN中的信息。通过以下两种方法表示异构信息： 将异构节点映射到低
李宏毅机器学习|图神经网络Graph Nerual Networks(GNN)|学习笔记-part1
xiaopihaierletian的博客
12-06 1671
李宏毅机器学习|图神经网络Graph Nerual Networks(GNN)|学习笔记
论文学习笔记：Attention-Based Graph Neural Network For Semi-supervised Learning
weixin_40675092的博客
06-25 1671
图卷积对图中节点的特征和图结构建模，本文中作者首先移除图卷积中的非线性变换，发现在GCN中起关键作用的是传播层，而不是感知层。然后提出AGNN模型，在传播层引入attention机制，使中心节点特征的聚合过程中，对邻居节点的注意力产生差异。模型在benchmark测试用的文献引用数据集上的效果优于其他state-of-the-art的方法。并且，通过传播矩阵计算节点之间的关联强度，得到了一些更有趣的信息。在预测目标节点类别时，与预测类别相同的邻居节点将会在此过程中，承担了比其他邻居节点更重要的角色。 Gr.
ShadowGNN: Graph Projection Neural Network for Text-to-SQL Parser 论文笔记
weixin_43829169的博客
11-30 1747
文章目录摘要1.Introduction 摘要 给定一个数据库模式，Text-to-SQL旨在将一个自然语言问题翻译成相应的SQL查询。在跨领域（意思是，如果模型在数据库a，比如说地理信息的数据库上训练，当把模型放在数据库b，比如说企业信息的数据库上测试）的设置下，传统的语义解析模型很难适应未见过的数据库模式。 为了提高模型对罕见和未见过的模式的泛化能力，我们提出了一个新的架构，即ShadowGNN，它在抽象和语义层面上处理模式。通过忽略数据库中语义项的名称，把抽象的数据库模式投影到一个图神经网络上并
AI医药论文笔记DeepDDS: deep graph neural network with attention mechanism to predict synergistic drug....
xiao_muyu的博客
12-22 1880
DeepDDS:具有注意机制的深度图神经网络预测协同用药 文章目录DeepDDS:具有注意机制的深度图神经网络预测协同用药一、模型？二、具体方法？三、实验结果？ 一、模型？ DeepDDS ：基于图卷积网络和注意力机制的深度学习模型，以识别能够有效抑制特定癌细胞生存能力的药物组合。 步骤： 通过多层感知 MLP获得癌细胞基因表达谱的特征嵌入。 基于药物SMILES生成的药物分子图，通过GAT或GCN获得药物的特征嵌入。 将药物和细胞株的嵌入向量连接送到多层全连接网络中，预测协同效应，实现药物组合的二
【Graph Neural Network 图神经网络】1.Recurrent Graph Neural Network 循环图神经网络
TsingM
06-02 5735
图神经网络概述 神经网络的成功推动了模式识别和数据挖掘的研究，产生了若干种端到端的深度学习方法：卷积神经网络CNN、循环神经网络RNN、自动编码器。其中卷积神经网络CNN能够利用图像数据的平移不变性、局部连通性和可组合型，提取与整个数据集共享的局部有意义的特征，以进行各种图像分析任务。 但是在应用场景中依然有大量的数据以图Graph的形式表示，例如电子商务中的用户与产品的交互、化学中的分子结构、引文网络中的论文关系等。因为图结构可能是不规则的，图中的节点可能具有不同数量的邻居，图中实例彼此关联不独立，所以现
Graph Attention Network (GAT) 图注意力模型
酒酿小圆子呀～
07-07 1万+
文章目录 GAT模型的提出，可见ICLR 2018论文 GRAPH ATTENTION NETWORKS
注意力神经网络（Attention Neural Networks） lecture13_attention_neural_networks.zip
11-10
图神经网络与注意力网络的联系在于，图神经网络需要预先给定数据之间的关联信息，注意力预先不知道数据之间的关联，而是尝试去发现它。当每个数据点之间两两有边（关系）时，图神经网络与注意力网络是一致的。
神经网络注意力机制--Attention in Neural Networks
AI小作坊 的博客
10-16 1万+
Attention in Neural Networks and How to Use It http://akosiorek.github.io/ml/2017/10/14/visual-attention.html这篇博文主要介绍神经网络中的注意力机制，代码实现了两个 soft visual attentionWhat is Attention? 首先来看看 注意力机制是什么？ Infor
聚焦和增强递归神经网络
优快云 人工智能
10-09 873
原文： Attention and Augmented Recurrent Neural Networks 译者： KK4SBB 责编：何永灿，关注人工智能，投稿请联系heyc@youkuaiyun.com或微信号289416419 递归神经网络是一种主流的深度学习模型，它可以用神经网络模型来处理序列化的数据，比如文本、音频和视频数据。它能把一个序列浓缩为抽象的理解，以此来表示这个序列，乃至...
读书笔记8：Graph Attention Networks（ICLR 2018)
weixin_41036461的博客
12-23 319
源链接：https://blog.youkuaiyun.com/b224618/article/details/81407969 https://mila.quebec/wp-content/uploads/2018/07/d1ac95b60310f43bb5a0b8024522fbe08fb2a482.pdf https://arxiv.org/pdf/1710.10903.pdf 这是一篇将atte...
Attention机制详解以及在图神经网络中的应用
qq_42211755的博客
03-01 1504
Attention机制详解以及在图神经网络中的应用注意力机制和transformer框架注意力机制的来源和引入原因1.2 注意力系数的计算1.3 Transformer框架2 图注意力网络（GAT）和attention计算2.1 输入输出2.2 共享线性变化2.3 self-attention机制3 DGL实现图注意力网络和实验结果 本文基于Advanced Deep Learning的第三次作业，内容如下： 理解论文Attention is all you need，介绍attention计算方式和tr
图神经网络（Graph Neural Networks）简单介绍
热门推荐
百年孤独百年的博客
05-24 2万+
图神经网络（Graph Neural Networks, GNN）是一类用于处理图结构数据的神经网络模型，与传统的神经网络（例如卷积神经网络、循环神经网络等）处理规则数据结构（如图像、时间序列）不同，图神经网络专门处理不规则的图结构数据，如社交网络、知识图谱等。图结构数据是一种由节点和边组成的复杂关系网络，其中节点代表实体，边代表实体之间的关系。与传统的神经网络不同，图神经网络需要考虑节点之间的关系，因此需要一种新的方式来表示节点和边。
异质图神经网络：Heterogeneous Graph Attention Network
在深度学习领域，图神经网络（Graph Neural Networks, GNNs）已经成为一种强大的图表示技术，因其在各种任务中的优越性能而受到广泛关注。然而，传统的图神经网络主要针对同质图（所有节点和边类型相同的图），而在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值