通用图变换器自注意力网络（Universal Graph Transformer Self-Attention Networks）

最新推荐文章于 2025-11-24 19:11:26 发布
最新推荐文章于 2025-11-24 19:11:26 发布
阅读量239 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bug_code702/article/details/132951155
本文深入探讨通用图变换器自注意力网络，解释其如何利用自注意力机制处理图数据，进行表示学习和特征提取。内容涵盖图表示、自注意力机制、图变换器的构成以及多头自注意力和前馈神经网络子层的工作原理。通过Python代码示例展示了模型的实现过程，强调其在图分析任务中的应用潜力。

自注意力机制是深度学习中一种重要的技术，它在自然语言处理和计算机视觉等领域取得了显著的成果。通用图变换器自注意力网络是一种扩展了自注意力机制的模型，它能够处理图数据，并在图上进行有效的表示学习和特征提取。

在本文中，我们将介绍通用图变换器自注意力网络的原理和实现，并提供相应的源代码。

通用图变换器自注意力网络的原理如下：

  1. 图表示：将图数据表示为节点和边的集合。每个节点都具有一个特征向量，用于描述该节点的属性。边表示节点之间的连接关系，并可以具有相应的边特征。

  2. 自注意力机制：通用图变换器自注意力网络使用自注意力机制来建模节点之间的关系。自注意力机制通过计算节点之间的相似度得分，来决定节点之间的关联程度。具体而言，对于每个节点，都会计算与其他节点之间的相似度得分，并根据得分来加权聚合其他节点的特征向量。这样，每个节点都能够考虑到与其相关的节点的信息，从而获得更丰富的表示。

  3. 图变换器：通用图变换器自注意力网络通过多层的图变换器来对图数据进行表示学习和特征提取。每个图变换器由两个子层组成：多头自注意力子层和前馈神经网络子层。

  • 多头自注意力子层：该子层通过执行多个并行的自注意力操作来捕捉不同关系的信息。每个自注意力操作都具有自己的权重矩阵，从而使网络能够学习到不同的关系表示。

  • 前馈神经网络子层：该子层通过应用全连接层和激活函数来对节点的特征进行非线性变换。这有助于网络更好地适应不同类型的图数据。

  1. 输出表示：通用图变换器自注意力网络通过多层的图变换器后，得到最终的节
了解本专栏 订阅专栏 解锁全文
【图神经网络论文整理】（六）—— Universal Graph Transformer Self-Attention Networks
优快云 精品推荐
11-24 1159
本文介绍的论文是《Universal Graph Transformer Self-Attention Networks》。该篇文章的主要贡献是将Transformer应用在GNN中用于学习图的表示，作者在此基础上提出了两种UGformer变体，实验结果表明第一个UGformer变体在归纳学习上取得了较好的准确率，而第二个变体在文本分类任务上获得较好的精度。一、背景图是一种由节点和边组成的数据类型，这种数据在生活中无处不在，例如药物发现、分子学、社交关系等领域，从图中学习和推理一直是最热门的研究课题之一。
transformer框架+self-attention技术+和图的关系
cloudless_sky的博客
04-12 2406
注意力机制能够显著提高神经机器翻译任务的性能。本文将会看一看Transformer—加速训练注意力模型的方法。Transformers在很多特定任务上已经优于Google神经机器翻译模型了。不过其最大的优点在于它的并行化训练。 Transformer模型： 编码组件是一系列编码器的堆叠（文章中是6个编码器的堆叠——没什么特别的，你也可以试试其他的数字）。解码部分也是同样的堆叠数。 编码器在结构上都是一样的（但是它们不共享权重）。每个都可以分解成两个子模块： 编码器的输入首先流经self-atten.
论文阅读【图神经网络】Graph Attention Networks
weixin_47082769的博客
08-02 1367
核心观点：GAT (Graph Attention Networks) 采用 Attention 机制来学习邻居节点的权重, 通过对邻居节点的加权求和来获得节点本身的表达.下面三篇论文递进关系：，处理的是图结构数据。它通过注意力机制（Attention Mechanism）来对邻居节点做聚合操作，实现了对不同邻居权重的自适应分配，大大提高了图神经网络的表达能力。概率论：基本的概率论知识掌握条件概率的概念注意力机制：深度学习中的attention机制，Transformer中的multi-head消息传递：图
Graph Transformer2023最新研究成果汇总，附15篇必看论文
学姐带你玩AI的博客
12-28 4638
图Transformer是一种结合了Transformer模型和图神经网络（GNN）的框架，用于在图形结构数据上执行预测任务。在图Transformer中，Transformer的自注意力机制被用来学习节点之间的关系，而GNN则被用来生成节点的嵌入表示。通过这种方式，图Transformer能够捕捉到图中节点的远程依赖关系，从而有效地对大规模图数据进行建模和预测。这种设计避免了引入中间层的任何结构化偏置，从而显著增强了图数据的表达能力。论文和代码需要的看文末。
论文笔记：NIPS 2019 Graph Transformer Networks
qq_44015059的博客
10-23 2379
1. 前言 论文链接：https://arxiv.org/pdf/1911.06455.pdf github：https://github.com/seongjunyun/Graph_Transformer_Networks GNN 被广泛应用于图表示学习中，并且具有显著的优势。然而，大多数现有的 GNNs 被设计用于学习固定的同构图上的节点表示。在学习一个由各种类型的节点和边组成的异构图的表示时，这些限制尤其会成为问题。在本文中提出了能够生成新的图结构的图变网络(GTNs)，它包括识别原始图上未连接节点之
Vision Transformer综述翻译
Yore_的博客
03-30 2230
视觉Transformer综述 摘要 ​ Transformer是一种基于最初应用在自然语言处理领域上的自注意力机制的深度神经网络。受Transformer强表征能力的启发，研究人员将它扩展到计算机视觉任务上。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上表现出竞争性甚至更好的性能。在这篇文献综述，我们通过将这些可视化Transformer模型应用在不同类别的任务中，并且对它们的优缺点进行了分析。特别地，主要类别包括基本图像分类、高级视觉、低级视觉和视频处理。也会
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
Graph Transformer Networks（图Transformer网络）
垃圾就应该待在垃圾桶里的博客
03-25 1万+
Graph Transformer Networks与2019年发表在NeurIPS上 文章目录摘要一、Introduction二、Related Works三、Method3.1准备工作3.2 Meta-Path Generation3.3 Graph Transformer NetworksConclusion个人总结 摘要 图神经网络(GNNs)已被广泛应用于图形的表示学习，并在节点分类和链路预测等任务中取得了最先进的性能。然而，大多数现有的神经网络被设计来学习固定和同构图上的节点表示。当学习由各
一篇文章把Self-Attention与Transformer讲明白
fengdu78的博客
02-20 6573
文章主要内容概览：1. Seq2Seq以及注意力机制Seq2Seq 任务指的是输入和输出都是序列的任务。例如说英语翻译成中文。1.1 Encoder-Decoder模型与Seq2Seq的...
GCN学习 GRAPH ATTENTION NETWORKS
weixin_43537073的博客
01-17 1054
最近需要用的GAT的中心节点周围节点分配权重的思想，不得不提到注意力Attention机制的重要性，因此阅读GAT。 文章目录前言一、Introduction二、GAT Architecture输入和输出特征提取和注意力机制self-attention实际应用总结参考 前言 GCN模型可以分为频谱域和空间域两大类。应用较多的还是在频谱类，使用拉普拉斯矩阵借助图谱进行卷积操作。但是他也存在一些缺陷，比如依赖拉普拉斯矩阵，不能直接用于有向图，模型训练依赖整个图结构，且图结构必须保持静态，不能应用于动态图，
Graph Attention Networks理解
I‘m Frank Lee
11-20 2512
针对图结构数据，本文提出了一种GAT（graph attention networks）网络。该网络使用masked self-attention层解决了之前基于图卷积（或其近似）的模型所存在的问题。在GAT中，图中的每个节点可以根据邻节点的特征，为其分配不同的权值。GAT的另一个优点在于，无需使用预先构建好的图。因此，GAT可以解决一些基于谱的图神经网络中所具有的问题。实验证明，GAT模型可以有...
3-15-Graph transformer networks(nips2019)有代码
qq_40723205的博客
03-17 611
什么是异构图？ 在一个图中，节点类型数大于1，如author类型，paper类型，venue类型。边的类型数大于1。如author-paper边，paper-venue边，存在不同的节点类型和边类型的图就是异构图。 传统做法就是忽略类型，缺点就是无法获取到类型信息。 ...
【NLP】一文理解Self-attention和Transformer
我的技术栈碎碎念空间
03-13 2410
一、自注意力机制 （一）序列与模型 哪些场景是用向量作为输入呢？ 首先是词的表示，表示词的方式：One-hot Encoding（词向量很长，并且词之间相互独立）、Word Embedding。 然后是语音向量和图（Graph）也是由一堆向量组成。 输出可能是什么样的？ 每个向量对应一个输出标签（一对一的情况，Sequence Labeling） 例子：词性标注（POS tagging）、语音、社交网络等等。 整个序列只有一个输出的标签 例子：文本情感分析（sentiment analysis）、
读书笔记8：Graph Attention Networks（ICLR 2018)
热门推荐
b224618的博客
08-16 2万+
https://mila.quebec/wp-content/uploads/2018/07/d1ac95b60310f43bb5a0b8024522fbe08fb2a482.pdf https://arxiv.org/pdf/1710.10903.pdf 这是一篇将attention机制应用到graph convolution中的文章。但是文章中提出的模型其实是利用了attention的一部...
深度学习-Graph Transformer Networks相关
qq_43676847的博客
05-09 1321
Graph Transformer NetworksHeterogeneous Graph（异质图）meta-path（元路径）针对元路径的attentionHeterogeneous Graph Transformer： Heterogeneous Graph（异质图） 图中每个节点有不同的类型，由这些节点之间关系定义的连边也有不同类型，如下例子： 区分： 同质图：图中所有节点的类型都相同，边类型只有一种的标准图 meta-path（元路径） 沿着节点的多跳路径，例如PVP,PFP,IAPPVP, PF
【论文笔记】Heterogeneous Graph Attention Network
mirrorssssssss的博客
01-03 3409
题目：《Heterogeneous题目：《Heterogeneous题目：《Heterogeneous GraphGraphGraph AttentionAttentionAttention Network》Network》Network》 ???? 作者：Xiao作者：Xiao作者：Xiao WangWangWang 来源：WWW2019来源：WWW2019来源：WWW2019 源码：源码：源码：...
Transformer家族4 -- 通用性优化（Universal-Transformer）
谢杨易的博客
06-30 1万+
1 背景 之前讲Transformer的时候，也提到过它的通用性的缺点。相比于RNN，Transformer不是图灵完备的，虽然大多数任务都是吊打RNN，但在某些看起来极为简单的任务上，却表现很差，比如字符串拷贝等。这个问题其实也不算大，但谷歌还是给出了他的解决方案，也就是Universal Transformer。这篇看看就好了，个人感觉实际应用中作用有限。 2 Universal-Transformer 论文信息：2018年7月，谷歌，ICLR2019论文地址 https://arxiv.org/ab
鱼类识别系统【最新版】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积神经网络算法
最新发布
2301_78372746的博客
11-24 2034
鱼类识别系统，基于TensorFlow搭建卷积神经网络算法，通过收集了包括‘墨鱼’、‘多宝鱼’、‘带鱼’、‘石斑鱼’等在内的30种鱼类图像数据集进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
ResNet (2015)（卷积神经网络）
weixin_45556264的博客
11-23 685
它不是一个复杂的理论突破，而是一个极其优雅和有效的工程解决方案，其“大道至简”的思想深刻地影响了整个领域。直到今天，基于ResNet的架构仍然是许多视觉任务的强大基线。在ResNet出现之前，主流的认知是：网络越深，表达能力越强，性能应该越好。论文中提出了几种不同深度的ResNet变体，最著名的是ResNet-34和ResNet-50/101/152。这种下降不是由过拟合引起的，因为即使在训练集上，深层的模型误差也比浅层模型更高。这是ResNet的核心构建模块。，巧妙地解决了极深神经网络的。
Self-Attention Graph Convolution
10-24
Self - Attention Graph Convolution结合了自注意力机制和图卷积，在图数据处理上有独特优势。 ### 原理 自注意力机制能够让模型在处理图数据时，根据节点间的相关性动态分配注意力权重，关注到图中更重要的节点和连接。在Self - Attention Graph Convolution里，会使用图卷积来计算注意力分数，同时考虑节点特征（Node features）和图拓扑结构（Graph topology），以此确定不同节点的重要性，区分哪些节点该保留，哪些可丢弃，从而实现对图信息的有效筛选和聚合，更好地捕捉图中的复杂依赖关系 [^2]。 ### 应用 - **事件检测（Event Detection）**：如Self - Attention Graph Residual Convolutional网络，运用注意力机制融合句法结构和潜在依赖关系，提升事件检测任务的性能。还通过残差连接解决图信息消失问题，让模型在事件检测时能更准确地捕捉关键信息 [^1]。 - **个性化推荐**：Self - Attentive Graph Convolution Network With Latent Group Mining and Collaborative Filtering for Personalized Recommendation算法中的自注意力图卷积（SAGC）模块，融合用户（item）协同嵌入和群组嵌入，获取细粒度表示以进行评分预测，考虑了用户社交圈影响，优化了个性化推荐效果 [^4]。 ### 实现 在代码实现上，不同的应用场景可能会有不同的代码结构。以一个简单的伪代码示例说明其大致实现思路： ```python import torch import torch.nn as nn import torch.nn.functional as F # 定义Self - Attention Graph Convolution层 class SelfAttentionGraphConv(nn.Module): def __init__(self, in_features, out_features): super(SelfAttentionGraphConv, self).__init__() self.linear = nn.Linear(in_features, out_features) def forward(self, x, adj): # 线性变换 x = self.linear(x) # 计算注意力分数（这里简化，实际更复杂） attention_scores = torch.matmul(x, x.transpose(-2, -1)) attention_weights = F.softmax(attention_scores, dim=-1) # 聚合信息 output = torch.matmul(attention_weights, x) # 结合邻接矩阵 output = torch.matmul(adj, output) return output ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值