【PaperReading】HGT：Heterogeneous Graph Transformer

最新推荐文章于 2025-06-14 11:24:09 发布
最新推荐文章于 2025-06-14 11:24:09 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： PaperReading 文章标签： 图神经网络 异构信息网络 表示学习 图嵌入 图注意力
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ARPOSPF/article/details/130766790
论文提出了Heterogeneous Graph Transformer (HGT)架构，用于处理Web规模的异构图。HGT通过元关系参数化权重矩阵，捕捉异构图的节点和边类型差异，利用相对时间编码处理动态图，同时通过异构小批量图采样实现高效训练。在大规模开放学术图数据集上的实验表明，HGT在多个下游任务上显著优于现有GNN方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Heterogeneous Graph Transformer


今天带大家阅读一篇WWW2020年的一篇文章：《Heterogeneous Graph Transformer》。研究团队来自微软研究院和UCLA，作者提出异质图Transformer架构（Heterogeneous Graph Transformer, HGT），用于建模Web-scale的异质图。为了对异质的节点和边进行建模，研究团队设计了和节点类别、边类别有关的参数，来表征在每个边上的异质性的注意力。这使得HGT可以为不同类型的节点和边生成专用的表示。在多个下游任务的实验中超越使用GNN的State-Of-The-Art方法。

Heterogeneous Graph Transformer
论文地址：https://arxiv.org/abs/2003.01332
论文摘要：近年来，图神经网络 (GNN) 在结构化数据建模方面取得了新的成功。 然而，大多数GNN是为同构图设计的，其中所有节点和边都属于同一类型，这使得它们无法表示异构结构。 在本文中，我们提出了用于对Web规模异构图进行建模的异构图Transformer (HGT) 架构。 为了对异质性进行建模，我们设计了节点和边类型相关的参数来描述对每条边的异质注意力，使HGT能够为不同类型的节点和边维护专用表示。 为了处理动态异构图，我们将相对时间编码技术引入HGT，它

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[异构图-论文阅读]Heterogeneous Graph Transformer
SimonChen
09-27 2647
异构图被用来抽象和建模复杂系统，其中不同类型的对象以各种方式相互作用。许多现有的图神经网络（GNNs）主要针对同构图设计，无法有效表示异构结构。HGT通过设计节点和边类型相关的参数来模拟异构注意力，从而允许HGT为不同类型的节点和边保持专用的表示。通过使用HGSampling（异构小批量图采样算法），HGT能够有效和可扩展地处理Web规模的图数据。在Open Academic Graph上的实验显示，HGT在各种下游任务上一致优于所有最先进的GNN基线。
【论文翻译】WWW2020 - HGT: Heterogeneous Graph Transformer
qq_36291847的博客
03-04 1295
文章目录摘要1 引言2 异构图转换架构三级目录 摘要 近年来，图形神经网络在结构化数据建模方面取得了新的成功.但是大多数GNN都是为同构图设计的，其中所有的节点和边都属于同一类型，这使得表示异构结构不可行。在本文中，我们提出了异构图转换器(HGT)架构，用于建模网络规模（大规模）的异构图。为了对异质性进行建模，我们设计了依赖于节点和边类型的参数来表征每个边上的异质性注意，使HGT能够为不同类型的节点和边维护专用的表示。为了处理网络规模的图形数据，我们设计了异构的小批量图形采样算法——HGSampling——
知识图谱论文阅读（二十）【WWW2020】Heterogeneous Graph Transformer
qq_35222729的博客
09-09 1379
题目： Heterogeneous Graph Transformer 论文链接： https://arxiv.org/abs/2003.01332 代码链接：https://github.com/acbull/pyHGT 论文 异构图研究之一： 使用元路径来建模异构结构 heterogeneous graphs 《Mining Heterogeneous Information Networks: Principles and Methodologies》 2012 Morgan & Cl.
【论文阅读】HGT：Heterogeneous Graph Transformer
cziun的博客
04-27 6795
目录摘要引言 摘要 这篇论文提出了用于建模Web规模异质图的异质图转换架构（HGT）。 为了对异质的节点和边进行建模，作者设计了和节点类别、边类别有关的参数，来表征在每个边上的异质性的注意力，这使得HGT可以为不同类型的节点和边生成专用的表示。 HGT还可以处理动态的异质图。作者在HGT中引入相对时间编码技术，可以捕获到任意时间段内的动态结构依赖关系。 为了能够处理Web规模的图数据，还设计了mini-batch图采样算法——HGSampling，实现高效并可扩展的训练。 引言 参考博客：https://b
【HGT】文献精讲：Heterogeneous Graph Transformer
littlefatguy的博客
11-08 2315
为了处理图的异构性，文章引入了依赖于节点和边类型的注意力机制，HGT中的异构相互注意不是参数化每种类型的边，而是通过基于其元关系三元组分解每个边。
探索异构图的变革之力 —— Heterogeneous Graph Transformer（HGT）
gitblog_00875的博客
08-22 976
探索异构图的变革之力 —— Heterogeneous Graph Transformer（HGT） 在复杂多变的数据世界中，图神经网络以其强大的表示学习能力成为处理非结构化数据的重要工具。而今天，我们聚焦于一个旨在征服大规模异构动态图的革新架构——异构图Transformer（Heterogeneous Graph Transformer，简称HGT）。这款基于PyTorch Geometric...
Heterogeneous Graph Transformer(中文翻译助理解)
loulita的博客
03-29 1222
摘要 近年来，图神经网络(gnn)在结构化数据建模方面取得了巨大的成功。然而，大多数gnn是为同构图设计的，其中所有的节点和边都属于同一类型，这使得它们无法表示异构结构。在本文中，我们提出了异构图转换器(HGT)体系结构来建模web规模的异构图。为了建模异构性，我们设计了节点和边类型相关的参数来表征每条边上的异构注意.
论文阅读（1）Heterogeneous Graph Transformer
m0_73723164的博客
08-01 720
论文链接：https://arxiv.org/pdf/2003.01332关键词：图神经网络、HGT。
Heterogeneous Graph Transformer （WWW 2020）译文
最新发布
韵开
06-14 1012
异构图广泛存在于现实世界中，例如学术图、知识图谱和金融交易网络。这些图包含多个不同类型的节点和边，其关系极为复杂。尽管已有一些图神经网络（GNN）模型被设计来处理异构图，但它们在大规模图上的建模能力仍较为有限，尤其是在捕捉跨类型依赖性方面。本文提出了一种异构图变换器（Heterogeneous Graph Transformer, HGT）模型，以实现对异构图中不同类型节点之间信息的灵活传递与聚合。HGT 引入了类型相关的注意力机制、边依赖的消息函数，并采用残差连接和归一化技术。
HGCL：Heterogeneous Graph Contrastive Learning for Recommendation
Guozyan的博客
01-07 1128
推荐场景通常涉及异构关系（例如，社交感知的用户影响、知识感知的项目依赖性），其包含用于增强用户偏好学习的富有成效的信息。本文研究了异构图增强的关系学习推荐问题。异构辅助信息对交互的影响可能因用户和项目而异，为了推进这一思想，我们用Meta网络增强了我们的异构图对比学习，以允许具有自适应对比增强的个性化知识Transformer。
异构图神经网络（5）Heterogeneous Graph Transformer
qq_42275073的博客
02-02 3281
这篇文章发表在WWW2020，提出了动态异构图建模方法。 HGT Motivation 现在基于GNN来学习异构图的方法有以下几点问题： 大多数方法，对于每一种异构图，都需要特定的领域知识来设计meta paths； 他们有的简单假设节点/边的不同类别都共享着相同的特征空间，或者有的对于不同的类别，分别设置了权重，来让它们的特征向量被映射到同一特征空间中。作者认为这样不足以捕获异构图特性； 大多数方法都忽略了异构图的动态特性。 Contribution 提出了依赖于边和节点类别的注意力机制，解决图的异
2020-WWW-Heterogeneous Graph Transformer
Bourne___1的博客
03-24 965
Abstract Method 本文提出了异构图transformer，主要思想是使用异构图中的meta relation参数化（parameterize）异构交互注意力，消息传播以及聚合的参数矩阵。 1 整体架构： 目标：聚合源节点s的信息形成一个具有上下文表示的目标节点t。 可以将这个过程分为三个阶段： Heterogeneous Mutual Attention Heterogeneous Message Passing Target-Specific Aggregation 2 通常基于
WWW 2020 开源论文 | 异构图Transformer
Paper weekly
04-03 1751
论文标题：Heterogeneous Graph Transformer论文来源：WWW 2020论文链接：https://arxiv.org/pdf/2003.01332.pdf代码...
论文笔记：WWW 2020 Heterogeneous Graph Transformer
qq_44015059的博客
10-17 4292
1. 前言 论文链接：https://arxiv.org/abs/2003.01332 github：https://github.com/acbull/pyHGT 近年来，图神经网络(GNNs)在结构化数据建模方面取得了巨大的成功。但是，大多数GNN为同构图设计，同构图中所有的节点和边都属于相同的类型，这使得它们无法表示异构结构。本文中提出了一种异构图转换器(HGT)体系结构来建模网络规模的异构图。为了对异质性进行建模，本文设计了节点和边类型相关的参数来表征每个边缘上的异质性注意，使HGT能够对不同类型的
【论文笔记】HGT
zzy979481894的博客
09-21 3824
Heterogeneous Graph Transformer 2020 WWW 论文链接：https://arxiv.org/pdf/2003.01332 代码： 官方代码：https://github.com/acbull/pyHGT DGL实现：https://github.com/dmlc/dgl/tree/master/examples/pytorch/hgt 个人实现：https://github.com/ZZy979/pytorch-tutorial/tree/master/gnn/hgt
【论文解读 WWW 2020 | HGT】Heterogeneous Graph Transformer
热门推荐
byn12345的博客
03-24 1万+
论文题目：Heterogeneous Graph Transformer 论文来源：WWW 2020 论文链接：https://arxiv.org/abs/2003.01332 代码链接：https://github.com/acbull/pyHGT 关键字：GNN，HIN，表示学习，图嵌入，Graph Attention，动态图 文章目录1 摘要2 引言2 定义3 相关工作4 HGT4.1 ...
【intro】GNN中异构图（heterogeneous graph）综述
Karen_Yu_的博客
05-31 7292
大多数GNN的目的是学习只包含单一类型的节点和边的同构图的嵌入向量。然而，现实世界中的实体及其相互作用往往具有多种类型，自然形成具有丰富结构和语义信息的异构图。现有的异构图表示学习的调查论文总结了所有可能的图嵌入技术，对深度神经网络模型的分析不足。为了解决这一问题，本文系统地总结和分析了现有的异构图神经网络(hgnn)，并根据其神经网络结构对其进行了分类。同时，收集了常用的异构图数据集，并总结了它们的统计信息。此外，还比较了HGNN和浅嵌入模型的性能，以显示其强大的特征。
深度学习-Graph Transformer Networks相关
qq_43676847的博客
05-09 1269
Graph Transformer NetworksHeterogeneous Graph（异质图）meta-path（元路径）针对元路径的attentionHeterogeneous Graph Transformer： Heterogeneous Graph（异质图） 图中每个节点有不同的类型，由这些节点之间关系定义的连边也有不同类型，如下例子： 区分： 同质图：图中所有节点的类型都相同，边类型只有一种的标准图 meta-path（元路径） 沿着节点的多跳路径，例如PVP,PFP,IAPPVP, PF
异质图神经网络（持续更新ing...）
诸神缄默不语的博客
10-31 5953
本文介绍异质图神经网络HGNN
graph transformer模型详解
02-27
### Graph Transformer 模型的工作原理 Graph Transformer 是一种结合图神经网络 (GNN) 和自注意力机制的强大架构，旨在处理结构化数据中的复杂依赖关系。这种模型能够有效地捕获节点间的长期依赖性和复杂的交互模式。 #### 图结构上的自注意力机制 传统的Transformer主要应用于序列数据，在这些场景下，输入被线性排列成一个序列。然而对于图形数据而言，节点之间存在更为丰富的连接方式。为了适应这一特性，Graph Transformer引入了一种新的自注意机制来替代原有的位置编码方案[^1]： - **节点表示学习**：每个节点不仅基于自身的特征进行初始化，还会综合考虑其邻居的信息来进行更新； - **相对距离编码**：考虑到图中任意两点间可能存在多种路径长度不一的情况，采用可训练的位置嵌入向量表征两节点之间的最短路径或其他形式的距离度量； - **多头注意力层**：类似于标准Transformers的设计思路，通过多个平行运行的不同子空间内的注意力计算增强表达能力。 #### 处理异质信息网路(HIN) 当面对包含不同类型实体及其关联关系的数据集时（如社交网络），Heterogeneous Graph Transformers (HGTS)，特别是 HGT, 提出了专门针对此类问题的有效解决方案: - 对于每类元关系<源节点类型，边类型，目标节点类型>定义独立的一套投影矩阵用于转换消息传递过程中的查询(Query), 键(Key)以及值(Value)[^4]; - 这样做可以确保即使是在高度多样化的环境中也能精准地区分各种语义角色并维持各自独特的属性; ```python import torch from torch_geometric.nn import GATConv class SimpleGraphTransformer(torch.nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_heads=8): super(SimpleGraphTransformer, self).__init__() # 定义一个多头图注意力卷积层 self.conv = GATConv(input_dim, hidden_dim, heads=num_heads, concat=True) def forward(self, x, edge_index): """ 前馈函数 参数: x : 节点特征张量 shape=(num_nodes, input_dim) edge_index : 边索引列表 shape=(2, num_edges) 返回: 经过一层变换后的节点特征张量 """ out = self.conv(x=x, edge_index=edge_index).relu() return out.mean(dim=-1) # 平均汇聚所有头部的结果得到最终输出维度 ``` 上述代码片段展示了一个简化版的单层Graph Transformer实现方法，其中利用了PyTorch Geometric库提供的`GATConv`组件实现了基本功能。实际应用中可能还需要加入更多细节调整以满足具体需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

镰刀韭菜

看在我不断努力的份上，支持我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值