有向加权图最大弱连通分支_WWW‘19 异质图注意力网络

最新推荐文章于 2024-08-20 09:59:33 发布

weixin_39788740

最新推荐文章于 2024-08-20 09:59:33 发布

阅读量385

点赞数

文章标签：有向加权图最大弱连通分支

提出一种基于注意力机制的异质图神经网络HAN，它能有效处理真实世界中的异质图数据，通过节点级别和语义级别的注意力机制学习更细致全面的节点表示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

图神经网络是近年来图数据挖掘领域的热门研究方向之一，被誉为是新一代深度学习。图神经网络可以将端到端学习与归纳推理相结合，有望解决深度学习无法进行关系推理的问题。

以 Graph Convolutional Network，Graph Attention Network 为代表的图神经网络已经引起了学术界与工业界的广泛关注。然而，目前的图神经网络主要针对同质图（节点类型和边类型单一）设计，但真实世界中的图大部分都可以被自然地建模为异质图（多种类型的节点和边，如图 1 所示，IMDB 数据中包含三种类型的节点 Actor、Movie 和 Director，两种类型的边 Actor-Movie 和 Movie-Director）。

相对于同质图神经网络，异质图神经网络具有更强的现实意义可以更好的满足工业界需求。如阿里巴巴正在建设亿级节点十亿级边的异质图神经网络平台 AliGraph 来满足整个阿里集团各种商业化场景需求。因此亟需展开面向异质图的图神经网络模型研究，而异质图的异质性却又给设计图神经网络带来了巨大的挑战。

在设计异质图神经网络的时候，从异质图的复杂结构出发，需要满足下面三个要求：

1. 异质性：考虑不同节点和不同关系的差异。不同类型节点有其各自的特点，节点的属性空间也不尽相同。如何处理不同类型节点并保留各自的特性是设计异质图神经网络时迫切需要解决的问题；

2. 语义级别注意力：学习元路径重要性并进行融合。异质图中的一个基本结构是元路径结构，对于某个具体任务，不同元路径表达的语义不同，因此对任务的贡献也不同。如何设计针对元路径的注意力机制是异质图神经网络中的一个基本问题；

3. 节点级别注意力：学习节点邻居的重要性并进行融合。节点的邻居多种多样甚至还有一些噪声邻居。针对不同任务，邻居的重要性也会有所差异。如何设计针对不同类型邻居的注意力机制是异质图神经网络的一个基本问题。

本文首次提出了基于注意力机制的异质图神经网络 Heterogeneous Graph Attention Network（HAN），可以广泛地应用于异质图分析。HAN 利用语义级别注意力和节点级别注意力来同时学习元路径与节点邻居的重要性，并通过相应地聚合操作得到最终的节点表示。

模型

模型整体架构如图 2 所示。模型主要分为 3 个模块：1）节点级别注意力模块。2）语义级别注意力模块。3）预测模块。

首先，通过节点级别的注意力来学习邻居的权重并聚合得到一条具体元路径下的节点表示。然后，通过语义级别的注意力来学习多条元路径的权重并对节点表示进行加权融合。最后根据特定任务来优化整个模型。

节点级别注意力

给定某条元路径，我们可以利用节点级别注意力来学习特定语义下（Semantic-specific）的节点表示。我们首先将不同类型的节点属性通过投影矩阵变换到统一的属性空间。

其中，

是投影矩阵，

和

分别是投影前后的节点特征。这里基于自注意力机制（self-attention）设计了节点级别注意力。具体来说，节点级别注意力将节点对的表示拼接起来并利用注意力向量来学习节点与其邻居间的重要性。

其中，

是节点对 (i, j) 的注意力权重。注意这里的注意力是非对称的，这也符合图数据的实际特性。最后，通过节点级别的聚合操作（如图 3 (a) 所示）来学习 Semantic-specific 的节点表示。每个节点的表示都是由其邻居表示加权融合得到。

其中，

是节点在某条元路径下的表示。给定某条元路径，节点级别注意力可以学习到节点在某个语义下的表示。但是，在实际异质图中往往存在多条不同语义的元路径，单条元路径只能反映节点某一方面的信息。为了全面的描述节点，我们需要融合多条元路径的语义信息。

语义级别注意力

给定元路径集合，节点级别注意力用来学习到不同语义下的节点表示。进一步，我们可以利用语义级别注意力来学习语义的重要性并融合多个语义下的节点表示。语义级别注意力的形式化描述如下：

其中，

是各个元路径的注意力权重。具体来说，我们利用单层神经网络和语义级别注意力向量来学习各个语义（元路径）的重要性并通过 softmax 来进行归一化。

通过对多个语义进行加权融合（融合过程如图 3 (b) 所示），可以得到最终的节点表示。需要注意的是，这里的元路径权重是针对特定任务优化的。不同任务需要的语义信息不尽相同，元路径的加权组合形式也会有所差异。

最后，我们基于半监督的分类 loss 来优化整个模型。

实验结果

本文在三个数据集上做了大量充分的实验（包括节点分类，节点聚类，可视化）来验证模型的有效性。同时为了验证节点级别和语义级别的作用，作者分别去除节点和语义级别助理并进行实验。最后，作者通过对节点和语义级别的注意力机制进行了分析来说明 HAN 的可解释性。

本文的代码可见：

https://github.com/Jhy1993/HAN

表 3 和表 4 分别为节点分类和聚类实验，可以看出：相对于当前最优算法，本文所提出的模型表现更好。同时，去除节点级别和语义级别注意力后，模型的效果有不同程度的降低。这验证了节点级别注意力和语义级别注意力的有效性。

我们还进一步分析了层次注意力的合理性。节点级别和语义级别注意力分析分别如图 4 和图 5 所示。可以看出：节点级别注意力赋予了同类型的邻居更高的权重。在语义级别，对较为重要的元路径，也就是该条元路径在聚类任务上具有较大的 NMI 值，HAN 会赋予他们相应较大的权重，因此 HAN 可以自动选取较为重要的节点邻居及元路径。