【论文阅读】Heterogeneous Graph Attention Network

摘要

GNN在深度学习领域表现出了优越的性能。但是，在包含不同类型节点和边的异质图的图神经网络中，GNN还不够完善。本文首先提出了一种异质图神经网络分层注意力机制，涉及到节点级别和语义级别。具体来说，节点级注意力学习节点及其基于元路径的邻居之间的重要性，而语义级注意力能够学习不同元路径的重要性。 然后，该模型可以通过分层的方式从基于元路径的邻居中聚合特征来生成节点嵌入。

1 引言

现实世界的图通常带有多类型的节点和边，称为异构信息网络（HIN）。由于异质图包含更全面的信息和丰富的语义，它已广泛应用于许多数据挖掘任务中。元路径（meta-path），连接两个对象的复合关系，是一种广泛使用的结构，用来捕捉语义。

从上图可以看出，基于元路径，异质图中节点之间的关系可以具有不同的语义。

图的异质性

异质性是异质图的一种性质，即各种类型的节点和边。例如，不同类型的节点具有不同的特征，它们的特征可能落在不同的特征空间中。例如在图1中，演员的特征可能涉及性别、年龄和国籍，而电影的特征可能涉及情节和演员。 如何处理这种复杂的结构信息，同时保存多样的特征信息，是一个亟待解决的问题。

语义级注意力

异质图中不同的元路径可以提取不同的语义信息。语义级注意力旨在了解每个元路径的重要性，并为它们分配适当的权重。例如在图1中，《终结者》可以通过电影-演员-电影连接到《终结者2》（二者都由施瓦辛格主演)，也可以通过电影-年-电影连接到《鸟》(两者都在1984年拍摄）。然而，当识别电影《终结者》的类型时，$MAM$通常扮演更重要的角色，而不是$MYM$。因此，平等对待不同的元路径是不切实际的，会削弱一些有用的元路径提供的语义信息。

节点级注意力

给定一个元路径，每个节点都有许多基于元路径的邻居。如何区分邻居的细微差别，选择一些信息量大的邻居是必要的。对于每个节点，节点级注意力旨在学习基于元路径的邻居的重要性，并为它们分配不同的注意力值。例如在图1中，当使用元路径电影-导演-电影时，《终结者》可通过导演詹姆斯·卡梅隆连接到《泰坦尼克号》和《终结者2》。为了更好地将《终结者》的体裁识别为科幻电影，模型应该更多地关注《终结者2》，而不是《泰坦尼克号》。因此，如何设计一个能够发现邻居的细微差异并正确学习其权重的模型，是必须的。

本文提出了一种新型的异质图注意力网络，命名为$HAN$，它同时考虑了节点级和语义级的注意力。

2 相关工作

2.1 GNN

受注意力机制的启发，提出了图注意网络（GAN）来学习节点与其邻居之间的重要性，并融合相邻节点来进行节点分类。然而，上述图神经网络不能处理各种类型的节点和边，只能应用于齐次图。

2.2 网络嵌入

网络嵌入，即网络表示学习（Network Representation Learning，NRL），是在保留网络结构和属性的前提下，将网络嵌入到一个低维空间中，使学习到的嵌入可以应用到下游的网络任务中。例如，随机游走，深度神经网络，矩阵因式分解等。但是，这些方法都是针对齐次图的。

异质图嵌入主要集中在保留基于元路径的结构信息上。接下来列举了一系列异质图嵌入的例子，但都没用到注意力机制。

3 准备工作

3.1 异质图（Heterogeneous Graph）

$G=(V，E)$，包含节点集$V$和连接集$E$。异质图还包含一个节点类型映射函数$\varphi ：V\to A$和一个连接类型映射函数$\psi ：E\to R$。$A$和$R$表示预定义的对象类型和连接类型的集合，其中$|A|+|R|>2$。

例子：
如图1所示，该异质图由多种类型的对象（演员(A)、电影(M)、导演(D)）和关系（电影与导演之间的拍摄关系、演员与电影之间的角色扮演关系）。

在异质图中，两个对象可以通过不同的语义路径连接，称为元路径。

3.2 元路径（Meta-path）

元路径$\Phi$定义为$A_1\underrightarrow{R_1}{A}_2\underrightarrow{R_2}...\underrightarrow{R_l}{A}_{l+1}$（缩写为$A_1{A}_2\cdot \cdot A_{l+1}$