HAN - Heterogeneous Graph Attention Network 异构图注意力网络 WWW 2019

论文题目：Heterogeneous Graph Attention Network (HAN) 异构图（异质图）注意力网络

作者：北京邮电大学的Xiao Wang, Houye Ji等人

来源：WWW 2019

论文链接：https://arxiv.org/pdf/1903.07293.pdf

tensorflow版代码Github链接：https://github.com/Jhy1993/HAN

介绍视频：https://www.bilibili.com/video/av53418944/

文中提出了一种新的基于注意力机制的异质图神经网络 Heterogeneous Graph Attention Network（HAN），可以广泛地应用于异质图分析。注意力机制包括节点级注意力和语义级注意力。节点的注意力主要学习节点及其邻居节点间的权重，语义级的注意力是来学习基于不同meta-path的权重。最后，通过相应地聚合操作得到最终的节点表示。

1 相关介绍

背景

以 Graph Convolutional Network，Graph Attention Network 为代表的图神经网络已经引起了学术界与工业界的广泛关注。然而，目前的图神经网络主要针对同质图（节点类型和边类型单一）设计，但真实世界中的图大部分都可以很自然地建模为异质图（多种类型的节点和边）。如图 1 所示，IMDB 数据中包含三种类型的节点 Actor、Movie 和 Director，两种类型的边 Actor-Movie 和 Movie-Director。

相对于同质图神经网络，异质图神经网络具有更强的现实意义可以更好的满足工业界需求。如阿里巴巴正在建设亿级节点十亿级边的异质图神经网络平台 AliGraph 来满足整个阿里集团各种商业化场景需求。因此亟需展开面向异质图的图神经网络模型研究，而异质图的异质性却又给设计图神经网络带来了巨大的挑战。

元路径 meta-path

在异构图中，两个节点可以通过不同的语义路径连接，称为元路径（meta-path），如图1中，Movie-Actor-Movie（MAM）和Movie-Year-Movie (MYM)都是不同的meta-path。不同的meta-path有不同的语义。如图1中， meta-path Movie-Actor-Movie (MAM)表示电影的演员相同， meta-path Movie-Director-Movie (MDM) 表示电影的导演相同。

数学定义：一个meta-path$\Phi$定义为一条由$A_1\stackrel{R_1}{⟶}{A}_2\stackrel{R_2}{⟶}\dots \stackrel{R_l}{⟶}{A}_{l+1}$组成的路径(可以缩写成$A_1{A}_2\cdots A_{l+1}$)。$R=R_1\circ R_2\circ \cdots \circ R_l$定义为对象$A_1$和$A_{l+1}$之间的复合关系。$\circ$表示在关系上的复合操作。

基于meta-path的邻居${\mathcal{N}}_i^{\Phi }$：给定一个节点$i$和一条meta-path $\Phi$，节点$i$的基于meta-path的邻居${\mathcal{N}}_i^{\Phi }$定义为通过meta-path$\Phi$和节点$i$相连的节点构成的集合，包括节点$i$自身。

异构图和同构图

• Heterogeneous Graph（异构图）：异构图是一种特殊的异构信息网络，包含了多种类型的边和节点。例如，图1中的演员节点的特征可能包括性别，年龄和国籍，而电影节点的特征可能包括情节，演员等。边的不同类型可以体现在电影与导演的拍摄关系演员与电影的角色扮演关系。
• Homogeneous Graph（同构图）：同构图的节点类型和边的类型单一。例如，引文网络中的节点都是文档。

在设计异质图神经网络的时候，从异质图的复杂结构出发，需要满足下面三个要求：

• 图的异质性：考虑不同节点和不同关系的差异。不同类型节点有其各自的特征，节点的特征空间也不尽相同。如何处理不同类型的节点并同时保留各自的特征是设计异质图神经网络时迫切需要解决的问题；
• 语义级别注意力：学习meta-path的重要性并融合语义信息。异构图涉及到不同的有意义和复杂的语义信息，这些信息通常由meta-path来反映，对于某个具体任务，不同meta-path表达的语义不同，因此对任务的贡献也不同。例如，以IMDB数据集为例，电影《终结者》要么通过Movie-Actor-Movie（MAM）的方式与《终结者2》连接（主演相同），要么通过Movie-Year-Movie (MYM) 的方式与《Irdyvia》连接（均于1984年拍摄）。在确定了电影《终结者》的类型时，连接方式MAM比MYM更有意义。平等地对待不同的meta-path是不现实的，它会削弱一些有用的meta-path所提供的信息。因此，如何设计针对meta-path的注意力机制是异质图神经网络中的一个基本问题；
• 节点级别注意力：学习基于meta-path的节点邻居的重要性。在异构图中，节点可以通过各种类型的关系（如meta-path）连接。给定meta-path，每个节点都有很多基于meta-path的邻居。如何区分邻居间的细微差别，选择一些信息量大的邻居是有必要的。对于每个节点，节点级注意力的目的是学习基于meta-path的邻居的重要性，并为它们分配不同的注意力值。仍然以IMDB为例，当使用meta-path为 Movie-Director-Moive，终结者将连接到《终结者2》（二者导演相同）。为了更好地确定《终结者》科幻电影的类型，模型应该更多地关注《终结者2》，而不是《泰坦尼克号》，因此，如何设计一个模型来发现邻居们之间的细微差别并正确地学习他们的权重将是一个值得研究的问题。

相关工作

Graph Neural Network

GNN作为深度学习领域的扩展，用来处理无规则图结构数据。GCN可以分为两类，分别是谱域和非谱域。谱方法用于谱表示的图中，非谱域方法直接在图上进行卷积，对空间上的近邻进行操作。

注意力机制在深度学习中有广泛的应用，self-attention、soft-attention等。也已经有很多基于图Attention的应用，上述图神经网络不能处理各种类型的节点和边，只能应用于同构图。

Network Embedding

网络嵌入或者网络表示学习，是在保留网络结构及其属性的前提下，将网络转换到低维空间以应用。以往的方法有很多，随机游走、 深度神经网络、矩阵分解和其他方法，如LINE，也都是基于同构图的。

贡献

• 第一次基于注意力机制的异构图神经网络研究。
• 提出了一种新的基于注意力机制的异质图神经网络 Heterogeneous Graph Attention Network（HAN），可以广泛地应用于异质图分析。HAN模型是高效的，相对于meta-path节点对的数目具有线性复杂度，可以应用于大规模异构图。
• 进行了广泛的实验，以评估HAN模型的性能。结果表明，该模型与现有模型相比具有优越性。通过分析这种分层的注意力机制，证明了HAN对异质图分析具有潜在地良好的解释能力。

2 HAN模型

HAN模型遵循一个层次注意力结构：节点级注意力→语义级注意力。图2展示了汉语言的整个框架。首先，我们提出阳极级注意来学习基于元路径的邻域的权值，并对其进行聚合得到语义特定的节点嵌入，然后，HAN通过语义级注意来区分元路径的不同，从而得到特定任务的语义特定的节点嵌入的最优加权组合。

• 图2是HAN整个框架的示意图
• 图2-a（节点级注意力）：所有类型的节点都被投影到一个统一的特征空间中，通过节点级的注意力机制来学习基于meta-path的邻居节点的权重并将它们进行聚合得到特定语义的节点embedding。
• 图2-b（语义级注意力）：联合学习每个meta-path的权重，并通过语义级注意力融合前面得到的语义特定的节点embedding。
• 图2-c ：计算损失和对提出的HAN进行端到端的优化。

2.1 Node-level Attention

给定某条meta-path，可以利用节点级注意力来学习特定语义下的节点表示。文中应用一个特定类型的转换矩阵${\mathbf{M}}_{{\varphi }_i}$将节点的不同类型的特征通过投影变换到统一的特征空间：

$${\mathbf{h}}_i^{\prime }={\mathbf{M}}_{{\varphi }_i}\cdot {\mathbf{h}}_i\text{\hspace{1em}(1)}$$

• ${\varphi }_i$表示不同类型
• ${\mathbf{h}}_i$和${\mathbf{h}}_{}$