学习笔记-Heterogeneous Graph Attention Network

Heterogeneous Graph Attention Network

ABSTRACT

图神经网络中尚未完全考虑到包含不同类型节点和链接的异构图。
在本文中，我们首先提出了一种基于层次注意（ hierarchical attention）的新型异质图神经网络，包括节点层和语义层的attention。
具体来说，节点层的注意力旨在了解节点与其基于元路径（Meta-path是一条包含relation序列的路径）的邻居之间的重要性，而语义级别的注意力则能够了解不同元路径的重要性。
通过从节点层和语义层的attention中学到的重要性，可以充分考虑节点和元路径的重要性。
然后，所提出的模型可以通过以分层的方式聚合来自基于元路径的邻居的特征来生成节点嵌入。
在三个真实世界（real-world ）的异质图上的大量实验结果不仅表明我们提出的模型优于最新技术，而且还证明了其对图形分析的潜在良好解释性。

INTRODUCTION

（两部电影之间有MAM和MDM两种关系。）
需要解决以下新要求：
1、图的异质性：如何同时处理复杂的结构信息并同时保存多样的特征信息，（如各种类型的节点和边）
2、语义层的attention：如何选择最有意义的元路径并为特定任务融合语义信息，（平等地对待不同的元路径是不切实际的，并且会削弱某些有用的元路径提供的语义信息）
3、节点层的attention：如何设计一个能够发现邻居的细微差异并正确学习其权重的模型，（对于每个节点，节点层的attention旨在了解基于元路径的邻居的重要性，并为其分配不同的关注值。）

我们提出了一个新颖的异构图注意力网络，名为HAN，它同时考虑了节点级和语义级的关注。给定节点特征作为输入，我们使用特定于类型的变换矩阵将节点特征的不同类型投影到同一空间中。然后，节点级别的注意力能够了解节点与基于元路径的邻居之间的注意值，而语义级别的注意力则是针对异构图中特定任务的不同元路径的注意值。基于两层的学习注意力值，我们的模型可以分层的方式获得邻居和多个元路径的最佳组合，这使学习到的节点嵌入可以更好地捕获异构图中的复杂结构和丰富的语义信息。之后，可以通过反向传播以端到端的方式优化整体模型。

CONTRIBUTIONS

这是研究基于注意力机制的异构图神经网络的首次尝试。我们的工作使图神经网络可以直接应用于异构图，并进一步促进基于异构图的应用。
HAN可以同时考虑节点和元路径的重要性，此外，我们的模型效率高，并且相对于基于元路径的节点对的数量具有线性复杂度，可以应用于大规模异构图。
通过与最新模型进行比较，结果表明了所提出模型的优越性。通过分析层次注意力机制，HAN证明了其对于异构图分析的潜在良好解释性。

THE PROPOSED MODEL

我们的模型遵循分层注意结构：节点级别注意→语义级别注意。图2展示了HAN的整个框架。 首先，我们提出节点层注意，以学习基于元路径的邻居的权重并将其聚合以获得特定于语义的节点嵌入。之后，HAN可以通过语义级别的关注来区分元路径，并针对特定任务获得这些语义特定节点嵌入的最佳加权组合.

Node-level Attention

由于节点的异构性，不同类型的节点具有不同的特征空间，我们设计特定类型的转换矩阵Mφi将不同类型节点的特征投影到相同的特征空间中。类型特定的转换矩阵基于节点类型而不是边缘类型。 投影过程可以如下所示：

（通过类型特定的投影操作，节点级注意力可以处理任意类型的节点）
之后利用self-attention来学习各种节点之间的权重。

attnode表示执行节点层注意力的深度神经网络，给定原路径，基于此原路径的节点对共享attnode，因为连接模式相似。节点对的权重取决于自身特性。节点层注意力可以保留不对称性，这是异构图的关键特性。
在获得节点对之间的重要性之后，我们通过softmax函数对其进行归一化以获得权重系数αΦij

softmax函数把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1
激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。concatenation将新向量拼接到原来的向量之后，对应着维数增加。
然后，节点基于元路径的embedding 将由邻居的投影特征与相应的系数进行聚合，如下所示


由于注意力权重αΦijis是针对单个元路径生成的，因此它是语义特定的，并且能够提取一种语义信息。
由于异构图具有无标度的特性，因此图数据的方差很大。 为了解决上述挑战，我们将节点级别的注意力扩展到多头注意力，从而使训练过程更加稳定。 具体来说，我们重复K次的节点级注意，并将学习到的嵌入连接为特定于语义的嵌入：

Semantic-level Attention

通常，异构图中的每个节点都包含多种类型的语义信息，并且特定语义的节点嵌入只能从一个方面反映节点。 为了学习更全面的节点嵌入，我们需要融合可以通过多条元路径显示的多种语义。
为了解决异构图形中元路径选择和语义融合的挑战，我们提出了一种新颖的语义级别关注机制，可以自动学习不同元路径的重要性并将其融合到特定任务中。 以P组从节点层注意力学习的语义特定的节点嵌入作为输入，每个元路径（βΦ0，βΦ1，…，βΦP）的学习权重可以显示如下：

语义层的注意力可以捕获异构图中各种类型的语义信息。
为了学习每个元路径的重要性，我们首先通过非线性变换（例如，一层MLP（多层感知器，解决非线性可分数据的分类问题））对特定于语义的嵌入进行变换。
然后将语义特定嵌入的重要性作为转换后嵌入与语义层注意力向量q的相似性进行度量。此外，我们将所有特定于语义的节点嵌入的重要性平均化，这可以解释为每个元路径的重要性。

为了进行有意义的比较，所有元路径和特定于语义的嵌入都共享所有上述参数。
在获得每个元路径的重要性之后，通过softmax函数对其进行归一化。

以学习的权重为系数，融合这些特定于语义的嵌入以获得最终嵌入：

最终的嵌入由所有特定于语义的嵌入聚合。 然后，我们可以将最终嵌入应用于特定任务并设计不同的损失函数。 对于半监督节点分类，我们可以最小化地面真相与预测之间所有标记节点的交叉熵

在标记数据的指导下，我们可以通过反向传播优化建议的模型，并学习节点的嵌入。 算法1中显示了HAN的整个过程
HAN模型可以处理各种类型的节点和关系，并在异构图中融合丰富的语义。 信息可以通过多种关系从一种节点转移到另一种节点，不同类型的节点嵌入可以增强相互集成，相互促进和相互升级，并且是高效的，可以很容易地并行化，注意力的计算可以跨所有节点和元路径进行单独计算。