【论文阅读】HGT：Heterogeneous Graph Transformer

摘要

这篇论文提出了用于建模Web规模异质图的异质图转换架构（HGT）。

为了对异质的节点和边进行建模，作者设计了和节点类别、边类别有关的参数，来表征在每个边上的异质性的注意力，这使得HGT可以为不同类型的节点和边生成专用的表示。

HGT还可以处理动态的异质图。作者在HGT中引入相对时间编码技术，可以捕获到任意时间段内的动态结构依赖关系。

为了能够处理Web规模的图数据，还设计了mini-batch图采样算法——HGSampling，实现高效并可扩展的训练。

1 引言

这篇论文研究异质图神经网络，目的是

1. 维护节点类型和边类型相关的表示
2. 捕获网络动态
3. 避免自定义元路径
4. 扩展到web规模的图

作者提出HGT架构来解决上述所有问题，具体解决方法如下：

（1）为了处理图的异质性，引入了与节点和边类型相关的注意力机制

与参数化每种类型的边相反，HGT中的异质相互注意力是通过分解基于元关系三元组（即<$s$的节点类型，$s$和$t$之间的边$e$的类型,$t$的节点类型>）的边$e=(s,t)$来定义的。图1说明了异质学术图的元关系。

具体地说，使用元关系来参数化权值矩阵，以计算每条边上的注意力系数。

因此，允许不同类型的节点和边来维护它们特定的表示空间。同时，不同类型的连接节点仍然可以交互、传递和聚合消息，而不受其分布差距的限制。

由于其架构的性质，HGT可以通过跨层传递的消息来合并不同类型的高阶邻居的信息，这可以被视为 “软”元路径（“soft” meta paths）。

也就是说，即使HGT只将其one hop边作为输入而不手动设计元路径，该注意力机制也可以针对不同下游任务自动隐式地学习和提取重要的“元路径”。

（2）为了处理动态图，在HGT中引入了相对时间编码（RTE）技术

并不是将输入图按不同的时间戳分片处理，而是将在不同时间出现的所有的边看成一个整体。设计RTE策略，建模任意时间长度的结构性的时间依赖关系，甚至包含不可见的和未来的时间戳。

通过端到端的训练，RTE使得HGT能够自动学习到异质图的时序依赖关系以及异质图随时间的演化。

（3）为了处理Web规模的图数据，设计了第一个用于mini-batch的GNN训练的异质子图采样算法——HGSampling

其主要思想是采样不同类型的节点具有相似比例的异质子图，因为直接使用现有的（同质的）GNN采样方法，会导致节点和边类型的高度不平衡。

此外，该方法还可以保持采样子图的密度，以最小化信息的损失。

使用HGSampling的采样方法，所有的GNN模型，包括本文的HGT模型，都可以在任意大小的异质图上进行训练和推断。

2 前期准备及相关工作

2.1 异质图挖掘

（1）异质图

有向图$G=(V,E,A,R)$，类型映射函数$\tau (v)$：$V\to A$，$\varphi (e)$：$E\to R$。

（2）元关系

对于连接源节点$s$和目标节点$t$的边$e=(s,t)$，其元关系表示为$<\tau (s)、\varphi (e)、\tau (t)>$。$\varphi (e{)}^{-1}$表示$\varphi (e)$的逆。

经典的元路径范式就是这种元关系组成的序列。

请注意，为了更好地建模真实世界中的异质网络，假设不同类型的节点之间可能存在多种类型的关系。例如，在OAG中，通过考虑作者的顺序，作者和论文节点之间存在不同类型的关系，即“第一作者”、“第二作者”等等。

（3）动态异质图

为了模拟真实世界（异质）图的动态特性，当在$T$时刻节点$s$连接到节点$t$时，我们为边$e=(s,t)$分配一个时间戳$T$。如果$s$是第一次出现的，那么$T$也被分配给$s$。$s$可以与多个时间戳相关联，如果它随着时间的推移建立了连接。

换句话说，我们假设边的时间戳不变，表示创建边的时间。例如，当在$T$时间的会议上发表的论文时，$T$将被分配到论文和会议节点之间的边。

相反，可以相应地为一个节点分配不同的时间戳。例如，会议节点 "WWW"可以指定任何年份。WWW@1994意味着我们正在考虑WWW的第一版，它更关注互联网协议和网络基础设施，而WWW@2020意味着即将到来的WWW，它将其研究主题扩展到社会分析、无处不在的计算、搜索和红外、隐私和社会等。

2.2 GNN

一般来说，GNN可以看作是将输入图结构作为消息传递的计算图，在计算过程中，将局部邻域信息进行聚合，得到更符合情境的上下文表示。

假设$H^l[t]$是第$l$层的节点$t$的节点表示，从第$l-1$层到第$l$层的更新过程为：

其中，$N(t)$表示节点$t$的所有源节点，$E(s,t)$表示从节点$s$到$t$的所有边。

最重要的GNN运算符是提取（$Extract(\cdot )$）和聚合（$Aggregate(\cdot )$）。

$Extract(\cdot )$表示邻居信息提取器。它从源节点的表示$H^{l-1}[s]$中提取有用的信息，使用目标节点的表示$H^{l-1}[t]$和两个节点之间的边$e$作为查询。