GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph

GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph

Neurips21

推荐指数：#paper/⭐⭐#​（太早，但是又经典)

动机：以前的text-based graph 往往采取级联的结构，这种处理中，GNN语义并没有很好的和transformer结合在一起。因此，我们提出了并联式的text-based graph transformer.

​​

贡献：

1. GraphFormers中分层GNN组件嵌套与语言模型的transformer块一起。利用该架构，将文本编码和图聚合融合成一个迭代的工作流，GNN从局部理解信息，transformer则可以更好的捕获长信息
2. 引入了一种渐进学习策略，对操作数据和原始数据进行连续训练，以增强其在图上整合信息的能力。
   使用预先训练的语言模型可以更精确地捕获文本的底层语义；使用图形神经网络可以有效地聚合邻居节点，以获得更多信息的节点

模型架构

在GraphFormers中，GNN组件被嵌套在语言模型的转换器层（TRM）旁边，其中文本编码和图聚合被融合为一个迭代的工作流。在每次迭代中，所链接的节点将在分层的GNN组件中相互交换信息；因此，每个节点都将增加其邻域信息。

其分为两个训练步骤：

1. 利用污染(即数据增强或者dp)后的节点进行训练
2. 训练并未污染的数据

​​

在这项工作中，我们处理文本图数据，其中每个节点 $x$ 都是一个文本。节点 $x$ 及其邻居 $N_x$ 一起表示为 $G_x$。我们的模型根据自己的文本特征和邻域 $N_x$ 的信息来学习节点 $x$ 的嵌入。生成的嵌入有望捕捉到节点之间的关系，即根据嵌入相似性准确预测两个节点 $x_q$ 和 $x_k$ 是否相连。

GraphFormer 的编码过程如下所示：

1. 输入节点（中心节点及其邻居）被标记化为标记序列，前面填充了特殊标记 [CLS]，其状态用于节点表示。
2. 输入序列根据单词嵌入和位置嵌入的总和映射到初始嵌入序列 { H g 0 } G \{H_g^0\}_G { Hg0​}G​。嵌入序列由多层 GNN 嵌套的 Transformer 编码（如图 2 所示），其中图形聚合和文本编码迭代执行。

Graph Aggregation in GNN

每个节点都由基于分层图聚合。对于第 l 层中的每个节点，第一个标记级嵌入（对应于 [CLS]）被视为节点级嵌入：${\mathbf{z}}_g^l\leftarrow {\mathbf{H}}_g^l[0]$。节点级嵌入是从所有节点收集的，并传递给分层 GNN 进行图形聚合。我们利用多头注意力 （MHA） 对节点级嵌入${\mathbf{z}}_g$ 进行编码，类似于 GAT。

$\begin{array}{c}{\hat{\mathbf{Z}}}_G^l\end{array}$