【论文阅读】BGRL：Bootstrapped Representation Learning on Graphs

摘要

目前最先进的GNN的自监督学习方法是基于对比学习的，它们严重依赖于图增强和负例。例如，在标准的PPI基准上，增加负对的数量可以提高性能，因此需要的计算和内存成本是节点数量的二次方，这样才能实现最高性能。受BYOL（一种最近引入的不需要负对的自监督学习方法）的启发，我们提出了BGRL，一种自监督图表示方法，可以消除这种潜在的二次瓶颈。BGRL在几个已建立的基准数据集上优于或匹配之前的无监督的最先进的结果。此外，它能够有效地使用图注意力(GAT)编码器，使我们能够进一步提高该技术的技术水平。特别是在PPI数据集上，使用GAT作为编码器，我们使用线性评估协议实现了最先进的70.49%的Micro-F1。在所有考虑的其他数据集上，我们的模型与等价监督GNN结果相比，经常超过它们。

1 引言

BGRL通过使用两个不同的图编码器，一个在线编码器和一个目标编码器，来编码图的两个增强版本，以学习节点表示。在线编码器通过目标编码器的表示的预测来进行训练，而目标编码器被更新为在线网络的指数移动平均值。

主要贡献：

• 时间和空间复杂度最多是线性的边的数量。
• 图的对比方法需要大量的负值才能很好地工作。为了减少时间和存储的复杂性，减少负例数量也会降低一些性能。这意味着对比方法可能需要二次方节点数的时间和空间来达到峰值性能。BGRL通过完全消除负例的需要来避免这些问题。
• 更长的训练时间和归一化层显著提高了自监督学习性能，并提供了许多图数据集的整体性能提高。特别是，我们是第一个在ogbn-arXiv数据集中报告自监督GNN表示结果的人。

2 Bootstrapped Graph Latents (BGRL)

为了在不使用对比目标的情况下实现自监督图表示学习，我们将BYOL适应于图域，并提出了Bootstrapped Graph Latents(BGRL)。就像在BYOL中一样，BGRL通过引导它自己的编码器的延迟版本的输出来学习表示，而不需要定义任何负例。与BYOL处理独立数据点的数据集不同，我们遵循过去的图表示学习方法，并利用图中固有的拓扑结构。

2.1 BGRL组件

形式上，BGRL维持两个图编码器，一个在线编码器${\mathcal{E}}_{\theta }$和一个目标编码器${\mathcal{E}}_{\varphi }$，其中$\theta$和$\varphi$表示两组不同的参数。

我们考虑了一个图$G\text{G}G=(X\text{X}X,A\text{A}A)$，其节点特征为$X\text{X}X\in {\mathbb{R}}^{N\times F}$，邻接矩阵为$A\in {\mathbb{R}}^{N\times N}$。这里$N$表示图中的节点数，$F$表示特征数。

BGRL首先通过分别应用随机图增强函数${\mathcal{A}}_1$和${\mathcal{A}}_2$，生成$G\text{G}G$的两个备选视图： G 1 = ( X ~ 1 , A ~ 1 ) \pmb{G}_1=(\tilde{\pmb{X}}_1,\tilde{\pmb{A}}_1) GGG1​=(