【论文阅读】IJCAI 2021 MERIT

摘要

受图对比学习和Siamese networks(孪生神经网络)在视觉表示学习中成功的启发，本文提出了一种新的自监督方法，通过多尺度(multi-scale)对比学习增强Siamese自蒸馏来学习节点表示。

具体来说，我们首先根据局部和全局的角度从输入图中生成两个增强视图。然后，我们采用了两个目标，称为跨视图和跨网络对比度，以最大限度地提高不同视图和网络之间的节点表示的一致性。

1 引言

2 相关工作

Siamese network是一种神经架构，它包含两个或多个相同的结构（例如，图1中的在线和目标编码器），以进行多类预测或实体比较。传统上，它被用于监督任务，如签名验证和人脸匹配。最近，该架构被用于自监督学习视觉表示，并在不使用负样本的情况下取得了显著的改进。为了充分了解BYOL的潜在机制，验证了在线网络中额外的预测器和目标网络中的停止梯度机制是在没有负样本帮助的情况下防止崩溃的关键。

3 方法

• 问题定义

$\mathcal{G}=(X,A)$，特征矩阵为：$X\in {\mathbb{R}}^{N\times D}$，邻接矩阵：$A\in {\mathbb{R}}^{N\times N}$。

目标：在没有标签信息的情况下，学习一个编码器 $g_{\theta }:{\mathbb{R}}^{N\times D}\times {\mathbb{R}}^{N\times N}\to {\mathbb{R}}^{N\times D^{\prime }}$。其中$D^{\prime }<<D$。所得到的表示 H = g θ ( X , A ) = { h 1 , h 2 , . . . , h N } H=g_\theta(X,A)=\{h_1,h_2,...,h_N\} H=gθ​(X,A)={ h1​,h2​,...,hN​}可以直接用于下游任务，如节点分类。

• 整体框架

我们提出了一种新的算法——MERIT，利用bootstrapping和多尺度图对比学习来学习节点表示。

如图1所示，我们的模型主要由三个部分组成：图增强，跨网络对比学习，和跨视图对比学习。

为了训练我们的模型，我们首先生成两个增强的图视图，表示为${\tilde{\mathcal{G}}}_1$和${\tilde{\mathcal{G}}}_2$。之后，通过在线网络和目标网络对这两个视图进行处理，我们在潜在空间的多个尺度上构建了不同的图对比路径，如图1的最右部分所示。

3.1 图增强

为了便于在图上的对比学习，我们提出了四种增强方法，如下所示，以增强图的拓扑和属性信息。

（1）Graph Diffusion (GD)

我们通过扩散变换一个图，以生成一个全等的视图。这种方法的有效性可能归因于由扩散视图提供的额外的全局信息。该过程的表述如下：

其中，$\theta$是控制局部和全局信号分布的参数，$T\in$