【论文阅读】JOAO：Graph Contrastive Learning Automated

摘要

本文提出了一个统一的双层优化框架 Joint Augmentation Optimization (JOAO)，以在图上执行GraphCL时，自动、自适应、动态地选择数据增强方案。该通用框架被实例化为最小-最大优化。JOAO所做的增强选择大体上与以前手工调整中观察到的“最佳实践”一致：但现在是自动化的，更加灵活和通用。此外，我们提出了一种新的增强感知投影头机制，该机制将通过不同的投影头输出特征，不同的投影头对应于在每个训练步骤中选择的不同增强。大量的实验表明，在没有对增强选择采取任何费力的数据集特定的调优的情况下，JOAO在不同规模和类型的多个图形数据集上的表现与包括GraphCL在内的最先进的方法相当，或者有时更好。

1 引言

JOAO的特点：

1. 自动化：无需人工选择增强方式。
2. 自适应：平稳地推广到不同的图数据。
3. 动态化：允许在不同的训练阶段有不同的增强类型。

贡献：

1. JOAO是第一个在对图数据进行对比学习时自动进行增强选择的方法。它使GraphCL免于昂贵的试验和错误，经验性的特别规则，或任何基于标记数据的验证。
2. JOAO可以表示为一个统一的双级优化框架，并实例化为min-max优化。数据增强的灵感来源于对抗性扰动，并且可以通过交替梯度下降算法来求解。
3. 根据JOAO实现的多样化和动态增强，我们设计了一种新的图对比学习增强感知投影头。其基本原理是为了避免太多复杂的增强扭曲原始数据分布。其思想是使每个增强对保持一个非线性投影头，并且每次使用与JOAO当前选择的增强相对应的单个头。
4. JOAO被设计为灵活的和多功能的。虽然本文主要在GraphCL上演示了JOAO，但它们并没有相互绑定。JOAO的一般优化公式也允许它易于与其他图对比学习框架集成。

2 准备工作

设 G = { V , E } G=\{V,E\} G={ V,E}表示空间$\mathcal{G}$中的无向图，$V$和$E$分别为节点集和边集。对于$v\in V$，$X_v\in {\mathcal{R}}^D$为其节点特征。GNN被定义为映射$f:\mathcal{G}\to {\mathcal{R}}^{D^{\prime }}$，它将样本图$G$编码为一个$D^{\prime }$维向量。

具体来说，我们将$└$来自某个经验分布${\mathbb{P}}_{\mathsf{G}}$$┐$【随机】的输入图结构样本表示为$\mathsf{G}$。它从一个给定的增强类型池 A = { N o d e D r o p , S u b g r a p h , E d g e P e r t , A t t r M a s k , I d e n t i c a l } \mathcal{A}=\{NodeDrop, Subgraph,EdgePert, AttrMask,Identical\} A={ NodeDrop,Subgraph,EdgePert,AttrMask,Identical}中采样两个随机增强操作${\mathsf{A}}_1$、${\mathsf{A}}_2$。

GraphCL优化以下损失：

其中，${\mathsf{T}}_{\theta ,i}={\mathsf{A}}_i◦f_{{\theta }^{\prime }}◦g_{{\theta }^{\prime \prime }}$由 θ = { θ ′ , θ ′ ′ } \theta=\{\theta',\theta''\} θ={ θ′,θ′′}参数化。$f_{{\theta }^{\prime }}:\mathcal{G}\to {\mathcal{R}}^{D^{\prime }}$，$g_{}$