【论文阅读】AD-GCL：Adversarial Graph Augmentation to Improve Graph Contrastive Learning

摘要

提出了对抗性图对比学习——AD-GCL，它通过优化GCL中使用的对抗性图增强策略，使GNN在训练过程中避免捕获冗余(图特征)信息。

1 引言

InfoMax原则可能会有风险，因为它可能会推动编码器捕获与下游任务无关的冗余信息。与InfoMax不同，information bottleneck(IB)要求编码器捕获下游任务的最小的足够信息。具体来说，IB最小化来自原始数据的信息，同时最大化与下游任务相关的信息。随着冗余信息被移除，IB学习到的编码器往往更鲁棒和可转移。

当有关下游任务的知识不可用时，如何训练可能删除冗余信息的GNN？本文提出了一个方法，将GCL与对抗性训练相匹配，称为AD-GCL。AD-GCL由两个组成部分组成：

1. 一个GNN编码器。它采用InfoMax来最大化原始图与其增广图的表示之间的互信息。
2. 一个基于GNN的增强器。其旨在优化增强策略，以尽可能减少原始图中的冗余信息。

AD-GCL本质上允许编码器捕获最小的足够信息来区分数据集中的图。结果表明，在增强器的搜索空间上有一定的正则化，AD-GCL可以产生下游任务相关信息的下界保证，同时保持原始图中冗余信息的上界保证，匹配IB原理的目标。

我们进一步给出了AD-GCL的一个实例化：GNN增强器使用了一个任务不可知的增强策略，并且将学习一个与输入图相关的非均匀边丢弃概率来执行图的增强。

2 准备工作

属性图$G=(V,E)$，其中$V$是节点集，$E$是边集。$G$可能具有维度为$F$的节点属性 { X v ∈ R F ∣ v ∈ V } \{X_v∈\mathbb{R}^F|v∈V\} { Xv​∈RF∣v∈V}和边属性 { X e ∈ R F ∣ e ∈ E } \{X_e∈\mathbb{R}^F|e∈E\} { Xe​∈RF∣e∈E}。我们将节点$v$的邻居集表示为${\mathcal{N}}_v$。

2.1 学习图表示

给定空间$\mathcal{G}$中的一组图$G_i,i=1,2,...,n$，目标是学习一个编码器$f:\mathcal{G}\to {\mathbb{R}}^d$，其中$f(G_i)$可以进一步用于一些下游任务。我们还假设所有的$G_i$都是从定义在$\mathcal{G}$上的未知分布${\mathbb{P}}_{\mathcal{G}}$中独立同分布地采样的。另一个模型$q:{\mathbb{R}}^d\to \mathcal{Y}$ 将学习基于$q(f(G_i))$的预测$Y_i$。我们假设$(G_i,Y_i)$是从一个分布${\mathbb{P}}_{\mathcal{G}\times \mathcal{Y}}={\mathbb{P}}_{\mathcal{Y}|\mathcal{G}}{\mathbb{P}}_{\mathcal{G}}$中独立同分布地采样的，其中${\mathbb{P}}_{\mathcal{Y}|\mathcal{G}}$是在给定图的下游任务中图标签的条件分布。

2.2 GNNs

对于图$G=$