【论文阅读】GROC：Towards Robust Graph Contrastive Learning

摘要

本文研究了图上的对抗鲁棒自监督学习问题。在对比学习框架中，我们引入了一种新的方法，通过i）对抗性转换和ii）不仅移除而且插入边的转换来提高学习到的表示的对抗鲁棒性。我们在一组初步的实验中评估了学习到的表示，得到了性能优异的实验结果。我们认为，这项工作在将鲁棒性作为图对比学习的可行辅助任务方面迈出了重要的一步。

1 引言

与对比性学习类似，对抗性攻击的主题也围绕着identity-preserving（难以察觉的）转换而发展。然而，对抗性攻击的目的是发现难以察觉的转换，尽管看起来是无辜的，但会导致模型中的错误预测。研究表明，即使是高精度的神经网络也很容易受到攻击，因此不可靠。这导致了人们对建立鲁棒性模型的极大兴趣，即那些不太容易受到对抗性攻击的模型。在对比学习设置中，有研究者最近证明了使用对抗性转换可以让我们学习鲁棒表示。

本文的贡献如下：

1. 提出了图鲁棒对比学习(GROC)，一种完全自监督的图算法，旨在实现对对抗性攻击的鲁棒性。
2. 在几个流行的 transductive节点分类数据集上对GROC进行了评估。初步结果表明，GROC提高了对对抗性攻击的鲁棒性，同时在干净的示例上保持了可比的性能。
3. 我们概述了未来可能的发展方向。我们计划扩展我们的工作，以提高我们的方法的效率，并扩展我们的实验，包括一套更全面的基线和评估设置。

2 相关工作

2.1 图自监督学习

本文所关注的GRACE，是通过随机移除边和掩蔽节点特征来生成同一图的两个视图，其中，正对是两个视图中的相应节点，而负对是在同一视图或另一视图中的所有其他节点。不过，与我们的工作相比，该方法在训练过程中不具有鲁棒性。

最近有研究者提出了一种新的自监督方法，不需要负对，提高了对比方法的结果。这种方法随后适用于图的领域。

2.2 图的对抗性攻击和防御

关于鲁棒性的主要见解是，即使是高精度的网络也容易受到对抗性攻击，可以直接转移到图中。

RL-S2V，是一种通过强化学习进行边缘插入和删除来学习创建错误分类的攻击。Nettack，通过扰乱图结构和改变节点特征来制作对抗性的例子。Meta-Attack，使用meta-learning来产生对抗性的例子。

为了应对这些攻击，研究人员提出了各种图形纯化（graph purification）程序，以及对抗性防御，旨在提高神经网络的鲁棒性，通常通过在训练过程中对抗性地增加干净的例子来实现。然而，由于图中边和节点的离散性质，在训练过程中有效地生成对抗性的例子是困难的。Dai等人通过使用随机丢弃边的例子来缓解这个问题。Robust GCN，它使用高斯分布作为网络每层的节点表示来缓解对抗性扰动。后来，Jin等人通过真实图的内在属性，如低秩邻接矩阵、稀疏图或同质性，来清理扰动图，提高了图神经网络的对抗性鲁棒性。最近，Zhang and Zitnik提出了一种更一般的方法，能够抵御对异质图的攻击。

提高网络鲁棒性的目标也扩展到了自监督对比学习方法。最近，研究人员认为，通过在对比学习过程中使用对抗性转换，深度神经网络模型可以实现对图像对抗性攻击的最先进的鲁棒性。在图领域中，You等人将对比学习方法的评估纳入对抗性攻击的设置中。然而，它们只关注图的分类，更值得注意的是，它们并没有明确地将对抗性鲁棒性作为其训练的目标。

3 Graph Robust Contrastive Learning

GROC建立在之前的图对比学习工作的基础上，旨在提高图神经网络对对抗性攻击的鲁棒性。

3.1 Background

图 $\mathcal{G}=(V,X\text{X}X,A\text{A}A)$，节点集 V = { v 1 , v 2 , . . . , v n } V=\{v_1,v_2,...,v_n\} V={ v1​,v2​,...,vn​}，节点特征矩阵 $X\text{X}X\in {\mathbb{R}}^{n\times d}$，非加权邻接矩阵 A ∈ { 0 , 1 } n × n \pmb{A}∈\{0,1\}^{n×n} AAA∈{ 0,1}n×n。

目标：学习图节点的高阶表示(嵌入) $Z$