GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

摘要

目前图表示学习在许多任务上取得了很好的效果但是都是关注于具体领域的并不具有迁移性。本文借鉴预训练思想，设计了一个自监督图神经网络框架来在多个网络中捕获一般化的网络拓扑结构属性。我们设计的预训练任务是在多个网络之间判别子图实体，使用对比学习强化图神经网络来学习固有的，可迁移的结构化表示。

引言

假设：具有代表性的图结构模式是一般化的且在网络之间可迁移。
过去二十多年的工作主要关注点在发掘不同网络中潜在的一般化的结构属性。最近几年图学习的重点从结构模式挖掘转向图表示学习。将结点，边，子图等转化为低维嵌入可以保留一些重要的结构信息。但是，大多数表示学习主要是在单一图上或者一组固定数目的图中学习，表达受限且很难迁移。本质上，这些表示学习模型旨在学习每个数据集专用的网络特定结构模式。举个例子，在社交网络上使用DeepWalk学到的表示无法用于其他图中。因此，可否学习一个一般化的，可迁移的图嵌入是个待解决的问题。

本文借助对比学习的思想在多个图上学习结构化表示。基本的思想是先从输入图中采样实例，把每个实例作为单独的类别，编码并判别这些实例。在GCC中，我们将子图判别作为预训练任务，根据结点的局部结构区分他们。对于每个结点从他的多跳ego-network中采样子图。GCC的目的是区分从特定结点采样的子图和从其他结点