【论文阅读】DEEP GRAPH INFOMAX（DGI）

摘要

本文提出了DGI，一种以无监督的方式学习图结构数据中节点表示的一般方法。DGI依赖于最大限度地扩大图增强表示和目前提取到的图信息之间的互信息——两者都是使用已建立的图卷积网络体系结构导出的。对于图增强表示，是根据目标节点所生成的子图，因此可以用于下游节点的表示学习任务。与大多数以前使用GCNs进行无监督学习的方法相比，DGI不依赖于随机游走目标，并且很容易适用于直推式学习和归纳式学习。我们在各种节点分类基准上展示了竞争性能，有时甚至超过了监督学习的性能。

1 Introduction

将神经网络推广到图形结构输入是当前机器学习的主要挑战之一。虽然最近取得了重大进展，特别是图卷积网络，但大多数成功的方法使用监督学习，这往往是不可能的，因为大多数图表数据在野外是未标记的。 此外，从大规模图中发现新颖或有趣的结构往往是可取的，因此，无监督的图学习对于许多重要的任务是必不可少的。

目前，具有图结构数据的无监督表示学习的主要算法依赖于基于随机游走的目标，有时进一步简化以重建邻接信息。基本的直觉是训练编码器网络，使输入图中的“接近”节点在表示空间中也“接近”。

虽然功能强大，而且与传统的衡量标准（如个性化PageRank评分）相关，但随机游走方法受到已知的限制。最突出的是，随机游走目标以牺牲结构信息为代价过分强调邻近信息，并且性能高度依赖于超参数的选择。此外，随着基于图卷积的更强的编码器模型的引入，目前还不清楚随机游走目标是否真的提供了任何有用的信号，因为这些编码器已经强制产生了一种归纳式偏差，即相邻节点具有类似的表示。

在这项工作中，我们提出了一种用于无监督图学习的替代目标，这种目标是基于互信息，而不是随机游走。在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）是指变量间相互依赖性的量度。近年来基于互信息的代表性工作是 MINE，其中提出了一种 Deep InfoMax (DMI) 方法来学习高维数据的表示。具体来说 DMI 训练一个编码模型来最大化高阶全局表示和输入的局部部分的互信息（如果从 cv 的角度理解就是一张图片中的 patches）。这鼓励编码器携带出现在所有位置的信息类型（因此是全局相关的），例如类标签的情况。

2 相关工作

2.1 对比方法

对于无监督学习一类重要的方法就是对比学习，通过训练编码器使它在特征表示中更具判别性来捕获感兴趣的和不感兴趣的统计依赖性。例如，对比方法可以使用评分函数，训练编码器来增加“真实”输入的分数，并减少“假”输入的分数，以此判别真实数据和假数据。有很多方法可以对一个表示进行打分，但在图形文献中，最常见的技术是使用分类，尽管也会使用其他的打分函数。DGI在这方面也是对比性的，因为DGI目标是基于对局部-全局对和负抽样配对的分类。

2.2 抽样战略

对比方法的一个关键实现细节是如何绘制正负样本。关于无监督图表示学习的先前工作依赖于局部对比损失（强制近端节点具有相似的嵌入）。从语言建模的角度来看，正样本通常对应于在图中短时间的随机游走中一起出现的节点对，有效地将节点视为单词，将随机游走视为句子。最近有的方法提出使用节点锚定采样作为替代。这些方法的负采样主要是基于随机对的抽样。

2.3 预测编码

对比预测编码(CPC)是另一种基于互信息最大化的深度表示的学习方法。CPC也是一种对比学习方法，它使用条件密度的估计(以噪声对比估计的形式)作为评分函数。然而，与DGI 不同的是，CPC是预测性的：对比目标有效地训练了输入的结构指定部分(例如，相邻节点对之间或节点与其邻居之间)之间的预测器。DGI 不同之处在于同时对比一个图的全局/局部部分，其中全局变量是从所有的局部变量计算出来的。

3 DGI Methodology

在本节中，我们将以自上而下的方式介绍DGI方法：首先是对我们特定的无监督学习设置的抽象概述，然后是对我们的方法优化的目标函数的阐述，最后是在单图设置中枚举我们过程的所有步骤。

3.1 基于图的无监督学习

我们假设一个通用的基于图的无监督机器学习设置：
首先给出一组节点特征， X = { x 1 ⃗ , x 2 ⃗ , . . . , x N ⃗ } X=\{ \vec{x_1}, \vec{x_2},..., \vec{x_N}\} X={ x1​ ​,x2​ ​,...,xN​ ​}，其中$N$是图中的节点数，$\overrightarrow{x_i}\in {\mathbb{R}}^F$代表节点$i$的特征表示。邻接矩阵$A\in {\mathbb{R}}^{N\times N}$，在本文中默认所有处理的图是无权图，同时邻接矩阵存储的值为 0 或 1。

模型的目的是学习一个编码器，$\epsilon$：${\mathbb{R}}^{N\times F}\times {\mathbb{R}}^{N\times N}\to {\mathbb{R}}^{N\times F^{\prime }}$，可以形式化的表示为 E ( X , A ) = H = { h 1 ⃗ , h 2 ⃗ , . . . , h N ⃗ } \mathcal{E}(\pmb{X},\pmb{A})=\pmb{H}=\{ \vec{h_1}, \vec{h_2},..., \vec{h_N}\} E(XXX,AAA)=HHH={ h1​ ​,h2​ ​,...,hN​ ​}，其中$H$代表高阶表示，并且每个节点$i$满足$\overrightarrow{h_i}\in {\mathbb{R}}^{F^{\prime }}$。所得到的节点特征的高阶表示可以用于各种下游任务，例如节点分类任务。

在这里，我们将重点讨论图卷积编码器，它通过不断聚合目标节点周边的邻居来完成特征学习。它所产生的 $\overrightarrow{h_i}$总结了以节点 i i