论文阅读笔记A Comprehensive Survey on Graph Neural Networks

最新推荐文章于 2024-09-03 21:04:04 发布

Lu_Junhao

最新推荐文章于 2024-09-03 21:04:04 发布

阅读量1.3k

点赞数 1

分类专栏：论文笔记文章标签：图网络综述

本文链接：https://blog.youkuaiyun.com/Junhao_Lu/article/details/102623320

版权

论文笔记专栏收录该内容

3 篇文章

订阅专栏

A Comprehensive Survey on Graph Neural Networks

Abstract:

在这项调查中，我们提供了一个全面的概述图神经网络(GNNs)在数据挖掘和机器学习领域。提出了一种新的分类方法，将最先进的图神经网络划分为不同的类别。以图卷积网络为重点，我们回顾了最近发展起来的替代架构;这些学习范式包括图注意网络、图自动编码器、图生成网络和图时空网络。我们进一步讨论了图神经网络在各个领域的应用，总结了现有算法在不同学习任务上的开放源代码和基准。最后，提出了这一快速发展领域的研究方向。

1 Introduction

深度学习在许多领域的成功，部分归功于快速发展的计算资源(如GPU)和大型训练数据的可用性，部分归功于深度学习从欧几里德数据(如图像、文本和视频)中提取潜在表示的有效性。以图像分析为例，将图像表示为欧几里得空间中的规则网格。卷积神经网络(CNN)能够利用图像数据[8]的移位不变性、局部连通性和组合性，因此CNN可以为各种图像分析任务提取与整个数据集共享的有意义的局部特征。
图数据的复杂性给现有的机器学习算法带来了巨大的挑战。
为了处理复杂的图形数据，在过去几年里，对重要操作的新的概括和定义得到了迅速发展。
这项调查旨在为想要进入这一快速发展领域的感兴趣的研究人员和想要比较图神经网络算法的专家提供这些方法的全面概述。
图神经网络的简单历史：
这些早期的研究通过递归神经结构迭代地传播邻居信息，直到达到一个稳定的不动点，从而学习目标节点的表示。
以前计算很贵，现在解决了。在我们的调查中，我们概括了图神经网络来代表所有的图数据深度学习方法。
Bruna等人(2013)首次提出了关于GCNs的重要研究，该研究基于谱图理论[21]发展了一种图卷积变体。由于谱方法通常同时处理整个图，且难以并行或缩放到大型图，基于空间的图卷积网络近年来发展迅速。
除了图卷积网络外，在过去的几年里，许多替代的图神经网络也得到了发展。这些方法包括图注意网络、图自动编码器、图生成网络和图时空网络。关于这些方法的分类的详细信息在第3节中给出。
图神经网络相关调研
Bronstein等人[8]使用几何深度学习的概念，概述了非欧几里德领域的深度学习方法，包括图形和流形。
…
介绍各个调研的情况以及说他们调研的不充分，可以跳过不看

Graph neural networks vs. network embedding：
图神经网络的研究与图嵌入或网络嵌入密切相关，这是另一个越来越受到数据挖掘和机器学习社区[33]，[34]，[35]，[36]，[37],[38]关注的课题。
网络嵌入旨在表示网络顶点到一个低维向量空间,通过保留网络拓扑结构和节点内容信息,以便任何后续图分析任务,如分类、聚类,推荐可以很容易地由使用简单的现成的机器学习算法(例如,支持向量机分类)执行。
许多网络嵌入算法是典型的无监督算法，它们可以大致分为三组[33]，即、矩阵因子分解[39]、[40]、随机游走[41]、深度学习方法。同时用于网络嵌入的深度学习方法属于图神经网络，其中包括基于图自编码器的算法(如DNGR[42]和SDNE)和无监督训练的图卷积神经网络（如GraphSage [25])。
图2描述了本文中网络嵌入与图神经网络的区别。
在这里插入图片描述

我们论文的显著贡献：

新的分类法
鉴于对图数据深度学习的研究越来越多，我们提出了一种新的图神经网络分类法。在此分类法中，GNN分为五类：图卷积网络，图注意力网络，图自动编码器，图生成网络和图时空网络。我们查明了图神经网络与网络嵌入之间的区别，并绘制了不同图神经网络架构之间的联系。
综合广泛地调研
本调查为图形数据的现代深度学习技术提供了最全面的概述。针对每种类型的图神经网络，我们对典型的算法进行了详细的描述，并对相应的算法进行了必要的比较和总结。
丰富的资源
该调查提供了丰富的图形神经网络资源，包括最先进的算法、基准数据集、开放源代码和实际应用。这项调查可以作为理解、使用和开发不同的深度学习方法以适应各种实际应用的实践指南。
下一步的方向
本研究也强调了现有算法的局限性，并指出了这个快速发展的领域可能的发展方向。

该调查的其余部分组织如下： 第2节定义了一系列与图形相关的概念。第3节阐述了图神经网络的分类。第4节和第5节概述了图神经网络模型。第6节介绍了跨不同领域的应用程序。
第7节讨论了当前的挑战并提出了未来的方向。第8节对本文进行总结。

2 Definition

在本节中，我们提供基本图概念的定义。为了便于检索，我们总结了表1中常用的表示法。
在这里插入图片描述
定义1：Graph。G=（V,E,A）其中V为节点集，E为边集，A为邻接矩阵。邻接矩阵A是一个N*N的矩阵，改位置表示的两个节点有边相连时值大于0，没有边关系时为0。一个节点的度是连接到它的边的数量。
关于X $\in$ R^N*D和X_i的意思见上表
定义2：Directed Graph。边的关系有指向性，邻接矩阵A_ij不一定等于A_ji。
定义3：Spatial-Temporal Graph。时空图是一种属性图，其中特征矩阵X随着时间改变。被定义为G=（V,E,A,X）X $\in$ R^T*N*D 其中T是时间步长。

3 Categorization and Frameworks

在本节中，我们介绍了图神经网络的分类法。我们考虑了任何将神经体系结构作为图神经网络的可微图模型。我们将图神经网络分为图卷积网络、图注意网络、图自动编码器、图生成网络和图时空网络。其中，图卷积网络在捕获结构依赖项方面起着核心作用。如图3所示，其他类别的方法部分使用图卷积网络作为构建块。我们总结了表2中每个类别的代表性方法，并在下面简要介绍每个类别。
在这里插入图片描述

3.1 taxonomy of GNNs GNNs 的分类法

Graph Convolution Networks (GCNs) 将卷积运算从传统数据(image或网格)推广到Graph数据。这个过程的key是通过聚合它自己的特征X_i和它邻居的特征X_j，学习一个函数f去生成一个节点v_i的表示，。图4展示了GCN对节点表示学习的过程。GCN在构建其它复杂的图神经网络模型（如auto-encoder-based models, generative models, and spatial-temporal networks, etc.）起中心作用。图5阐明了几个构架在GCN之上的图神经网络模型。
在这里插入图片描述
图4：一种具有多个GCN层的图卷积网络。GCN层通过聚合来自其邻居的特征信息来封装每个节点的隐藏表示。特征聚合后，对输出结果进行非线性变换。通过叠加多层，每个节点的最终隐藏表示将接收来自更远的邻居的消息。
在这里插入图片描述

在这里插入图片描述

Graph Attention Networks类似于GCN，并寻求一种聚合函数来融合图中的相邻节点，随机游走和候选模型，以学习新的表示形式。关键的区别在于，图注意力网络采用注意力机制，将更大的权重分配给更重要的节点、路径或模型。在端到端框架中，注意力权重与神经网络参数一起学习。图6说明了图卷积网络与图注意网络在汇聚邻居节点信息方面的区别。
在这里插入图片描述
Graph Auto-encoders是无监督的学习框架，旨在通过编码器学习低维节点向量，然后通过解码器重建图数据。对于没有属性信息的普通图[42]，[43]以及属性图[64]，[65]，图自动编码器是一种学习图嵌入的流行方法。对于普通图，许多算法通过构造具有丰富信息的新矩阵（即pointwise mutual information （PMI）矩阵）[42]或将邻接矩阵馈入自动编码器模型并捕获一阶和二阶信息来直接提出邻接矩阵 [43]。对于属性图，图自动编码器模型倾向于采用GCN [14]作为编码器的构件，并通过链接预测解码器[62]，[64]重建结构信息。

Graph Generative Networks旨在从数据生成合理的结构。从根本上说，给定图的经验分布来生成图具有挑战性，主要是因为图是复杂的数据结构。为了解决这个问题，研究人员已经探索了将生成过程分解为结点和边的形成因素[67] [68]，采用生成对抗训练[69] [70]。图生成网络的一个有前途的应用领域是化合物合成。在化学图中，原子被视为节点，化学键被视为边缘。任务是发现具有某些化学和物理性质的新的可合成分子。

Graph Spatial-temporal Networks旨在从时空图中学习看不见的模式，这在交通预测和人类活动预测等许多应用中越来越重要。例如，底层道路交通网络是一个自然图，其中每个关键位置都是一个节点，其交通数据被持续监控。通过建立有效的图数据时空网络模型，可以准确预测整个交通系统的交通状态[73]，[74]。图时空网络的关键思想是同时考虑空间依赖性和时间依赖性。当前的许多方法都应用GCN来捕获依赖性，并使用一些RNN [73]或CNN [74]来对时间依赖性建模。

3.2 Frameworks

图神经网络，特别是图卷积网络(GCNs)，试图通过图谱理论或空间局部性定义图卷积，复制CNN在图数据方面的成功。以图结构和节点内容信息为输入，GCN的输出可以通过以下机制之一聚焦于不同的图分析任务:

Node-level 输出与节点回归和分类任务相关。图卷积模块直接给出了节点的潜在表示，因此GCN的最后一层是多感知器层或softmax层。我们在4.1节和4.2节中回顾了图形卷积模块。
Edge-level 输出与边分类和链接预测任务相关。为了预测边的标签/连接强度，一个附加的函数将从图卷积模块中获取两个节点的潜在表示作为输入。
Graph-level 输出与图分类任务相关。为了在图层次上获得紧凑表示，使用池模块将图粗化为子图，或对节点表示进行求和/平均。我们回顾了图池模块在4.3节。

在表3中，我们列出了主要GCNs方法的输入和输出的详细信息。特别地，我们总结了每个GCN层之间和每个方法的最后一层之间的输出机制。输出机制可能涉及几个池化操作，将在4.3节讨论。

在这里插入图片描述

End-to-end Training Frameworks。 图卷积网络可以在端到端学习框架内以(半)监督或完全非监督的方式进行训练，这取决于当前的学习任务和标签信息。

Semi-supervised learning for node-level classification。 给定一个带有部分节点被标记而其他节点未被标记的单个网络，图卷积网络可以学习一个健壮的模型，该模型可以有效地识别未标记节点的类标签[14]。为此，可以通过堆叠几个图卷积层，然后堆叠用于多类分类的softmax层，来构建端到端框架。
Supervised learning for graph-level classification. 给定一个图数据集，图级分类旨在预测整个图的类标签[58],[59],[77],[78]。这个任务的端到端学习可以通过一个框架完成，该框架结合了图卷积层和池化过程[58]，[59]。具体来说，通过应用图卷积层，我们可以为每个图中的每个节点获取具有固定维数的表示。然后，我们可以通过池化来汇总图中所有节点的表示向量来获得整个图的表示。最后，通过应用线性层和softmax层，我们可以构建用于图形分类的端到端框架。在图5a中给出了一个例子。
Unsupervised learning for graph embedding.（没有类标签，无监督的图分类）当图中没有可用的类标签时，我们可以在端到端框架中以纯粹无监督的方式学习图嵌入。这些算法以两种方式利用边缘级信息。一种简单的方法是采用自动编码器框架，其中编码器使用图卷积层将图嵌入到潜在表示中，在该表示中使用解码器来重构图结构[62]，[64]。另一种方式是利用负采样方法，该方法将一部分节点对采样为负对，而图中具有链接的现有节点对则为正对。然后在卷积层之后应用逻辑回归层进行端到端学习[25]。

4 Graph convolution networks

这章回顾复杂的图神经网络模型里的基本原理
GCNs方法分为两类，基于谱的和基于空间的。基于频谱的方法通过从图信号处理的角度引入滤波器来定义图卷积[79]，其中图卷积运算被解释为从图信号中去除噪声。基于空间的方法将图卷积表示为邻居的特征信息聚合。虽然GCNs操作在节点级，但是图pooling模块可以与GCN层交错，从而将图粗化为高级的子结构。如图5a所示，这种架构设计可以用来提取图级表示，并执行图分类任务。接下来，我们将分别介绍基于频谱的GCNs、基于空间的GCNs和图池模块。

4.1 基于谱的图卷积网络

基于频谱的方法在图形信号处理中具有坚实的基础[79]。首先，我们给出了图形信号处理的一些基础知识背景，之后，我们再回顾基于频谱的GCN的代表性研究。

4.1.1 背景

在基于频谱的模型中，假设图是无向的。无向图的一个鲁棒数学表示是归一化图拉普拉斯矩阵
关于谱域卷积的基础，拉普拉斯矩阵及应用理解后另做补充。

4.1.2 基于谱的GCNs的方法

简单介绍了三个基于谱的GCN方法，分别是：

spectral CNN
Chebyshev Spectral CNN(ChebNet)
First order of ChebNet(1stChebNet)

4.1.3 总结

频谱CNN [21]依赖于拉普拉斯矩阵的特征分解。它具有三个效果。首先，对图的任何扰动都会导致本征基的变化。其次，学习的过滤器是域相关的，这意味着它们不能应用于具有不同结构的图。第三，特征分解需要O（N3）计算和O（N2）内存。由ChebNet [12]和1stChebNet [14]定义的过滤器位于空间中。可以在图中的不同位置共享学习的权重。但是，频谱方法的一个共同缺点是它们需要将整个图加载到内存中以执行图卷积，这在处理大图时效率不高。

4.2 基于空间的图卷积网络

4.2.1 基于循环空间的GCNs

简单介绍了以下方法：

Graph Neural Networks(GNNs)
Gated Graph Neural Networks (GGNNs)
Stochastic Steady-state Embedding (SSE)

4.2.2 基于合成的空间GCNs

基于组合的方法通过叠加多个图卷积层来更新节点的表示。
分别介绍了：

Message Passing Neural Networks (MPNNs)
GraphSage

4.2.3 空间GCNs的一些变体

Diffusion Convolution Neural Networks (DCNN)
PATCHY-SAN
Large-scale Graph Convolution Networks (LGCN)
Mixture Model Network (MoNet)

4.2.4 总结

基于空间的方法通过聚集邻居的特征信息来定义图卷积。
根据图形卷积层的不同叠加方式，将基于空间的方法分为两类:recurrent-based
and composition-based。前者试图获得节点的稳定状态，而后者试图合并更高阶的邻域信息。在每个层中，两个组都必须在训练期间更新所有节点上的隐藏状态。然而，将所有中间状态存储到内存中是低效的。为了解决这个问题，提出了几种训练策略，包括针对基于组合的方法(如GraphSage[25])的子图训练，以及针对基于递归的方法(如SSE[20])的随机异步训练。