图卷积网络（Graph Convolutional Networks, GCNs）

参考 https://tkipf.github.io/graph-convolutional-networks/

原作 THOMAS KIPF, 30 SEPTEMBER 2016

翻译 by Small_Wind
学习图卷积网络的路上，看到了这篇博客，感觉还不错，顺带整理下并翻译了一下，如有任何问题，请在评论进行回复

综述（Overview）

Many important real-world datasets come in the form of graphs or networks: social networks, knowledge graphs, protein-interaction networks, the World Wide Web, etc. (just to name a few). Yet, until recently, very little attention has been devoted to the generalization of neural network models to such structured datasets.

In the last couple of years, a number of papers re-visited this problem of generalizing neural networks to work on arbitrarily structured graphs (Bruna et al., ICLR 2014; Henaff et al., 2015; Duvenaud et al., NIPS 2015; Li et al., ICLR 2016; Defferrard et al., NIPS 2016; Kipf & Welling, ICLR 2017), some of them now achieving very promising results in domains that have previously been dominated by, e.g., kernel-based methods, graph-based regularization techniques and others.

In this post, I will give a brief overview of recent developments in this field and point out strengths and drawbacks of various approaches. The discussion here will mainly focus on two recent papers:

• Kipf & Welling (ICLR 2017), Semi-Supervised Classification with Graph Convolutional Networks (disclaimer: I’m the first author)
• Defferrard et al. (NIPS 2016), Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering

and a review/discussion post by Ferenc Huszar: How powerful are Graph Convolutions? that discusses some limitations of these kinds of models. I wrote a short comment on Ferenc’s review here (at the very end of this post).

许多重要的真实世界数据集以图表或网络的形式出现：社交网络、知识图谱、蛋白质相互作用的网络、万维网等等(仅举几个例子)。然而，直到最近，依然很少有人关注，将神经网络模型泛化到这种结构化的数据集。

在过去的几年中，许多论文重新讨论了将神经网络泛化到任意结构图上的问题，其中一些已经在以前被基于核的方法、基于图的正则化技术等主导的领域，取得了非常有前途的成果。

在这篇文章中，我将简要概述这一领域的最新发展，并指出各种方法的优缺点。这里的讨论主要集中在最近的两篇论文上：

• Kipf & Welling (ICLR 2017), Semi-Supervised Classification with Graph Convolutional Networks (写这篇源博客的作者是第一作者)

• Defferrard et al. (NIPS 2016), Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering

以及Ferenc Huszar的一篇评论/讨论帖子：图卷积有多强大?讨论了这类模型的一些局限性。我在这里(在这篇文章的最后)对Ferenc的评论写了一个简短的评论。

大纲（Outline）

• 对图神经网络模型的简要介绍
• 谱图卷积和图卷积网络 (GCNs)
• Demo：一个简单的一阶GCN图嵌入模型
• GCNs作为Weisfeiler-Lehman算法的可微推广

如果你对GCNs和相关的理论比较熟悉，你可以直接跳转到第三部分

图神经网络有多强大（How powerful are Graph Convolutional Networks?）

最近的相关文献（Recent literature）

将成熟的神经网络模型（如RNN或CNN）推广到任意结构的图上是一个具有挑战性的问题。最近的一些论文介绍了特定于问题的专门架构（e.g. Duvenaud et al., NIPS 2015; Li et al., ICLR 2016; Jain et al., CVPR 2016）其他的利用谱图理论中已知的图卷积来定义用于多层神经网络模型的参数化滤波器，类似于我们所熟知和喜爱的“经典”CNN架构（Bruna et al., ICLR 2014; Henaff et al., 2015）

最近更多的工作集中在，弥补快速启发式和缓慢启发式，但多少更有原则的谱方法之间的差距。Defferrard 等人 (NIPS 2016)使用带有自由参数的切比雪夫多项式在谱域近似光滑滤波器，这些参数在类似神经网络的模型中学习。他们在正则域(如MNIST)上取得了令人信服的结果，接近于一个简单的2D CNN模型。

在 Kipf & Welling(ICLR 2017)中，我们采用了一种有点类似的方法，从光谱图卷积的框架开始，但引入了简化方法(我们将在后面讨论)，在许多情况下，可以显著提高训练时间和更高的预测精度，在许多基准图数据集上达到最先进的分类结果。

GCNs 第一部分：定义（GCNs Part I: Definitions）

目前，大部分神经网络模型具有某种共同的架构。我将把这些模型称为图卷积网络(GCNs)；卷积，因为滤波器参数通常在图中的所有位置共享（权值共享）

对于这些模型，目标是学习 图$G=(V,E)$上的信号/特征函数，并将其作为输入：

• 对于节点$i$，有特征描述子$x_i$。因此，特征矩阵$X$的维度为$N\times D$（$N$表示节点的数量，$D$表示输入特征的数量）
• 用矩阵形式可对图结构进行代表性描述；通常以邻接矩阵$A$(或其某些函数)的形式出现

并产生一个节点级输出矩阵$Z$ (一个维度未$N\times F$的特征矩阵，其中$F$是每个节点的输出特征数)。图级输出可以通过引入某种形式的池操作来建模(参见，例如Duvenaud等人， NIPS 2015)。

每一个神经网络层都可以用一个非线性函数进行表示：
$$H^{(l+1)}=f(H^{(}$$