图神经网络【1】学习笔记

学习GCN不错的英文参考资料，原链接

Overview

许多现实世界的重要数据集都以图形或网络的形式出现:社交网络、知识图、蛋白质交互网络、万维网等等。然而，直到最近，很少有人关注神经网络模型泛化到这样的结构化数据集。
在过去的几年里，一些论文重新探讨了将神经网络推广到任意结构图上的问题(Bruna et al., ICLR 2014; Henaff et al., 2015; Duvenaud et al., NIPS 2015; Li et al., ICLR 2016; Defferrard et al., NIPS 2016; Kipf & Welling, ICLR 2017)，他们中的一些人现在在一些领域取得了非常有希望的结果，这些领域以前是由基于内核的方法、基于图形的正则化技术等主导的。
在这篇文章中，我将简要概述这一领域的最新发展，并指出各种方法的优缺点。这里的讨论主要集中在最近的两篇论文:

• Kipf & Welling (ICLR 2017), Semi-Supervised Classification with Graph Convolutional Networks (disclaimer: I’m the first author)
• Defferrard et al. (NIPS 2016), Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering

Outline

• 简要介绍图上的神经网络模型
• 谱图卷积和图卷积网络(GCNs)
• Demo:图形嵌入内部嵌入简单的一阶GCN模型
• GCNs作为weisfeler - lehman算法的可微泛化
  如果你已经熟悉GCNs和相关的方法，你可能想要直接跳到嵌入空手道俱乐部网络9 Embedding the karate club network).

GCN有什么作用

最近的文献

推广一个类似RNNs或CNNs这样的成熟的神经网络模型来处理任意结构的图是一个具有挑战性的问题。最近的一些论文介绍了具体问题的专用体系结构(e.g. Duvenaud et al., NIPS 2015; Li et al., ICLR 2016; Jain et al., CVPR 2016), 其他人利用谱图理论中已知的图卷积(Bruna et al., ICLR 2014; Henaff et al., 2015) 定义多层神经网络模型中使用的参数化过滤器，类似于我们熟悉经典的CNNs.
最近的工作重点是弥补快速启发法和缓慢但更有原则的谱方法之间的差距。Defferrard等人(NIPS 2016)使用Chebyshev多项式在光谱域近似平滑滤波器，使用在类神经网络模型中学习的自由参数。他们在常规领域(如MNIST)取得了令人信服的结果，接近于简单的2D-CNN模型。

GCN Part Ⅰ: 定义

目前，大多数图神经网络模型都有一个通用的体系结构。我将把这些模型称为Graph Convolutional Networks (GCNs)；卷积，因为过滤器参数通常在图中的所有位置共享(或其子集，如Duvenaud et al.,NIPS 2015)。

对于这些模型，目标是图$G=(V,E)$上学习信号/特征在的函数，该函数作为输入:

• $x_i$是对于每一个节点 $i$的特征的描述, $N\times D$的特征矩阵$X$($N$:点的数量;$D$:输入特征的数量)
• 矩阵形式的图结构的典型描述;通常以邻接矩阵$A$(或其某个函数)的形式出现

并产生节点水平的输出$Z$ ($N\times F$特征矩阵，其中$F$为每个节点的输出特征数)。图水平的输出可以通过引入某种形式的池化pooling操作来建模(参见Duvenaud et al，NIPS 2015).

每个神经网络的layer可以写成一个非线性函数              
             
$H^{(l+1)}=f(H^{(l)},A)$
$H^{(0)}=X$、$H^{(L)}=Z$ ($z$图水平的输出)、$L$表示layers的数量。具体的模型根据不同的$f(\cdot ,\cdot )$选择和参数化。

GCNs Part Ⅱ:简单的例子

举一个例子，考虑非常简单的分层传播规则:

$f(H^l,A)=\sigma (A{H}^{(}$