SortPool (DGCNN) - An End-to-End Deep Learning Architecture for Graph Classification AAAI 2018

论文：SortPool (DGCNN) - An End-to-End Deep Learning Architecture for Graph Classification

作者：Muhan Zhang, Zhicheng Cui, Marion Neumann, Yixin Chen （华盛顿大学）

来源：AAAI 2018

论文链接：https://muhanzhang.github.io/papers/AAAI_2018_DGCNN.pdf

github链接（Pytorch版）：https://github.com/muhanzhang/pytorch_DGCNN

本文提出了一种接受任意结构图的新型神经网络结构，主要解决了图分类问题中的两个挑战：
（1）如何提取有用的特征来描述那些编码在图中的丰富信息，以达到分类的目的;
（2）如何以有意义且一致的顺序读取图。
从实际的操作来看，这两个challenge分别对应图卷积以及图池化。对此，为了解决第一个挑战，文中设计了一个局部图卷积模型，并给出了它与两个图核的关系；为了解决第二个挑战，设计了一个新的SortPooling层，以一致的顺序对图顶点进行排序，这样传统的神经网络就可以在图上进行训练；并通过top-k选取对卷积之后的图进行池化。

本文的贡献如下：
（1）提出了一种新颖的端到端深度学习结构用于图分类。它直接接受图作为输入，不需要任何预处理。
（2）提出了一种新的空域图卷积层来提取多尺度的顶点特征，并与目前流行的图核进行了类比来解释其工作原理。
（3）提出了一个新的SortPooling层来对顶点特征进行排序，而不是对它们进行汇总，这样可以保留更多的信息，并允许我们更够从全局图的拓扑结构中学习。
（4）在基准图分类数据集上的实验结果表明，深度图卷积神经网络(DGCNN)与先进的图核相比具有很强的竞争力，并且在图分类方面明显优于许多其他深度学习方法。

1 背景介绍

图核方法

机器学习里的核函数可以理解为一种变换，以SVM中常提到的核函数举例，SVM通过超平面将数据分类，而对于一些不可分的数据，通过核函数将其变换到另一个空间，再进行分类。

图核（Graph Kernel）从名字上来说，应该可以理解为“对图上的特征的一种变换方式”。图核就是一个在图上计算内积的核函数，图核方法可以理解为度量图之间相似性的函数。这些方法直接运行使用核函数的学习算法（如SVM）直接在图上工作而不必提取特征然后转化成固定长度的特征向量（GNN的过程）。

中科院沈华伟老师把Kernel function描述为：Characterizing the similarity or distance among nodes，其本质也与图核一致。我们都知道图卷积分为两种：Spectral methods和Spatial Methods。现在的研究达成共识，谱方法就是空间方法的特例，而二者在实际操作中的不同则被归纳为：空间方法需要直接定义核函数，而谱方法不必。而对于谱方法，也可以在推导的时候看到卷积核：

Spectral CNN：
$$y=U{g}_{\theta }{U}^{T}x=\left({\theta }_1{u}_1{u}_1^T+{\theta }_2{u}_2{u}_2^T+\cdots +{\theta }_n{u}_n{u}_n^T\right)x$$
ChebNet：

$$y=\left({\theta }_{0}I+{\theta }_{1}L+{\theta }_2{L}^2+\cdots +{\theta }_{K-1}{L}^{K-1}\right)x$$
GCN：

$$y=\theta (I-L)x$$
对于这三种不同的GNN，以最原始的谱方法为例，核参数为θ，卷积核为$u_n{u}_n^T$。而GCN则要简单很多了，$I-L$为核。

不过，在我看来，核也决定了特征聚合的方式，因此为了方便理解，核被看做是一系列操作，这个操作规定了如何从邻居结点聚合特征。

DGCNN和WL和PK的关系

DGCNN与一类基于结构传播的图核方法密切相关，特别是Weisfeiler-Lehman（WL）subtree kernel 和propagation kernel (PK)。为了对图的结构信息进行编码，WL和PK根据相邻节点的特征迭代地更新节点的特征。WL作用于硬顶点标签，而PK作用于软顶点分布。这些操作可以作为一种随机游走有效地实现，所以这些核方法在大型图上是有效的。与WL和PK相比，DGCNN在传播过程中增加了参数W，并通过端到端优化进行训练。这允许从标签信息学习有监督的特征，这使得它不同于这些图核方法两阶段的框架。

2 Deep Graph Convolutional Neural Network (DGCNN) 深度图卷积神经网络

DGCNN有三个不同步骤：
（1）图卷积层提取顶点的局部子结构特征，定义一致的顶点排序；
（2）SortPooling层按照前面定义的顺序对顶点特征进行排序，并统一输入大小；
（3）传统的卷积稠密层读取已排序的图表示并进行预测。

对于具有顶点标签或属性的图，$X\in {\mathbb{R}}^{n\times c}$可以是顶点标签的一个热编码矩阵或多维顶点属性的矩阵。对于没有顶点标签的图，$X$可以定义为规范化的节点度数的列向量。称$X$中的列为图的特征通道，因此该图有$c$个初始通道。定义：$P_i$为矩阵$P$的第i行，$\Gamma (v)$表示节点v的邻居节点。

图卷积层

图卷积公式：
$$\mathbf{Z}=f(\mathbf{D}$$