Towards Sparse Hierarchical Graph Classifiers

论文：Towards Sparse Hierarchical Graph Classifiers 稀疏层次图分类器的研究

来源： NIPS 2018 Workshop

论文链接：
Arxiv: https://arxiv.org/abs/1811.01287

1 动机

图表示学习的最新进展，主要是利用图卷积网络，对许多基于图的基准任务带来了实质性的改进。虽然新的学习节点embeddign的方法非常适合于节点分类和链接预测，但它们的在图分类（预测整个图的标签）的应用基本上还处于初级阶段，通常使用简单的全局池化步骤聚合特征或使用手动设计，模式固定的层次化粗化图结构的方法。改进这一点的一个重要步骤是在图形神经网络中，以自适应的、与数据相关的方式，对图进行粗化处理，这类似于CNNs中的图像下采样。但是，以前的SOTA的方法在训练时的池化需要O(N^2)的内存需求，因此不能扩展到大型图。文中结合了图神经网络设计的一些最新进展，以证明在不牺牲稀疏性的情况下，具有竞争力的层次图分类结果是可能的。

2 相关工作

DiffPool是第一个端到端的分层池化模型，DiffPool计算从原始图的节点到池化图中的节点的之间的软的聚类分配。DiffPool的主要局限性是对软聚类分配的计算，在训练阶段需要存储聚类分配矩阵，这个软分配矩阵是稠密的，需要$O(k{V}^2)$（$k$表示聚类数，$V$表示节点数）的存储空间，因此不能扩展到大图上。

文中根据最新的图神经网络模型来证明不需要牺牲稀疏性就可获得具有池化功能的端到端图卷积架构的良好性能。实验部分展示了与DiffPool有可媲美的性能，同时仅需要$O(V+E)$（$E$为边数）的存储空间。

3 模型

定义：

• 节点特征：$\mathbf{X}\in {\mathbb{R}}^{N\times F}$，如果节点没有特征可用，则可以使用节点的度作为人造特征，比如可以用one-hot编码。
• 邻接矩阵：$\mathbf{A}\in {\mathbb{R}}^{N\times N}$，文中主要处理的是无向图和无权图，因此邻接矩阵是二进制表示的对称矩阵。

和CNN对图像进行分类类似，文中的模型包括一个卷积层和池化层，此外，还需要一个readout层，它将学习到的表示转换成固定大小的向量表示，用于最终预测（例如简单的MLP）。

卷积层

由于需要在测试时对未知的图结构进行分类，因此，卷积层的设计应该是inductive的，即它不依赖于固定的和已知的图结构。最简单的此类层是mean-pooling传播规则，如GCN何GAT中使用的，文中使用的卷积层如下：

$$\mathrm{M}\mathrm{P}(\mathrm{X},\mathrm{A})=\sigma \left({\hat{\mathrm{D}}}^{-1}\hat{\mathrm{A}}\mathrm{X}\Theta +\mathrm{X}{\Theta }^{\prime }\right)$$
后一步是跳跃连接，进一步促进了有关中心节点信息的保存。

池化层

DiffPool中的，池化率为 k ∈ { 0 , 1 } k \in{\{0,1\}} k∈{ 0,1}，即池化前的节点数量为$N$，则池化后的节点数为$kN$。和DiffPool不同的是，文中采用Graph U-Nets中的池化架构，这种方式从原图中丢掉 N − k N N-kN