【GNN】ASAP：自适应结构感知池化方法

今天学习了图神经网络论文《ASAP: Adaptive Structure Aware Pooling for Learning Hierarchical Graph Representations》提出的自适应结构感知池化方法(Adaptive Structure Aware Pooling, ASAP)，发表于AAAI，2020.

前言

这篇论文回顾近年图神经网络中的池化方法并提出了(1)一种能够分层捕获局部子图信息的稀疏池化算子，该池化方法能够根据池化图的边连接更好的学习全局特征；(2)一种新的更适合与像池化这种全局任务的自注意力机制；(3)一种新的图卷积方法LEConv，用来自适应的学习图子结构中的局部极值(local extremas)。

该论文着重回顾了一些典型的non-spectral的池化方法并将此类方法划分为了全局池化方法(Global pooling)和层次化池化方法(Hierarchical pooling)。

全局池化方法可以一步完成池化，该论文列举了3种基于注意力机制的全局池化方法：

1. 通过迭代的基于内容的注意力方法找到图中每个节点的重要性的$Set2Set$。(https://arxiv.org/abs/1511.06391)
2. 使用全局注意力机制聚合图中节点的Global-Attention方法。(https://arxiv.org/abs/1511.05493)
3. 根据节点特征排序再将几个节点拼接来表述图结构的SortPool。(https://chyson.net/papers/AAAI_2018_DGCNN.pdf)

相比之下，层次化池化方法侧重于捕捉图的拓扑结构信息。

1. DiffPool通过聚合节点形成了若干个簇，簇个数为固定的(超参数)。其中聚类所用的矩阵为通过一层GNN计算的软分配矩阵，该矩阵是一个稠密矩阵，导致其对大图计算效率较低。(http://papers.nips.cc/paper/7729-hierarchical-graph-representation-learning-with-differe)
2. TopK基于一个可学习的投影向量对节点进行评分，并保留部分高分节点。它避免了节点聚类和软分配矩阵的计算，以保持图计算的稀疏性。(https://arxiv.org/abs/1905.05178)
3. SAGPool通过自注意力机制改进了TopK，使用GNN为节点打分的同时能够考虑图结构。（https://arxiv.org/abs/1904.08082）

该论文提到：由于TopK和SAGPool不聚合节点，也不计算软边权值，无法有效保存节点和边信息。该论文提出的ASAP具有层次化池化方法的所有优良特性的同时不影响图操作的稀疏性。

方法

Cluster Formation using Master2Token

稀疏的聚类分配矩阵通过local clustering方法构建，具体可参考 http://yalma.fime.uanl.mx/~roger/ftp/MM17_removed/cites/evidence/2007%20CSR%20Schaeffer.pdf。

每一个簇表示为$c_v(v_i)$。获得簇的第二步为学习该簇的整体表征。该论文首先回顾了两种典型的自注意力方法：Token2Token和Source2Token。

Token2Token：
$${\alpha }_{i,j}=softmax({\overrightarrow{v}}^T\sigma (W{h}_i||W{h}_j))$$
其中$h_i$和