Graph Few-shot learning via Knowledge Transfer

Preliminaries

图神经网络

一个图$\mathcal{G}$由其邻接矩阵和节点特征$(\mathbf{A},\mathbf{X})$表示，其中 A ∈ { 0 , 1 } n × n \mathbf{A} \in\{0,1\}^{n \times n} A∈{0,1}n×n, X = { x 1 , … , x n } ∈ R n × h \mathbf{X} = \left\{\mathrm{x}_{1}, \ldots, \mathrm{x}_{n}\right\} \in \mathbb{R}^{n \times h} X={x1​,…,xn​}∈Rn×h。图$\mathcal{G}$的节点表示通过堆叠的GNN学习：$\mathrm{Z}=\mathrm{GNN}(\mathbf{A},\mathbf{X})$。

基于图的Few-shot Learning问题

同few-shot leanring方法常规设置一样，本文在概率分布$\mathcal{E}$中采样得到图序列 { G 1 , … , G N t } \left\{\mathcal{G}_{1}, \ldots, \mathcal{G}_{N_{t}}\right\} {G1​,…,GNt​​}。对其中的每一张图，划分为support nodes set和query nodes set，分别表示为${\mathcal{S}}_i={\left\{\left({\mathbf{x}}_{i,j}^{s_i},y_{i,j}^{s_i}\right)\right\}}_{j=1}^{n^{s_i}}$和${\mathcal{Q}}_i={\left\{\left({\mathbf{x}}_{i,j}^{q_i},y_{i,j}^{q_i}\right)\right\}}_{j=1}^{n^{q_i}}$。其中 y i , j ∈ { 1 , … K } y_{i, j} \in\{1, \ldots K\} yi,j​∈{1,…K}为节点对应的标签。query nodes set中节点标签的预测依赖于它的embedding与support nodes set中各类节点的prototype $c_i^k$的度量关系d。embedding通过graph autoencoder学习得到。对于每张图的query nodes set ，其通过${\mathcal{L}}_i={\sum }_k{\mathcal{L}}_i^k$评估，其中：
$${\mathcal{L}}_i^k=-\sum _{\left({\mathbf{x}}_{i,j}^{q_i},y_{i,j}^{q_i}\right)\in {\mathcal{Q}}_i^k}\log \frac{\exp \left(-d\left(f_{\theta }\left(\mathbf{A},{\mathbf{x}}_{i,j}^{q_i}\right),{\mathbf{c}}_i^k\right)\right)}{{\sum }_{k^{\prime }}\exp \left(-d\left(f_{\theta }\left(\mathbf{A},{\mathbf{x}}_{i,j}^{q_i}\right),{\mathbf{c}}_i^{k^{\prime }}\right)\right)}$$
直观来说，就是看看query nodes set和support nodes set中的哪类节点更相似，一次来作为目标函数优化embedding函数$f_{\theta }$。上角标$k$表示类别。

graph few-shot learning的目的就是从这一系列图中学习一个性能很好的embedding function $f_{\theta }$，使其能够用于只有少量support set的新图。这里的不同的图，就对应于meta-learning中的不同任务，表示任务层面的泛化。

Methodology

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cwW7stdh-1600737378085)(…/images/GFLKT1.png)]

首先我们看看方法的总框架图。

数据首先被送入©，即graph autoencoder，这个模块被称作Auxiliary Graph Reconstruction是因为作者在这里加了一个重构损失，我们后面说。© 的输出分别进入 (a) Graph Structured Prototype； (b) Hierarchical Graph Representation Gate。(a) 用来学习图中support nodes set的prototype $c_i^k$。(b) 用来学习graph-specific的图层次化表达。

接下来我们分别看看这三个模块。

(a) Graph Structured Prototype

在大多数情况下，一个节点在图中有两个重要作用。一个是与类别可能不同的邻节点之间的关系，另一个是与远距离同类节点之间的关系。图$\mathcal{G}$的embedding，也就是$\mathrm{Z}=\mathrm{GNN}(\mathbf{A},\mathbf{X})$，只考虑了第一个作用。又因为需要给图$\mathcal{G}$的support nodes set学习一个global信息的prototype $c_i^k$，也就是对应第二个作用，所以本部分提出了解决方法：Prototype GNN(PGNN)。

既然是基于GNN的解决方案，就要构建邻接矩阵。论文中对图$\mathcal{G}$的support nodes set中每一类节点分别构建邻接矩阵${\mathcal{R}}_i^k$。该类节点的特征为经过graph autoencoder的$f_{\theta }\left({\mathcal{S}}_i^k\right)$。邻接矩阵的构建依赖于相似性度量方法，为了提高邻接矩阵的鲁棒性并减少离群点的干扰，对相似性低于某个阈值的两个点在邻接矩阵中赋予固定的值。

所以，graph structured prototype构建方式为：
$${\mathbf{c}}_i^k={\mathrm{Pool}}_{j=1}^{n^{s_i^k}}\left({\mathrm{PGNN}}_{\varphi }\left({\mathcal{R}}_i^k,f_{\theta }\left({\mathcal{S}}_i^k\right)\right)[j]\right)$$
其中$j$表示节点索引，$n^{s_i^k}$表示support nodes set中$k$类节点的数量。 $Pool$表示最大或平均池化。值得注意的是，这里的$PGNN$的参数是在不同类别的support nodes set间共享的。

(b) Hierarchical Graph Representation Gate

(a)中的$PGNN$的构建只有一个全局共享的参数$\varphi$。但是不同的图有他们独有的拓扑结构，所以这启发作者没每个图定制全局共享信息。这个graph-specific定制的信息再进一步通过门控方法与PGNN的参数融合。

这部分的方法图如上，整体上借鉴了DiffPool的方法分两步进行：1. Node Assignment；2. Representation Fusion。

第一步Node Assignment计算类似DiffPool中的Soft Assignment Matrix ($S$)。不同的是，DiffPool中的$S$用于池化，所以池化前后的节点数量是变化(减少)的。但本文中该方法不是用来池化，而是阐述了图的不同层次的表征的概念。此时，Node Assignment后节点数量不变，变化的是节点的特征。本文中Node Assignment用${\mathbf{P}}_i^{r\to r+1}\in {\mathbb{R}}^{K^r\times K^{r+1}}$来表示，$r$表示图所在的level，$K$表示节点数量。把第$k^r$个节点映射到$r+1level$的计算方式为经过$softmax$的$GNN(AGNN)$层。具体如下：
$$p_i^{k^r\to k^{r+1}}=\frac{\exp \left(\mathrm{AGNN}\left({\mathbf{A}}_i^r,{\mathbf{X}}_i^r\right)\left[k^r,k^{r+1}\right]\right)}{{\sum }_{k^{r+1}=1}^{K^{r+1}}\exp \left(\mathrm{AGNN}\left({\mathbf{A}}_i^r,{\mathbf{X}}_i^r\right)\left[k^r,{\bar{k}}^{r+1}\right]\right)}$$
第二步Representation Fusion仍类似与$DiffPool$，即更新$(\mathbf{A},\mathbf{X})$使图上升一个$level$（$DiffPool$中为更新池化后的图结构）：
$${\mathbf{A}}_i^{r+1}={\left({\mathbf{P}}_i^{r\to r+1}\right)}^T{\mathbf{A}}_i^r{\mathbf{P}}_i^{r\to r+1}$$

$${\mathbf{X}}_i^{r+1}={\left({\mathbf{P}}_i^{r\to r+1}\right)}^T\mathrm{FGNN}\left({\mathbf{A}}_i^r,{\mathbf{X}}_i^r\right)$$

其中FGNN也是一个GNN层。进一步，每个$level$的图特征$h_i^r$由${\mathbf{X}}_i^r$经过池化得到。

经过不断的提升图的$level$，我们得到了一个不同层次的图特征表达集合$\left\{{\mathbf{h}}_i^1,\dots ,{\mathbf{h}}_i^R\right\}$。为了进一步聚合集合，作者提出了两种聚合方式：mean pooling aggregator和attention aggregator(上图中所示)。这两种方式分别如下计算：
$${\mathbf{h}}_i={\mathrm{AGG}}_{\mathrm{mean}}\left(\left\{{\mathbf{h}}_i^1,\dots ,{\mathbf{h}}_i^R\right\}\right)=\frac{1}{R}\sum _{r=1}^R{\mathbf{h}}_i^r$$

$${\mathbf{h}}_i={\mathrm{AGG}}_{\mathrm{att}}\left(\left\{{\mathbf{h}}_i^1,\dots ,{\mathbf{h}}_i^R\right\}\right)=\sum _{r=1}^R{\beta }_i^r{\mathbf{h}}_i^r=\sum _{r=1}^R\frac{{\mathbf{q}}_i^T{\mathbf{h}}_i^r}{{\sum }_{r^{\prime }=1}^R{\mathbf{q}}_i^T{\mathbf{h}}_i^{r^{\prime }}}{\mathbf{h}}_i^r$$

其中$q$为attention aggregator引入的参数。再得到最终的$h_i$后，作者认为其包含了graph-specific的信息。

再进一步，需要将该graph-specific的$h_i$融合到$PGNN$中的参数$\varphi$中。在理论层面，作者通过门控+点乘的方式去激活$\varphi$的不同维度，在实践层面，更像是为了使$h_i$和$\varphi$维度保持一致。具体体现在：
$${\varphi }_i={\mathbf{g}}_i\circ \varphi =\mathcal{T}\left({\mathbf{h}}_i\right)\circ \varphi$$

$${\mathbf{g}}_i=\mathcal{T}\left({\mathbf{h}}_i\right)=\sigma \left({\mathbf{W}}_g{\mathbf{h}}_i+{\mathbf{b}}_g\right),$$

Auxiliary Graph Reconstruction

这一部分为graph autoencoder引入了重构损失(reconstruction loss):
$${\mathcal{L}}_r\left({\mathbf{A}}_i,{\mathbf{X}}_i\right)={\Vert {\mathbf{A}}_i-{\mathrm{GNN}}_{dec}\left({\mathbf{Z}}_i\right){\mathrm{GNN}}_{\mathrm{dec}}^T\left({\mathbf{Z}}_i\right)\Vert }_F^2$$
其中${\mathbf{Z}}_i={\mathrm{GNN}}_{\text{enc}}\left({\mathbf{A}}_i,{\mathbf{H}}_i\right)$，$\Vert \cdot {\Vert }_F$为Frobenius norm。

引入该损失函数的意义在于，进一步提升训练的稳定性和节点表征的质量。

Workflow

通过算法流程来回顾上述方法，将他们串联成一个整体。

Experiments

实验目的有三：

1. 证明所提方法***(GFL)***的有效性;
2. 证明所提出的Graph Structured Prototype和Hierarchical Graph Representation Gate的有效性；
3. 证明能够为每个类学习更好的特征表达。

数据集

使用了四个不同类型的图数据集：Collaboration, Reddit, Citation 和 Pubmed。数据集信息如下：

对比实验

实验对比了三个类型的方法：(1) 基于图的半监督方法 (2) 图表示学习方法 (3) 迁移/小样本学习方法。从下面的实验结果中可以证明该方法的有效性。

消融实验

作者分别拆分了论文所涉及的三个模块，进行了详细的拆解和消融实验，从表中可以看得很清晰，也进一步验证了结果。

敏感性分析

这部分实验讨论了四个问题：(1) Support Set大小; (2) 构建图邻接矩阵时的阈值; (3) 构建邻接矩阵时采用的不同相似度度量方法； (4) 第一个损失函数中的距离度量方法。

embedding效果对比

对比本文方法与Protonet的方法可见，本文方法对两类样本点划分的更加明确。

Conclusion

这篇论文基于三个创新的模块构建了半监督节点分类模型。在基于度量的few-shot learning基础上，融合了local和global两个level的信息。本文的亮点在于它对few-shot learning 和 GNN 方法结合过程中的每一个模块都进行了思考与创新，且消融实验做的非常充分。

于三个创新的模块构建了半监督节点分类模型。在基于度量的few-shot learning基础上，融合了local和global两个level的信息。本文的亮点在于它对few-shot learning 和 GNN 方法结合过程中的每一个模块都进行了思考与创新，且消融实验做的非常充分。