【论文阅读】Graph Few-shot Learning via Knowledge Transfer

摘要

针对图的半监督学习已经提出了很多的研究方法。GNN作为一个前沿，近年来引起了人们的广泛关注，它通过聚合邻居的信息来更新每个节点的表示。然而，大多数GNN都是通过在一个限定的局部区域内，利用浅层的神经网络进行信息聚合，可能无法达到令人满意的性能，特别是当标签节点的数量相当少时。为了解决这一问题，本文提出了图的小样本学习方法GFL，该方法融合了从辅助图中学习到的先验知识，以提高对目标图的分类精度。具体来说，在辅助图和目标图之间共享一个以节点嵌入和特定图原型嵌入函数为特征的可转移的度量空间，促进结构知识的转移。最后，在四个真实图谱上证明了模型的有效性。

1 引言

在一个图（如Facebook上的社交网络）中，以半监督的方式对一个节点进行分类（例如，预测用户的兴趣）一直是具有挑战性的，但也是必要的，当有标签的数据不足的时候，这种方法计算起来是十分吃力的。通过从传统的基于正则化的和基于嵌入的方法中获得灵感来进行图的半监督学习，GNN已经吸引了相当大的关注，并且取得了不错的计算效果。

GNN通过对邻居的聚合（或消息传递），递归更新每个节点的特征，通过这种方式，既能捕捉到图拓扑的模式，又能捕捉到节点的特征。不过，考虑到增加网络的层数会增加训练的难度，并且使得的节点的特征表示过光滑，大多数已经存在的GNN类的方法使用了限定域内的浅层网络。因此，GNN对于表示全局信息是不足的，并且这类的方法在已标记样本特别少的时候不会产生太好的效果。

过平滑（over-smooth）：
在图神经网络的训练过程中，随着网络层数的增加和迭代次数的增加，同一连通分量内的节点的表征会趋向于收敛到同一特征向量（即空间上的同一个位置）

受到小样本学习的启发，作为一个创新点，作者利用从辅助图中学习到的知识来改进感兴趣的目标图中的半监督节点分类。这种方法背后的直觉在于辅助图和目标图可能共享局部的拓扑结构和分类任务所依赖的节点特征。例如，谷歌现有的一个同事社交网络群可以为预测亚马逊新出现的同事社交网络群中用户的兴趣提供有价值的线索。

然而，在图上的小样本学习比一般小样本方法所关注的独立同分布（随机过程中，任何时刻的取值都为随机变量，并且这些随机变量服从同一分布，且互相独立，）的样本更加的复杂。最近，提出了两类小样本的学习方法，包括基于梯度的小样本学习和基于度量空间的小样本学习方法。第一种方法制定了迁移的知识作为参数的初始化（或元优化器），第二种方法制定了一个度量空间。但是，他们都无法直接满足图的关键前提，即迁移图的结构特征。

为此，作者提出了一种新的图的小样本学习方法GFL。建立在度量空间的基础之上，GFL的基本思想是学习一个可转移的度量空间，每一个节点的标签为度量空间中与其最近的类别。度量空间使用两个嵌入函数进行表示，其中包括了对于节点的编码和对于对于每一个类的原型信息进行编码。具体来说，第一步，GFL使用一个图自编码器来学习每一个节点的表示，这种编码方式建立在GNN之上。第二步，为了更好地捕捉到全局信息，我们将对于所有属于同一个类别的节点建立一个关系结构，通过对关系结构应用原型GNN来学习这个类的原型。最重要的是，通过嵌入函数所加密的结构信息将被从辅助图中迁移到目标图中，以此来补救对于未标记数据的缺失。除了两个节点级结构外，我们同样通过一个层级图表示门控机制设计了图级别的表示。

综上所述，我们的主要贡献是：

1. 这是第一项利用知识转移来改进图中半监督节点分类的工作
2. 提出了一种新的GFL模型来解决问题，该模型同时在图中传递节点级和图级结构
3. 通过四个节点分类任务证明了GFL的有效性

2 相关工作

2.1 图神经网络

最近，大量的图神经网络被提出来探索图的结构特征来满足大量的应用。主要有两类方法，一类是频谱方法，另外一个类是非频谱的方法。频谱方法主要学习谱域中的图形表示，其中学习的滤波器基于拉普拉斯矩阵。对于非光谱方法，基本思想是开发一个聚合器来聚合一组局部特征。这些方法在节点分类和图分类等几个基于图的任务中取得了很大的成功。因此，本文将利用GNN作为基本体系结构来学习节点和图表示。

2.2 小样本学习

通过知识迁移的小样本/零样本学习方法在大量的应用中获得了巨大的成功。主要有两类方法：

1. 基于梯度的小样本学习方法，其目的是学习一个较好的模型参数初始化，因此可以在任务中使用更少的梯度更新步骤，或者直接使用元优化器来学习优化过程。
2. 基于度量空间的方法，这种方法主要是从训练任务中生成一个度量空间和一个匹配函数。本文提出的GFL属于第二类。 这些传统的基于度量的小样本学习方法专门用于独立同分布的数据，其中不存在显式交互。

3 准备工作

3.1 图神经网络

一个图$G$可以被表示为$(A,X)$，其中 A ∈ { 0 , 1 } n × n A∈\{0,1\}^{n×n} A∈{ 0,1}n×n表示邻接矩阵， X = { x 1 , . . . , x n } ∈ R n × h X=\{x_1,...,x_n\}∈R^{n×h} X={ x1​,...,xn​}∈Rn×h表示节点特征矩阵。为了从图$G$中学习到节点的表示信息，定义了一个包含参数$\theta$的嵌入函数$f$。在本工作中，遵循“消息传递”体系结构， 嵌入函数$f_{\theta }$是以端到端的方式建立在GNN上的，其表述为：

其中，$M$表示消息传递函数，其具体的实现有很多种形式。$H^{(l+1)}$是第$l$层的隐层单元的结果，$W^{(l)}$是第$l$层的参数。节点特征$X$作为初始节点嵌入$H^{(1)}$，即$H^{(1)}=X$。叠加$L$层图神经网络层后，可以得到最终的表示$Z=f_{\theta }(A,X)=H^{(L+1)}$∈$R^{h^{\prime }}$。为了简单起见，我们将使用$Z=GNN(A,X)$表示具有$L$层的GNN。

3.2 图的小样本学习问题

类似于传统的小样本学习方法，在图的小样本学习中，我们得到了一个图序列 { G 1 , . . . , G n t } \{G_1,...,G_{n_t}\} { G1​,...,Gnt​​}，通过概率$\epsilon$来进行采样，每一个图的采样概率为$\epsilon$。对于每个图$G_i\backsim \epsilon$，我们提供一个小的已标记的支持集$S$，其中支持集中类别$i$的样本数量为$n^{s_i}$， S i = { ( x i , j s i , y i , j s i ) } j = 1 n s i S_i=\{(x_{i,j}^{s_i},y_{i,j}^{s_i})\}_{j=1}^{n^{s_i}} Si​={ (xi,jsi​​,yi,jsi​​)}j=1nsi​​，并且提供一个查询集 Q i = { ( x i , j q i , y i , j q i ) } j = 1 n q i Q_i=\{(x_{i,j}^{q_i},y_{i,j}^{q_i})\}_{j=1}^{n^{q_i}} Qi​={ (x