SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS-优快云博客

Abstract

本文提出了一种基于卷积神经网络的可扩展半监督学习方法，该方法可以直接对图进行学习。我们通过图卷积的局部一阶近似来进行卷积结构的选择。我们的模型在图边缘数量上线性扩展，并且学习了编码局部图结构和节点特征的隐层表示。在引用的网络和知识图数据集上的大量实验表明，我们的方法比相关方法有显著的优势。

1、Introduction

我们考虑在图(如引用网络)中对节点(如文档)进行分类的问题，其中标签仅对一小部分节点可用。这个问题可以归为基于图的半监督学习，其中标签信息通过某种形式的显式基于图的正则化对图进行平滑（Zhu et al., 2003; Zhou et al., 2004; Belkin et al.,2006; Weston et al., 2012），例如，通过在损失函数中使用一个图拉普拉斯正则化项：

这里，L0表示图标注部分的监督损失函数，f(.)是类似神经网络中的可微函数，λ是权重系数，X是一个有节点特征向量Xi组成的矩阵。△ = D - A表示无向图的非正则化图拉普拉斯行列式，包括N个节点，边缘，一个邻接矩阵（二进制或者权重）与次数矩阵。式(1)的公式依赖于图中连通节点可能共享同一标签的假设。然而，这种假设可能会限制建模能力，因为图边缘不一定要对节点相似性进行编码，但可能包含其他信息。

本文中，我们直接用神经网络模型f(X,A)对图结构进行编码，在有监督的目标L0上训练所有带标签的节点，从而避免损失函数中显式的基于图的正则化。在图的邻接矩阵上调节f(·)将允许模型从有监督损失L0中分配梯度信息，并使其能够学习有标签和无标签节点的表示。

我们的贡献有两个方面。首先，我们针对直接作用于图上的神经网络模型，介绍了一种简单且表现良好的分层传播规则，并说明了该规则是如何由谱图卷积的一阶近似驱动（Hammond et al., 2011）。其次，我们演示了这种形式的基于图的神经网络模型如何被用于快速和可伸缩的半监督的节点分类。对大量数据集的实验表明，我们的模型在分类精度和效率(以时间衡量)方面都优于目前最先进的半监督学习方法。

2、Fast Approximate Convolutions On Graphs

在本节中，我们提供了一个特定的基于图的神经网络模型f(X, A)的理论说明，我们将在本文的其余部分使用。我们考虑一个具有以下逐层传播规则的多层图卷积网络(GCN)：

这里是添加自连接的无向图G的邻接矩阵。IN是单位矩阵，与一个特定于层的可训练的权重矩阵。表示激活函数，例如ReLU(.)=max(0,.)。是lth层的激活矩阵；H(0)=X。在下面，我们证明了这种传播规则的形式可以通过图上局部谱滤波器的一阶近似来激发（Hammond et al., 2011; Defferrard et al., 2016）。