【GCN】论文笔记：Simplifying Graph Convolutional Networks

最新推荐文章于 2022-09-14 17:19:49 发布

予^

最新推荐文章于 2022-09-14 17:19:49 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

原文链接：https://arxiv.org/abs/1902.07153

本文介绍简单图卷积（SGC），它是简化版的GCN。通过去除GCN连续层的非线性变换和折叠权重矩阵，减少计算复杂度。SGC对应固定低通滤波器和线性分类器，实验表明简化不影响准确性，速度比FastGCN快两个数量级，启示GCN表达力或源于图传播。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、前言

1、SGC研究背景

GCNs的灵感主要来自于深度学习方法，因此可能会继承不必要的复杂性和冗余计算。在本文中，我们通过去除连续层的非线性变换和折叠权重矩阵（反复去除GCN层之间的非线性变换并将结果函数分解为单一的线性变换）来减少这一超额复杂性。我们从理论上分析得到的线性模型，并表明它对应于一个固定低通滤波器，然后是一个线性分类器。值得注意的是，我们的实验评估表明，在许多下游应用中，这些简化不会对准确性产生负面影响。此外，产生的模型能够拓展到更大的数据集，且它的速度是惊人的，比FastGCN快两个数量级。我们将这个简化的线性模型称为简单图卷积(SGC)。

2、最终输入输出

输入：带有一些标签节点的图
输出：所有图节点的标签预测

（其实就是根据输入的已知的标签去预测图中未知的其余标签并尽量正确地分类）

3、符号定义

图G = ( V , A )，A ∈ $R^{n × n}$ 是对称的邻接矩阵，V是图的节点集
D = diag ⁡ ( d $_1$ , … , d $_n$ ) )代表度矩阵，d $_i$ = $_j$ $a _{i j}$ ，
$y_i$ ∈ { 0 , 1 } $^C$ 表示C维的节点one-hot标签

二、GCN

跟CNN和MLP一样，GCN 也是通过多层网络学习一个节点的特征向量 $X_i$ ，然后作为线性分类器的输入。对于一个k 层的图卷积网络，我们把输入表示成 $H^{k-1}$ ，输出表示成 $H^{k}$ ，那么初始输入特征表示为： $H^0$ $=$ $X$ 。一个k层的GCN相当于对图中每个节点的特征向量 $x_i$ 应用一个k层的MLP，只不过每个节点的隐藏表示是在每一层的开始与它的邻居取平均值。在每一个图卷积层，节点表示都是使用三个策略来更新：特征传播、线性转换和逐点非线性激活。

1、特征传播

特征传播是区分GCN和MLP的关键。在每一层的开始，将每个节点 $v_i$ 的特征 $h_i$ 用其局部邻域的特征向量进行平均:

在这里插入图片描述
更简洁地说，我们可以将整个图的更新表示为一个简单的矩阵操作。设S表示加入自环的“归一化”邻接矩阵:

在这里插入图片描述
其中， $\tilde{A}$ = $A$ + $I$ ， $\tilde{D}$ 是 $\tilde{A}$ 的度矩阵
则所有节点的同时更新成为一个简单的稀疏矩阵乘法：

直观地说，这一步沿着图的边缘局部地平滑隐藏的表示，并最终鼓励在局部连接的节点之间进行类似的预测。
~~可以看出这一步的作用即为局部平滑~~

2、特征变换和非线性过渡

局部平滑后，GCN层与标准MLP相同。每一层都与一个学习过的权重矩阵 $\Theta^{(k)}$ 相关联，并对平滑过的隐藏特征表示进行线性变换。最后，在输出特征表示 $H_k$ 之前，逐点应用ReLU等非线性激活函数。综上所述，第k层的表示更新规则为:
在这里插入图片描述
第k层的逐点非线性变换之后是第(k + 1)层的特征传播（由此得出每一层分别进行特征传播和非线性变换再进入到下一层）。

3、分类器

对于节点分类，类似于标准MLP, GCN的最后一层使用softmax分类器预测标签。
在这里插入图片描述

三、SGC

在传统的MLP中，更深的层增加了表达能力，因为它允许创建功能层次结构，例如，第二层的功能构建在第一层的功能之上。在GCNs中，各层还有第二个重要的功能:在每一层中，隐藏的表示在一跳之外的相邻层中取平均值。这意味着在k层之后，一个节点从图中k跳之外的所有节点获得特征信息。这种效果类似于卷积神经网络，深度增加内部特征的感受野。虽然卷积网络可以从深度的增加中获得很大的好处，但通常MLP在3或4层以上获得的好处很少。