论文学习笔记：Simplifying Graph Convolutional Networks

原文连接 https://arxiv.org/pdf/1902.07153.pdf

本文作者提出SGC，通过移除非线性变换和压缩卷积层之间的权重矩阵来降低 GCN 的复杂性。并且作者在理论上分析了得到的线性模型，认为它实际上是一个固定的低通滤镜，后接线性分类器。实验表明，这种简化，并且不会对下游分类器的准确度带来负面影响。因此，模型可以推广到更大的数据集，并且比FastGCN产生高达两个数量级的加速。

GCN中的网络层有个重要的功能，在每一层中，隐含状态的表达是由一步邻居的特征平均得到的。也就是说，K层之后，一个节点从k步所有邻居节点获得特征信息。
$$S={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$$

$${\bar{H}}^k\leftarrow S{H}^{(k-1)}$$

$$H^{(k-1)}\leftarrow \mathbf{R}\mathbf{e}\mathbf{L}\mathbf{U}({\bar{H}}^k{\Theta }^{(k)})$$

$${\hat{Y}}_{GCH}=\mathbf{s}\mathbf{o}\mathbf{f}\mathbf{t}\mathbf{m}\mathbf{a}\mathbf{x}(S{H}^{(k-1)}{\Theta }^{(k)})$$

其中，${\mathbf{H}}^{(k)}$ 表示节点第k层的隐含状态

作者假设，GCN的主要效果提升，不是因为卷积层之间的非线性变换，而是因为局部邻居特征平均。基于这种假设，作者移除卷积层之间的非线性激活函数，只保留最终的softmax。得到的模型是线性的，但仍然具有增加的K层GCN的感受野。
$${\hat{Y}}_{GCH}=\mathbf{s}\mathbf{o}\mathbf{f}\mathbf{t}\mathbf{m}\mathbf{a}\mathbf{x}(S...SSX{\Theta }^{(1)}{\Theta }^{(2)}...{\Theta }^{(k)})$$
压缩标准化邻接矩阵的连乘，简化上式。参数化每个卷积层的权重为单个矩阵，$\Theta ={\Theta }^{(1)}{\Theta }^{(2)}...{\Theta }^{(k)}$ ，得到简化的GCN。