【论文阅读】DeepGCNs: Can GCNs Go as Deep as CNNs?
图卷积神经网络(Graph Convolutional Neural networks, GCNs)用于表征非欧几里得空间(non-Euclidean)的数据。但由于梯度消失问题,GCNs的层数通常不深,感知域范围有限,本文提出了一种训练更深GCNs的方法。
1. Introduction
GCN现阶段被广泛应用于social networks、drug discovery、recommendation engines、点云分割、NLP等领域的数据。由于存在梯度消失问题,GCNs的深度通常不超过4层。
对于CNN,ResNet、DenseNet等是能够有效加深网络深度、减弱梯度消失问题的网络结构。本文借鉴CNN中的residual connection、dense connection、dilated convolution(增大感知域) 等结构加深GCN的网络层数,将其增加到了56层。
2. Methodology
2.1 图上的表征学习
图结构被表征为 G = ( V , E ) \mathcal{G=(V,E)} G=(V,E),其中, V \mathcal{V} V 表示无序顶点集合 v ∈ V v\in \mathcal {V} v∈V, E \mathcal{E} E 表示节点的集合 e i , j ∈ E e_{i,j}\in \mathcal E ei,j∈E,其中 e i , j e_{i,j} ei,j表示顶点 v i v_i vi、 v j v_j vj之间的边
- Graph Convolutional Networks
令图的每个节点 v v v 对应一个特征向量 h v ∈ R D h_v\in \mathbb R^D hv∈RD,因此,整个图 G \mathcal G G 可以表达为: h G = [ h v 1 , h v 2 , … , h v N ] T ∈ R N × D h_{\mathcal G}=[h_{v_1}, h_{v_2}, \dots,h_{v_N}]^T\in \mathbb R^{N\times D} hG=[hv1,h