论文阅读和分析：DeeperGCN All You Need to Train Deeper GCNs

最新推荐文章于 2023-02-15 22:00:08 发布

原创

最新推荐文章于 2023-02-15 22:00:08 发布 · 735 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读 #深度学习 #人工智能

DeepGCN通过定义可微广义聚合函数和MsgNorm规范化层来应对GCN在深度学习中的梯度消失、过度平滑和过度拟合问题。它支持SoftMax和PowerMean聚合，并在PyTorchGeometric库中有实现，用于大规模图的表示学习。

基本内容：

图卷积网络（GCNs）由于其在图上的表示学习能力而引起了广泛的关注。与卷积神经网络（CNN）不同，卷积神经网络能够堆叠非常深的层，GCN在深入时存在梯度消失、过度平滑和过度拟合问题。这些挑战限制了GCN在大规模图上的表示能力。如何能够成功且可靠地训练非常深的GCN的DeepGCN。

1、定义可微广义聚合函数，以统一不同的消息聚合操作（例如平均值、最大值）。

2、提出了一个新的规范化层，即MsgNorm和GCN残差连接的预激活版本。

算法原理：

The GENeralized Graph Convolution (GENConv) from the “DeeperGCN: All You Need to Train Deeper GCNs” paper. Supports SoftMax & PowerMean aggregation. The message construction is:
$\mathbf{x}_i^{\prime} = \mathrm{MLP} \left( \mathbf{x}_i + \mathrm{AGG} \left( \left\{ \mathrm{ReLU} \left( \mathbf{x}_j + \mathbf{e_{ji}} \right) +\epsilon ,j \in \mathcal{N}(i) \right\} \right) \right)$