Graph Isomorphism Network

Paper : GRAPH ISOMORPHISM NETWORK
Code :

摘要

作者使用Weisfeiler-Lehman(WL) test 和同构图判定问题来评估GNN网络的表达能力，并提出了GIN网络结构，理论分析GIN的表达能力优于GraphSAGE GCN等结构，在多任务上准确率达到了SOTA。WL测试与GNN具有相似的信息传递方式，在WL test算法运行的过程中，算法构造了从 multiset 到 representation 的单射函数，因此WL test在图同构问题上具有强表达能力。作者尝试使用GNN构造与WL test 在图同构问题上相同强度的表达能力的网络结构。

本文的贡献主要有以下四点

1. 证明GNN在图同构问题上至多与WL test 表达能力相同
2. 提出了GNN与WL test 表达能力相同时，需要满足的聚合表达式和图读出函数的条件
3. 给出了GCN GraphSAGE 等网络区分不了的网络结构特例
4. 提出了GIN网络结构

准备

通用GNN网络的数学表示可以使用如下形式

a v ( k ) = Aggregate ( k ) ( { h u ( k − 1 ) ∣ u ∈ N ( v ) } ) h v ( k ) = Combine ( k ) ( h v ( k − 1 ) , a v ( k ) ) \\a_{v}^{(k)} = \text{Aggregate}^{(k)}(\{h_{u}^{(k-1)}|u\in N(v)\}) \\h_{v}^{(k)} = \text{Combine}^{(k)}(h_v^{(k-1)},a_v^{(k)}) av(k)​=Aggregate(k)({ hu(k−1)​∣u∈N(v)})hv(k)​=Combine(k)(hv(k−1)​,av(k)​)

其中 $h_v^{(k)}$ 是第k个迭代层中节点v的特征向量。我们初始化$h_v^{(0)}=X_v$

对于GraphSAGE网络，上式表示为

a v ( k ) = max ⁡ ( { ReLU ( W ( k ) h u ( k − 1 ) ) ∣ u ∈ N ( v ) } ) h v ( k ) = W ′ ( k ) ( h v ( k − 1 ) ∣ ∣ a v ( k ) ) \\a_{v}^{(k)} = \max(\{\text{ReLU}(W^{(k)}h_{u}^{(k-1)})|u\in N(v)\}) \\h_{v}^{(k)} = W'^{(k)}(h_{v}^{(k-1)}||a_v^{(k)}) av(k)​=max({ ReLU(W(k)hu(k