论文《Finding Global Homophily in Graph Neural Networks When Meeting Heterophily》笔记

【GloGNN】现有方法通过扩展节点的邻域来包含具有同配性的多跳邻居，但为不同节点设置个性化的邻域大小是一个挑战，且现有方法忽略了邻域之外的同配性节点。为了解决这些问题，作者提出了GloGNN和GloGNN++模型。这些模型通过学习系数矩阵来捕获节点之间的相关性，并基于此进行邻域聚合。系数矩阵允许有符号值，并且可以从一个具有封闭形式解的优化问题中导出。作者从理论上证明了系数矩阵和生成的节点嵌入矩阵具有期望的分组效应，即如果两个节点具有相似的特征和局部结构，无论它们在图中距离多远，它们的嵌入向量都会彼此接近。

本文发表在2022年ICML会议上，第一作者学校：华东师范大学，引用量：137。

ICML会议简介：全称International Conference on Machine Learning（机器学习国际会议），机器学习顶会，CCF A。

查询会议：

• 会伴：https://www.myhuiban.com/

• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://arxiv.org/abs/2205.07308
• 开源代码：https://github.com/RecklessRonan/GloGNN

 

0、核心内容

我们研究了具有异配性的图上的图神经网络。现有的一些方法放大带有多跳邻域的节点的邻域，以包含更多的同配性节点。然而，为不同的节点设置个性化的邻域大小是一个重大的挑战。此外，对于被排除在邻域外的其他同配性节点，它们在信息聚合时被忽略。

为了解决这些问题，我们提出了两种模型GloGNN和GloGNN++，它们**通过聚合图中全局节点的信息来生成节点的嵌入。**在每一层中，两个模型都学习一个系数矩阵来捕获节点之间的相关性，基于邻域聚合。系数矩阵允许有符号值，并由一个具有封闭形式解的优化问题推导出。我们进一步加速了邻域聚合，并推导出了一个线性的时间复杂度。通过证明系数矩阵和生成的节点嵌入矩阵都具有期望的分组效果，从理论上解释了模型的有效性。

我们进行了广泛的实验，在广泛的15个基准数据集上将我们的模型与其他11个竞争对手进行比较。实验结果表明，该方法具有较好的工作性能和工作效率。

（引自摘要）

如图1所示，一个用户只有一个具有同配性的本地邻居（local neighbor），而有三个同配性的节点存在多跳距离。

在第l层卷积层中，受线性子空间模型（linear subspace model）的启发，我们用图中所有节点的每个节点线性描述每个节点，并推导出这样的系数矩阵$Z^{(l)}$，其中$Z_{ij}^{(l)}$描述了节点$x_j$对节点$x_i$的重要性。我们将这个表征问题描述为一个对于$Z^{(l)}$具有封闭解的优化问题。

然后，以$Z^{(l)}$作为权值矩阵，通过聚合全局节点信息，生成节点嵌入矩阵$H^{(l)}$。请注意，直接计算$Z^{(l)}$和基于$Z^{(l)}$的邻域聚合会导致三次和二次的时间复杂度。因此，我们避免了直接计算$Z^{(l)}$和邻域聚合中的重排序矩阵乘法，有效地减少了时间复杂度。

最后，我们从数学上表明$Z^{(}$