论文《Improving your graph neural networks：A High-Frequency Booster》笔记

【CLAR 2022 ICDMW】作者指出，现有的GNN模型主要关注于消息传递机制，但这些模型往往受限于低通滤波器的局限，导致在多层堆叠时性能下降。为了解决这个问题，论文提出了一种新的正则化方法，称为补全拉普拉斯正则化（Complement Laplacian Regularization，CLAR）。这种方法通过将原始图的补图（complement graph）引入到GNN中，以增强高频分量。作者认为补图包含了一个高通滤波器，并利用这一特性来提升GNN的表现力。

本文发表在2022年ICDMW会议上，第一作者学校：清华大学，引用量：7。

查询会议：

• 会伴：https://www.myhuiban.com/

• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://arxiv.org/abs/2210.08251
• 开源代码：None

 

0、核心内容

论文主要探讨了图神经网络在半监督节点分类任务中遇到的两个主要问题：过平滑（over-smoothing）和异配性（heterophily）。作者指出，现有的GNN模型主要关注于消息传递机制，但这些模型往往受限于低通滤波器的局限，导致在多层堆叠时性能下降。

为了解决这个问题，论文提出了一种新的正则化方法，称为补全拉普拉斯正则化（Complement Laplacian Regularization，CLAR）。这种方法通过将原始图的补图（complement graph）引入到GNN中，以增强高频分量。作者认为补图包含了一个高通滤波器，并利用这一特性来提升GNN的表现力。
论文的主要贡献包括：

• 1、问题阐述：展示了应用高频分量的必要性，并定义了将高频分量整合到图学习中的问题。
• 2、有效算法：开发了CLAR，这是一个模型无关的插件，用于增强GNNs的高频分量，并提供了理论支持。
• 3、实验验证：广泛的实验表明，CLAR能够提升GNNs在过平滑问题上的表现，增强异配图的表现力，并提高对拓扑噪声的鲁棒性。此外，它还优于其他适用高频信息的正则化方法。

论文还详细讨论了与现有工作的关系，包括基于架构的解决方案和基于正则化的解决方案，并提出CLAR作为一种新的正则化方法，它从频谱域出发，增强GNNs的高频分量。

此外，论文还提供了算法的伪代码，详细描述了CLAR的采样策略和构建正则化的方法，并通过实验验证了CLAR在不同数据集上的有效性。最后，论文总结了研究成果，并对未来