论文《Cross-Space Adaptive Filter：Integrating Graph Topology and Node Attributes for Alleviating the Ov

【CSF】本文是关于GCN的过度平滑问题。过度平滑问题是指在深层GCN中，节点表示变得难以区分，导致性能下降。为了解决这个问题，作者们提出了一种名为Cross-Space Filter（CSF）的新型自适应滤波器。CSF结合了图拓扑和节点属性空间的信息，以产生自适应频率信息。

第一作者是四川大学的，本文发表在2024年WWW会议上，引用量0。

WWW会议简介：全称International World Wide Web Conference（万维网国际会议），是由国际万维网会议委员会发起主办的顶级国际学术会议，CCF A。

查询会议：

• 会伴：https://www.myhuiban.com/
• CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

• paper原文：https://arxiv.org/abs/2401.14876
• 开源代码：https://github.com/huangzichun/Cross-Space-Adaptive-Filter

 

0、核心内容

普通的图卷积网络（GCN）使用低通滤波器从图拓扑中提取低频信号，这可能会导致GCN深入时的过平滑问题。为此，人们提出了各种方法，通过合并从图拓扑中提取的额外滤波器（比如高通滤波器）来创建自适应滤波器。

然而，这些方法严重依赖拓扑信息，忽略了节点属性空间，严重牺牲了深度GCN的表达能力，特别是处理异配图（disassortative graphs）时。

在本文中，我们提出了一种跨空间自适应滤波器（cross-space adaptive filter），称为CSF，以产生从拓扑空间和属性空间中提取的自适应频率信息。

具体地说，我们首先推导了一个定制的基于属性的高通滤波器，它可以在理论上解释为半监督核岭回归的最小化器。然后，我们将基于拓扑的低通滤波器转换为GCNs环境中的Mercer的内核。这为将其与基于属性的滤波器相结合来捕获自适应频率信息提供了基础。最后，通过一种有效的多核学习策略，结合了基于属性的高通滤波器和基于拓扑的低通滤波器，得到了跨空间滤波器。这有助于在保持效率的过度平滑的同时解决问题。

大量的实验表明，CSF不仅成功地缓解了过平滑问题，而且提高了节点分类任务的有效性。

（引自摘要）

 

1、先验知识

① 什么是岭回归（Ridge Regression）？

岭回归是一种线性回归分析的变体，它通过引入正则化项来解决普通最小二乘法（OLS）在某些情况下的不足，特别是在处理共线性数据（即特征之间高度相关）时。岭回归的基本思想是在损失函数中添加一个L2正则项，以约束模型参数的大小，从而提高模型的泛化能力。

• 正则化（Regularization）：在损失函数中添加一个额外的项，用来惩罚模型参数的大小，防止模型过拟合。
• L2正则项：岭回归使用的是L2范数作为正则化项，即参数平方和的根。这导致模型倾向于选择较小的参数值。
• 损失函数：岭回归的损失函数是普通最小二乘损失加上一个正则化项，可以表示为：

$$\text{Loss}=\Vert \mathbf{y}-\mathbf{X}\beta {\Vert }_2^2+\lambda \Vert \beta {\Vert }_2^2$$

• 其中，$y$是目标值向量，$X$是特征矩阵，$\beta$是参数向量， λ λ