文章核心总结与创新点
核心内容
文章聚焦图神经网络(GNN)与图Transformer(GT)的融合问题,通过解构代表性GT模型发现:Transformer的全局注意力模块并未显著提升性能,反而可能加剧测试误差震荡,其核心价值在于作为正则化组件增强GNN的泛化能力。基于图谱视角,作者将Transformer重构为具有带通特性和线性复杂度的全局感知图滤波器,提出G²Former架构,通过多通道约束抑制误差震荡,以“全局到局部”的框架为下游GNN提供增强特征。在17个同质性、异质性及大规模数据集上的实验验证了该方法在节点分类任务中的有效性,且保持线性计算复杂度。
创新点
- 视角创新:首次从图谱信号处理角度重新诠释Transformer,将其转化为带通全局感知图滤波器,突破传统Transformer的
QKᵀV范式。 - 架构创新:提出“全局到局部”框架,先通过多通道滤波器生成引导噪声,再经图引导滤波增强节点特征,解决注意力机制的“惰性学习”问题。
- 通道设计:设计全谱和低谱两种通道初始化策略,通过调节
α和β控制滤波频段,适配不同图结构的频率特征需求。 - 优化创新:引入双损失函数优化,同时监督下游GNN编码结果和引导噪声的置信度,进一步提升模型泛化能力。
订阅专栏 解锁全文
269



被折叠的 条评论
为什么被折叠?



