2025_NIPS_Rethinking Tokenized Graph Transformers for Node Classification

文章总结与翻译

一、主要内容

该研究聚焦于节点分类任务中的令牌化图Transformer（tokenized Graph Transformers, GTs），针对现有令牌化GTs在生成令牌序列时仅局限于k近邻图（k-NN）的一阶邻居、导致令牌序列多样性不足、限制模型性能的问题，提出了一种名为SwapGT的新型方法。

核心框架

1. 令牌采样：从属性特征空间和拓扑特征空间分别采样令牌，通过余弦相似度计算节点相似度，结合个性化PageRank传播获取拓扑特征，构建初始令牌集。
2. 令牌交换操作：基于节点语义相关性，对不同令牌序列中的令牌进行交换，将采样空间从一阶邻居扩展到多阶邻居，生成多样化令牌序列。
3. Transformer骨干网络：通过投影层、多头自注意力机制和前馈网络学习节点表示，融合属性和拓扑特征空间的表征结果。
4. 中心对齐损失：约束来自不同令牌序列的节点表示，确保表征的一致性和有效性，提升模型泛化能力。

实验验证

在8个数据集（涵盖同质性和异质性图）上进行了密集分割和稀疏分割实验，对比13种主流GNN和GT基线模型。