KDD 2025 | TIDFormer：针对时序交互动态机制，构建动态图 Transformer 模型

得益于自注意力机制（SAM）在序列建模中捕捉依赖关系的卓越能力，现有多种动态图神经网络（DGNN）采用具有不同编码设计的 Transformer 架构，以捕捉动态图的序列演化特征。然而，这些基于 Transformer 的 DGNN 在效能与效率上存在显著差异，这凸显了正确定义动态图上的自注意力机制、以及在不引入额外复杂模块的前提下全面编码时序动态与交互动态的重要性。

中国人民大学与华为研究团队提出 TIDFormer，这是一种高效利用时序动态与交互动态的动态图 Transformer 模型。研究者阐明并验证了所提出自注意力机制的可解释性，解决了以往研究中动态图注意力定义不可解释的开放性问题。为分别建模时序动态与交互动态，研究者采用基于日历的时间划分信息，并仅通过采样一阶邻域为二分图与非二分图提取信息丰富的交互嵌入表示。此外，还通过简单分解捕获历史交互模式的潜在变化，实现了时序特征与交互特征的联合建模。研究者在多个动态图数据集上进行了广泛实验，验证了 TIDFormer 的有效性与高效性。实验结果表明，TIDFormer 在大多数数据集和实验设置下均优于现有最优模型，表现出卓越性能。同时，与先前基于 Transformer 的方法相比，TIDFormer 展现出显著的效率优势。

【论文标题】

TIDFormer: Exploiting Temporal and Interactive Dynamics Makes A Great Dynamic Graph Transformer

【论文地址】

https://arxiv.org/abs/2506.00431

---

论文背景

由于 SAM 在序列建模中捕捉依赖关系的卓越能力，现有的几种动态图神经网络（DGNN）采用具有各种编码设计的 Transformer 架构来捕捉动态图的序列演化。然而，这些基于 Transformer 的 DGNN 的有效性和效率差异显著，突显了在动态图上正确定义 SAM 以及在不增加额外复杂模块的情况下全面编码时间和交互动态的重要性。本文研究者提出了 TIDFormer，这是一种以高效方式充分利用时间和交互动态的动态图 Transformer。该工作阐明并验证了所提出 SAM 的可解释性，解决了先前工作中在动态图上定义不明确的问题。

本文将动态图学习方法分为离散时间动态图（DTDG）和连续时间动态图（CTDG）两类，并选择聚焦于 CTDG 研究，因其能提供更精细的时间演化表示。现有 CTDG 方法存在三大核心问题：首先是 SAM 在动态图上的定义缺乏解释性，特别是 DyGFormer 等模型混合源节点和目标节点序列的做法破坏了原始时序关系；其次是时间动态建模不足