22、双曲空间中基于自注意力的动态网络嵌入

双曲空间中基于自注意力的动态网络嵌入

在动态图分析领域，由于图的变化可能是周期性且频繁的，自注意力机制能够从所有过去的图快照中提取上下文信息，为先前的时间步自适应地分配可解释的权重。基于这一见解，我们提出了一种名为 DynHAT 的新型神经架构，用于学习动态图上的潜在节点表示。

1. 主要贡献

• 提出了一种新颖的双曲时间图嵌入模型 DynHAT，用于学习时间规律、拓扑依赖和隐式层次组织。
• 设计了一个模块化的时间自注意力层，通过高效的自注意力捕获最相关的历史上下文。这是首次在动态图嵌入中利用联合双曲结构和时间自注意力的研究。
• 在三个真实世界数据集上的实验结果证明了 DynHAT 在动态图嵌入方面的优越性，它在链接预测任务中始终优于竞争方法。消融研究进一步揭示了每个提出的组件对模型成功的贡献。

2. 相关工作

• 结构图嵌入 ：静态网络嵌入方法可分为两类，一类用于普通网络，另一类用于复杂信息网络。如 DeepWalk 通过随机游走将图结构信息转换为序列，Node2vec 改进了 DeepWalk 的随机游走策略，GCN 受谱卷积启发进行图卷积聚合和更新，GAT 将注意力机制融入聚合步骤，GraphSAGE 从空间角度引入归纳学习方法。这些方法都假设表示空间为欧几里得空间。
• 双曲图嵌入 ：双曲空间提供了一个令人兴奋的替代方案。越来越多的研究将图卷积推广到双曲空间，如 HGNN、HGCN 和 HGAT。HGCN 是双曲几何中归纳 GCN 的推广，HGAT 采用陀螺向量空间框架在双曲空