22、基于自注意力的双曲空间动态网络嵌入

基于自注意力的双曲空间动态网络嵌入

在动态图中，图的变化可能是周期性且频繁的，自注意力机制能够从所有过去的图快照中提取上下文信息，为先前的时间步自适应地分配可解释的权重。基于这一见解，研究人员提出了一种名为 DynHAT 的新型神经架构，用于学习动态图上的潜在节点表示。

主要贡献

• 提出了一种新型的双曲时间图嵌入模型 DynHAT，用于学习时间规律、拓扑依赖和隐式层次组织。
• 设计了一个模块化的时间自注意力层，通过高效的自注意力捕获最相关的历史上下文。这是首次在动态图嵌入中利用联合双曲结构和时间自注意力的研究。
• 在三个真实世界数据集上的实验结果证明了 DynHAT 在动态图嵌入方面的优越性，它在链接预测任务中始终优于竞争方法。消融研究进一步揭示了每个提出的组件对模型成功的贡献。

相关工作

研究主要涉及结构图嵌入和时间图嵌入的表示学习。
- 结构图嵌入 ：静态网络嵌入方法可分为两类，一类用于普通网络，另一类用于复杂信息网络。前者仅利用拓扑结构信息进行嵌入，如 DeepWalk 通过随机游走将图结构信息转换为序列，Node2vec 改进了 DeepWalk 的随机游走策略。此外，一些图神经网络架构也取得了巨大成功，如 GCN 受谱卷积启发进行图卷积聚合和更新，GAT 将注意力机制融入聚合步骤，GraphSAGE 从空间角度引入归纳学习方法。这些方法都假设表示空间为欧几里得空间。
- 双曲图嵌入 ：双曲空间提供了一种令人兴奋的替代方案。越来越多的研究将图卷积推广到双曲空间，如 HGNN、HGCN