有代码DySarl: Dynamic Structure-Aware Representation Learning for Multimodal Knowledge Graph Reasoning

摘要

多模态知识图（MKG）推理通过向传统知识图的实体中添加多模态辅助信息（即文本和图像）获得了令人印象深刻的性能，因此引起了人们的广泛关注。然而，现有的研究严重依赖于基于路径的方法来学习结构模态，未能捕捉到推理路径之外多模态实体之间复杂的结构相互作用。此外，现有的研究在很大程度上忽略了不同多模态特征对不同推理决策事实的动态影响，它们利用非对称共同注意来独立学习不同模态之间的静态相互作用，而没有动态地加入推理过程。为了克服这一问题，我们提出了一种新的动态结构感知表示学习方法，即DySarl，并显著提高了MKG的推理性能。具体来说，我们在DySarl中设计了一个双空间多跳结构学习模块，通过一种新的消息传递机制聚合多模态实体的多跳结构特征。它集成了欧几里得空间和双曲空间的消息范式，有效地保留了有限的多模态查询路径之外的邻域信息。此外，DySarl还具有交互式对称注意模块，通过新设计的对称注意组件和事实特异性门控注意单元，明确学习单模态注意发送者和多模态注意目标对决策事实的动态影响，使DySarl具备多模态特征学习与后期推理之间的动态关联。大量的实验表明，与最先进的基线相比，DySarl在两个公共MKG数据集上取得了显着提高的推理性能。

1.介绍</