MMKGR: Multi-hop Multi-modalKnowledge Graph Reasoning

摘要

多模态知识图不仅包括关系三元组，还包括相关的多模态辅助数据（即文本和图像），增强了知识的多样性。然而，天然的不完备性极大地阻碍了MKGs的应用。为了解决这一问题，现有研究采用基于嵌入的推理模型，在融合多模态特征后推断出缺失的知识。然而，由于以下问题，这些方法的推理性能受到限制：(1)多模态辅助特征融合效果不佳；(2)缺乏复杂推理能力，无法进行能够推断更多缺失知识的多跳推理。为了克服这些问题，我们提出了一个新的模型MMKGR （Multihop Multi-modal Knowledge Graph Reasoning）。具体而言，该模型包含以下两个组成部分：(1)统一的门-注意网络，通过充分的注意交互和降噪，生成有效的多模态互补特征；(2)提出了一种互补的特征感知强化学习方法，该方法基于组件(1)中获得的特征，通过执行多跳推理过程来预测缺失元素。实验结果表明，MMKGR在MKG推理任务中优于最先进的方法。

1.引言

知识图（Knowledge Graph， KG）本质上是一种以实体为节点，以关系为边的图结构，在数据挖掘[12]和知识工程[78]领域都受到了广泛的关注。目前，大型KGs在辅助许多应用方面取得了巨大的成功