Zero-Shot Relational Learning for Multimodal Knowledge Graphs

摘要

关系学习是知识表示领域，特别是知识图补全（KGC）领域的一项重要任务。虽然传统单模态环境下的关系学习已经得到了广泛的研究，但在多模态KGC环境下探索关系学习提出了不同的挑战和机遇。其中一个主要挑战是在没有任何相关训练数据的情况下对新发现的关系进行推断。这种零机会关系学习场景对多模态KGC提出了独特的要求，即利用多模态来促进关系学习。然而，现有的工作不能支持多模式信息的杠杆作用，并没有探索这个问题。本文提出了一个由多模态学习器、结构整合器和关系嵌入生成器三部分组成的端到端框架，用于整合不同的多模态信息和知识图谱结构，实现零点关系学习。在两个多模态知识图上的评价结果证明了该方法的优越性。

1.介绍

知识图（Knowledge graphs, KGs）一直是组织从不同来源提取的知识，并以<头、关系、尾>的三元组形式展示实体之间关系的主流方式，在自然语言处理[1,34]和推荐系统[17]中得到了广泛应用。近年来，多模态知识图（MMKGs）[27]已经出现，它包含了丰富的多模态信息，如视觉、文本和结构元素，为许多任务展现了更复杂的能力，如命名实体识别[8]、语言建模[22]和问题回答[29]。

尽管mmkg得到了广泛的应用，但关系上的长尾分布仍然严重阻碍了其在实践中的应用，即少数关系密集地分布着