Transformer-Based Multimodal Knowledge Graph Completion with Link-Aware Contexts

IV. METHODOLOGY

A. Overview of MMKG-T5

在本节中，我们概述了我们提出的模型 MMKG-T5，如图1所示。基于 KGT5，MMKG-T5 结合了增强功能，以解决多模态知识图谱补全（MMKGC）中的挑战。为了提高查询关系的理解，我们引入了额外的关系上下文。此外，我们利用预训练的多模态语言模型（VLM）生成与查询实体及其邻居相关联的链接感知的上下文描述，确保多模态上下文与知识图谱中的结构信息对齐。

第IV-B节详细描述了如何使用预训练的VLM生成跨模态上下文，重点关注相关图像选择和邻居引导的上下文化。第IV-C节介绍了如何使用关系上下文来增强头实体预测，将多模态和关系信息结合起来，以有效预测尾实体。最后，第IV-D节解释了如何将MMKGC构建为一个序列到序列任务，利用KGT5将多模态和关系上下文集成。

这些增强功能使MMKG-T5能够解决MMKGs特有的挑战，例如集成多模态数据并理解复杂关系，同时保持计算效率。总体架构和方法论在详细描述中进行了说明。

B. Multimodal Entity Context