有代码Multiple heads are better than one: mixture of modality knowledge experts

摘要

学习高质量的多模态实体表示是多模态知识图（MMKG）表示学习的一个重要目标，它可以增强MMKG内部的推理任务，如MMKG完成（MMKGC）。主要的挑战是如何对隐藏在大量三元组中的结构信息和实体的多模态特征进行协同建模。现有的方法侧重于制定优雅的实体智能多模态融合策略，但它们忽略了在不同关系背景下隐藏在模态中的多视角特征的利用。为了解决这个问题，我们引入了一个新的框架，其中包含了模态混合知识专家（简称MOMOK）来学习自适应多模态实体表示，以获得更好的MMKGC。我们设计了关系引导的模态知识专家来获取关系感知的模态嵌入，并整合多模态的预测来实现联合决策。此外，我们通过最小化他们的相互信息来解开专家的纠缠。在四个公共MMKG基准测试上的实验证明了MOMOK在复杂场景下的出色性能。我们的代码和数据可在https://github.com/zjukg/MoMoK上获得。

 1.介绍

多模态知识图（MMKGs） （Chen et al ., 2024）是传统知识图（Liang et al ., 2022）的扩展，包含了丰富的模态信息，如大规模实体的图像和文本描述，将结构化知识三重和非结构化多模态内容连接在一起。基于这种专门的、富有表现力的数据组织格式，mmkg发展了人工智能（AI&