有代码Unleashing the Power of Imbalanced Modality Information for Multi-modal Knowledge Graph Completio

 摘要

多模态知识图谱补全（MMKGC）旨在通过将实体的结构信息、视觉信息和文本信息整合到判别模型中来预测多模态知识图谱中的缺失三元组。来自不同模式的信息将一起工作来测量三重合理性。现有的MMKGC方法忽略了实体间模态信息的不平衡问题，导致模态融合不充分，对原始模态信息的利用效率低下。为了解决上述问题，我们提出了自适应多模态融合和模态对抗训练（AdaMF-MAT），为MMKGC释放模态信息不平衡的力量。AdaMF-MAT通过自适应模态权值实现多模态融合，并通过模态-对抗训练生成对抗样本，增强模态不平衡信息。我们的方法是MMKGC模型和训练策略的共同设计，它可以超越19种最近的MMKGC方法，并在三个公开的MMKGC基准测试中获得新的最先进的结果。我们的代码和数据已经在https://github.com/zjukg/AdaMF-MAT上发布。

1. 介绍

知识图（KGs） （Wang et al ., 2017）将世界知识建模为（头部实体、关系、尾部实体）形式的结构化三元组。多模态知识图（MMKGs）