IMF: Interactive Multimodal Fusion Model for Link Prediction

[2303.10816] IMF: Interactive Multimodal Fusion Model for Link Prediction (arxiv.org)

目录

1 背景

2 贡献

3 模型

3.1 Overall Architecture

3.2 Modality-Specific Encoders

3.3 Multimodal Fusion

3.4 Contextual Relational Model

3.5 Decision Fusion

3.6 Inference

---

1 背景

为了获得更好的结果，一些研究方法将多模态信息引入到连接预测。但是这些研究将所有模态投影到一个统一空间中，具有相同的关系来捕捉共性，可能无法保证每个模态中的特定信息；这些方法分别利用多模态信息，忽略不同模态之间的复杂交互，无法捕捉互补性。

2 贡献

作者提出了一种新的交互式多模式融合模型(IMF)，用于知识图上的多模式链接预测。

IMF可以在每个模态中单独学习知识，并通过两阶段融合对不同模态之间的复杂交互进行联合建模，类似于人类自然识别过程。

在多模态融合阶段，采用双线性融合机制，通过对比学习充分捕捉多模态特征之间的复杂交互。

对于基本链路预测模型，作者利用关系信息作为上下文来对三元组进行排序，作为每个模态中的预测。

在最终决策融合阶段，作者整合来自不同模态的预测，并利用互补信息进行最终预测。

文章的贡献如下：

（1）提出了一种新的两阶段融合模型IMF，该模型能够有效地整合不同模式的互补信息，用于链路预测。

（2）设计了一个有效的多模态融合模块，通过对比学习来捕捉双线性交互，从而对共性和互补性进行联合建模。

（3）在四个广泛使用的多模态链路预测数据集上进行了大量实验，证明了IMF的有效性和通用性

3 模型

一个知识图谱被定义为,每个实体由来自不同模态的多个特征表示