IMF: Interactive Multimodal Fusion Model for Link Prediction

原创 已于 2023-04-26 17:19:42 修改 · 1.9k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#知识图谱 #人工智能 #多模态

于 2023-04-26 17:12:51 首次发布
为解决现有多模态连接预测方法的不足，作者提出交互式多模式融合模型（IMF）用于知识图上的多模式链接预测。该模型能单独学习各模态知识，通过两阶段融合对不同模态复杂交互联合建模，在四个数据集上实验证明了其有效性和通用性。

[2303.10816] IMF: Interactive Multimodal Fusion Model for Link Prediction (arxiv.org)

目录

1 背景

2 贡献

3 模型

3.1 Overall Architecture

3.2 Modality-Specific Encoders

3.3 Multimodal Fusion

3.4 Contextual Relational Model

3.5 Decision Fusion

3.6 Inference

1 背景

为了获得更好的结果，一些研究方法将多模态信息引入到连接预测。但是这些研究将所有模态投影到一个统一空间中，具有相同的关系来捕捉共性，可能无法保证每个模态中的特定信息；这些方法分别利用多模态信息，忽略不同模态之间的复杂交互，无法捕捉互补性。

2 贡献

作者提出了一种新的交互式多模式融合模型(IMF)，用于知识图上的多模式链接预测。

IMF可以在每个模态中单独学习知识，并通过两阶段融合对不同模态之间的复杂交互进行联合建模，类似于人类自然识别过程。

在多模态融合阶段，采用双线性融合机制，通过对比学习充分捕捉多模态特征之间的复杂交互。

对于基本链路预测模型，作者利用关系信息作为上下文来对三元组进行排序，作为每个模态中的预测。

在最终决策融合阶段，作者整合来自不同模态的预测，并利用互补信息进行最终预测。

文章的贡献如下：

（1）提出了一种新的两阶段融合模型IMF，该模型能够有效地整合不同模式的互补信息，用于链路预测。

（2）设计了一个有效的多模态融合模块，通过对比学习来捕捉双线性交互，从而对共性和互补性进行联合建模。

（3）在四个广泛使用的多模态链路预测数据集上进行了大量实验，证明了IMF的有效性和通用性

3 模型

一个知识图谱被定义为\mathcal G = <\mathcal E,\mathcal R,\mathcal T>,每个实体由来自不同模态的多个特征表示

最低0.47元/天 解锁文章
有代码IMF: Interactive Multimodal Fusion Model for Link Prediction
weixin_44466434的博客
11-05 1062
1
Multimodal Contextual Interactions of Entities: A ModalityCircular Fusion Approach for Link Predict
weixin_44466434的博客
11-05 734
1
IMF: Interactive Multimodal Fusion Model for Link Prediction（2023 WWW）
weixin_54387067的博客
11-21 471
为此，我们提出采用双线性模型作为多模态信息融合的基石，该模型具有较强的实现全参数交互的能力。然后，使用上下文变换矩阵对实体嵌入进行投影，得到上下文嵌入，用于计算与所有候选实体的相似度（余弦相似度）。在多模态设置下，我们为每个模态分配不同的上下文关系模型，并利用它们自己的结果在不同的视图下进行训练。（嵌入模型转化为向量或矩阵表示后通过某种融合方法（如外积操作，论文中也没说是怎么融合的/(ㄒoㄒ)/）构造的一个高阶张量。Pc是核心张量，Ms、Mv、Mt是不同模态下的模态因子，Md是其他特定维度下的模态因子。
论文笔记：IMF: Interactive Multimodal Fusion Model for Link Prediction
Daisymanman的博客
03-25 1399
最近一些研究将多模态信息引入到链接预测中，但是这些方法是分别利用多模态信息的，忽略了不同模态之间的复杂交互。为了更好地建模模态间的信息，引入一种交互式多模态融合模型，整合不同模态间的知识。通过两阶段式多模态融合框架来保存特定模态的知识，并利用不同模态之间的交互。多模态融合模块没有将不同模态投影到一个统一的向量空间，而是限制了不同模态的独立表示，同时利用双线性池化进行融合，并将对比学习作为额外的约束。此外，决策融合模块在所有模态预测的上提供学习到的加权平均，以更好地整合不同模态的互补性。
【IMF：链接预测的交互式多模态融合模型】（非常详细），收藏这一篇就够了
qq_43701258的博客
11-11 1423
链接预测旨在识别知识图中潜在的缺失三元组。为了得到更好的结果，最近的一些研究引入了多模态信息来进行链接预测。然而，这些方法单独利用多模态信息，忽略了不同模态之间复杂的相互作用。在本文中，我们旨在更好地建模跨模态信息，从而引入一种新的交互式多模态融合（IMF）模型来整合来自不同模态的知识。为此，我们提出了一个两阶段的多模态融合框架，以保留模态特定知识，并利用不同模态之间的互补性。我们的多模态融合模块不是直接将不同的模态投射到一个统一的空间中，而是限制了不同模态的独立表示，同时利用双线性池进行融合，并将对比学习
论文翻译：MSR-GCN: Multi-Scale Residual Graph Convolution Networks for HumanMotion Prediction
qq_41021141的博客
09-01 632
摘要人体运动预测是一个具有挑战性的任务，由于未来姿态的随机性和非周期性。最近，图卷积网络被证明可以有效学习姿态关节点之间的动态关联，这有助于姿态预测。另一方面，可以递归地抽取一个人体姿态来获取多个尺度的一系列姿态。随着抽象程度的增加，姿态的运动变得更稳定，这也有利于姿态预测。在这篇文章中，我们提出了一个新颖的多尺度残差图卷积网络（MSR-GCN）来用于人体姿态预测任务，以一种端到端的方式。这些GCN被用于提取从细粒度到粗粒度再从粗粒度到细粒度的特征。被提取到的每个尺度的特征然后再被结合并解码来获取输入和目标
论文浅尝 | 基于交互模态融合的多模态知识图谱补全
开放知识图谱
04-24 2536
笔记整理：张溢驰，浙江大学硕士，研究方向为多模态知识图谱链接：https://arxiv.org/abs/2303.10816动机多模态知识图谱补全需要将多种模态的信息（如图像和文本）融入到实体的结构表示中，以此来实现更好的链接预测，但是已有的方法往往通过将所有模态投影到一个统一的空间中，具有相同的关系来捕捉共性，这可能无法保存每个模态中的特定信息。因此，他们无法有效地模拟模式之间的复杂互动，以捕...
《MEMF: Multi-entity multimodal fusion framework for sales prediction in live streaming commerce》
buyaotutou的博客
11-20 797
直播电商在多模态信息的丰富织网中蓬勃发展，这些信息与多个实体（包括主播、商品和直播环境）交织在一起。尽管有大量的数据可供使用，但如何将这些信息进行综合分析，以预测销售仍然是一个重大挑战。本研究提出了一种多实体多模态融合框架，该框架通过有效地合成多模态数据，并优先考虑实体级别的融合，从而提供全面的特征表示，提升预测性能。在处理与各种产品相关的多模态数据时，我们对Transformer架构进行了改进，首先捕捉产品内模态特征，然后整合跨产品的特征。我们在来自淘宝直播的真实世界数据集上进行了实验。
推荐系统学习记录——BPR、iMF
m0_58979029的博客
04-07 908
BPR是一种经典的个性化推荐算法，旨在解决推荐系统中的Top-N推荐问题。它基于隐式反馈数据，如用户点击、购买或观看历史，通过学习用户对物品的偏好来进行推荐。iMF是一种基于矩阵因式分解的个性化推荐算法。它将用户-物品交互矩阵分解为用户因子矩阵和物品因子矩阵，通过学习这些因子来捕捉用户和物品之间的潜在关系。iMF通常用于解决推荐系统中的评分预测问题，即预测用户对尚未交互的物品的评分。：iMF通过将用户-物品交互矩阵分解为用户因子矩阵和物品因子矩阵来学习用户和物品的表示向量。的评分，N表示训练样本数量。
图像和文本的多模态融合：提高计算机视觉任务的性能
AI天才研究院
12-27 4870
1.背景介绍 计算机视觉(Computer Vision)和自然语言处理(Natural Language Processing, NLP)是人工智能领域的两个核心技术。计算机视觉主要关注从图像和视频中自动抽取高级特征，如物体、场景和行为，以及理解图像中的信息。自然语言处理则关注自然语言的生成、理解和翻译。 尽管计算机视觉和自然语言处理分别处理的是不同类型的数据，但它们的目标是一样的：提取高级...
模型融合方法
Mr.Lecchon的博客
05-05 5万+
本文是《KAGGLE ENSEMBLING GUIDE》一文的阅读笔记，忽略了一些不感兴趣的内容，原文请阅：https://mlwave.com/kaggle-ensembling-guide/
机器学习模型优化之模型融合
热门推荐
yeal
01-07 5万+
前言：在机器学习训练完模型之后我们要考虑模型的效率问题，常用的模型效率分析手段有： 研究模型学习曲线，判断模型是否过拟合或者欠拟合，并做出相应的调整； 对于模型权重参数进行分析，对于权重绝对值高/低的特征，可以对特征进行更细化的工作，也可以进行特征组合； 进行bad-case分析，对错误的例子分析是否还有什么可以修改挖掘 模型融合：模型融合就是训练多个模型，然后按照一定的方法集成过个模型，应为...
金融风控训练营--Task 05 模型融合 学习笔记
dream__me的博客
12-13 1506
文章目录前言一、学习知识点概要二、学习内容2.1 Stacking2.2 Blending2.2.1 方式一2.2.2 方式二（Holdout交叉）2.3 Blending和Stacking的区别三、学习问题与解答3.1 简单平均3.2 加权平均四、学习思考与总结 前言 本学习笔记为阿里云天池龙珠计划金融风控训练营的学习内容，学习链接为： https://tianchi.aliyun.com/specials/activity/promotion/aicampfr 一、学习知识点概要 学习有哪些模型融合的
本征模态函数IMF
weixin_44943389的博客
12-11 3239
本征模态函数（Intrinsic Mode Function，IMF）是一种在信号处理和数据分析中使用的概念，通常与经验模态分解（Empirical Mode Decomposition，EMD）方法相关联。EMD是一种将非平稳信号分解为本征模态函数的自适应技术。
数据融合杂记
Frost_Bite的博客
08-06 1485
A Review of Data Fusion Techniques 本文将数据融合技术分为三类：数据关联（data association）、状态估计（state estimation）、决策融合（decision fusion），然后分别介绍了数据融合技术的分类方式（第二节）、数据关联的一般方法（第三节）、状态估计的一般方法（第四节）以及决策融合的一般方法（第五节），并在最后进行了总结。 第二节 本文提出了五种分类方式：根据输入数据源间的关系、根据输入输出数据的类型、根据使用数据的抽象等级、根据J
这篇文章能让你明白经验模态分解（EMD）——IMF的物理含义
fengzhuqiaoqiu的博客
09-22 4万+
在上一篇文章（这篇文章能让你明白经验模态分解（EMD）——基础理论篇）中，有同学问IMF1、IMF2这些分量的含义。这里举个简单的例子解释一下： 首先我们生成一段信号，它是由4Hz的正弦波、10Hz的正弦波和白噪声叠加而成的。如下图： 左侧3个信号叠加生成右侧信号 现在我们将合成后的信号进行EMD分解，结果如下图： 5张图分别为：原始信号、IMF1、IMF2、IMF3、残差 从E...
MATLAB基于EMD分解+模拟退火优化DBN的风速预测模型
qq_41043389的博客
02-26 8265
图1 原始风速时间序列 风速预测主要是时间序列预测，通常采用滚动序列建模，即采用1-n时刻风速作为输入，第n+1时刻风速作为输出，然后采用第2到n+1时刻风速作为输...
信号数据EMD分解+IMF时序数据LSTM预测建模实践
Together_CZ的博客
05-30 8891
周末的时间闲下来了，想到之前计划的事情还未执行的还有很多，正好拿过来做一下，今天主要是想学习和实践一下信号领域的数据的处理和建模内容，从网上找到了一个振动信号相关的数据集，首先，想先基于EMD算法完成信号的 分解处理，之后基于LSTM模型来实现时序数据的建模预测分析。 对于现在的我来说，属于数据信号处理领域里面的小白，所以写这篇文章很可能会有错误或者是不合理的地方，如果问题欢迎指出，欢迎交流学习，同时呢？这里也是自己学习过程的记录，包括自己在了解一些信号处理算法时的资料等，也都一...
Multi-modal Score Fusion and Decision Trees for Explainable Automatic Job Candidate Screening 阅读笔记
阿里武的技术博客
02-13 786
Multi-modal Score Fusion and Decision Trees for Explainable Automatic Job Candidate Screening from Video CVs 这篇文章作为2017年的文章，其准确率非常之高，到2020年也只有一篇超过了它的准确率，所以我们确实需要去看一看这一篇的特征提取方法，以及它所用的融合方法和一些其他的结构 模型结构 视觉特征提取 脸部特征 对每一帧，使用人脸对齐方法 Supervised Descent Method， 提取
MoME: Mixture of Multimodal Experts for Cancer Survival Prediction
最新发布
11-05
从给定引用中未直接获取到用于癌症生存预测的多模态专家混合模型（MoME）的相关信息。不过已知提出的Mixture-of-Modality-Experts（MoME）的Transformer，能依据输入数据的模态选择不同“expert”，采用“vision - text - multimodal”分阶段预训练方式，后一阶段预训练冻结前一部分编码器参数，最终在VQA等多模态任务微调后达SOTA [^1]。 推测在癌症生存预测中，MoME模型可整合多种模态数据，如基因组学数据、组织学图像数据等。不同模态数据对应不同“expert”，模型根据输入的具体数据类型选择合适“expert”处理。在预训练时，也可采用分阶段方式，先针对单一模态数据预训练，再进行多模态联合预训练，同时冻结部分编码器参数以稳定训练过程。最后在癌症生存预测任务上进行微调。 以下是一个简单示意代码，模拟MoME在处理多模态数据的流程： ```python import torch import torch.nn as nn # 假设的不同模态的专家网络 class Expert(nn.Module): def __init__(self, input_dim, output_dim): super(Expert, self).__init__() self.fc = nn.Linear(input_dim, output_dim) def forward(self, x): return self.fc(x) # MoME模型 class MoME(nn.Module): def __init__(self, num_experts, input_dim, output_dim): super(MoME, self).__init__() self.experts = nn.ModuleList([Expert(input_dim, output_dim) for _ in range(num_experts)]) self.gating_network = nn.Linear(input_dim, num_experts) def forward(self, x): # 计算门控权重 gating_weights = torch.softmax(self.gating_network(x), dim=1) expert_outputs = [expert(x) for expert in self.experts] expert_outputs = torch.stack(expert_outputs, dim=1) # 根据门控权重组合专家输出 output = torch.sum(gating_weights.unsqueeze(-1) * expert_outputs, dim=1) return output # 示例使用 input_dim = 10 output_dim = 1 num_experts = 3 model = MoME(num_experts, input_dim, output_dim) input_data = torch.randn(5, input_dim) output = model(input_data) print(output) ```
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值