VQA中多模态fusion方式小结

最新推荐文章于 2025-02-21 19:50:51 发布
最新推荐文章于 2025-02-21 19:50:51 发布
阅读量3.6k 收藏 19
点赞数
分类专栏： 多模态 文章标签： VQA 多模态 模态融合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nan1104/article/details/88994188
版权
本文总结了多模态特征融合方法在视觉问答（VQA）任务中的应用，包括线性池化、双线性池化如Multi-modal Compact Bilinear (MCB)、Multi-modal Low-rank Bilinear (MLB)、Multi-modal Factorized Bilinear (MFB)以及MUTAN。线性池化简单但无法捕捉复杂关联，双线性池化引入高效计算策略但仍存在挑战。MFB通过矩阵分解改进了MLB，而MUTAN利用Tucker分解优化融合过程。这些方法展示了多模态理解的进步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

多模态特征融合的线性池化 ： 连接或者元素相加（concatenation or element-wise. addition）来融合图像的视觉特征和问题的文本特征
这种方式不能有效的捕捉图像的视觉特征和问题的文本特征之间的复杂关联。

接着出现了双线性池化 ：最早由 Separating Style and Content提出，但是高维的输出特征和大量的模型参数限制了可用性 。
双线性池化的形式：
在这里插入图片描述
1、Multi-modal Compact Bilinear (MCB) pooling使用 Tensor Sketch algorithm有效地减少参数数量和计算时间，但是MCB依赖一个高维输出(16000-D)特征来保证性能，内存使用过大。

2、Multi-modal Low-rank Bilinear (MLB)基于两个特征向量的Hadamard product。优点：输出低维特征，参数少。缺点：对于超参数敏感 ，收敛速度慢。
在这里插入图片描述
3、Multi-modal Factorized Bilinear pooling (MFB)
Inspired by the matrix factorization(矩阵分解)
在这里插入图片描述

最低0.47元/天 解锁文章
AI知识补全（八）：多模态大模型是什么？
Code_流苏：在代码中寻诗意
03-29 816
本文深入探讨多模态大模型的前沿发展，剖析GPT-4o、Claude 3.5等顶尖模型如何融合文本、图像、音频等多种数据，展示其在图像识别、视频分析等领域的革命性应用与未来发展方向。
51-11 多模态论文串讲—VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts 论文精读
AIgraphX
01-13 1591
VLMo 是一种多模态 Transformer 模型，即Mixture-of-Modality-Experts ，MoME，混合多模态专家。怎么理解呢？主流 VLP 模型分为两种，一种是双塔结构 (Dual Encoder)，主要用来做多模态检索任务；一种是单塔结构 (Fusion Encoder)，主要用来做多模态分类任务。VLMo 相当于是一个混合专家 Transformer 模型，预训练完成后，使用时既可以是双塔结构实现高效的图像文本检索，又可以是单塔结构成为分类任务。
《Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Answering》笔记
Geek_of_优快云的博客
05-07 5959
这是ICCV2017上的一篇文章（文章链接），代码在github上的地址：链接。 简单翻译一下摘要： 摘要 VQA（visual question answering 图像问答）因为需要同时对图像信息和问题的信息进行理解而比较难解决。建立的模型的性能在很大程度上取决于怎么从问题中提取特征，怎么图像中进行细粒度信息提取需要的特征，以及怎么对这两种提取出来的特征进行整合。尽管各类基于双线性池化的...
Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Answering论文笔记
bxg1065283526的博客
03-25 2383
Abstract 基于双线性池的模型已经被证明优于传统的VQA线性模型，但是它们的高维表示和高计算复杂度可能严重限制它们在实践中的适用性。对于多模态特征融合，作者提出了一种多模态分解双线性(MFB)汇集方法，以高效和有效地组合多模态特征，这使得VQA的性能优于其他双线性汇集方法。对于细粒度的图像和问题表示，作者提出了一种“共同关注”机制，使用端到端的深层网络架构来共同学习图像和问题关注。在一个新...
多模态融合原来这么有趣？看完我简直醍醐灌顶！
最新发布
m0_59164304的博客
02-21 973
曾说：“ 我认为，2020年在多任务学习和多模态学习方面会有很大进展，解决更多的问题。我觉得那会很有趣。” 而时至今日，多模态仍是我们讨论的热题。来自多模态综述：Multimodal Machine Learning:A Survey and Taxonomy为了使人工智能进一步加强对我们周边事物的理解，它需要具备解释多模态信号的能力。一般多模态需要处理的任务主要如上图有：✦ 表征（Representation）。
【文献阅读】DFAF——模态内和模态间动态融合的VQA模型（P. Gao等人，CVPR，2019）
QQ704630835的博客
09-12 3678
一、文章概况 文章题目：《Dynamic Fusion with Intra- and Inter-modality Attention Flow for Visual Question Answering》 这篇文章是CVPR2019的文章，作者主要来自港中文。 文章下载链接：http://openaccess.thecvf.com/content_CVPR_2019/papers/Gao...
多模态融合算法——Multimodal Compact Bilinear Pooling
热门推荐
华为云官方博客
03-05 2万+
【摘要】 很多多模态任务，都需要融合两个模态的特征。特征融合即输入两个模态的特征向量，输出融合后的向量。最常用的方法是拼接（concatenation）、按位乘（element-wise product）、按位加（element-wise sum）。MCB的作者认为这些简单的操作效果不如外积（outer product），不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。 Mult...
超50篇论文串联起从VQA到多模态预训练大模型的前世今生—Part 1
Paper weekly
04-29 3183
文章简介本文从视觉问答（VQA）任务出发，讲述了 2015 年任务的定义开始，接踵出现的各种多模态技术。从无注意力机制的深度学习模型，发展到天然适合注意力机制的多模态场景的模型，再到基于 Transformer 模型的即将到来的多模态领域大一统模型。其中，穿插了一些有趣的技术梳理，比如非深度学习技术和工程型优化的技术等。笔者利用课余时间收集整理，耗时一年撰写本文章，经历了...
【文本与视频内容理解】：深度学习在多模态数据中的角色（挖掘数据背后的秘密）
![多模态项目实战-文本-视频检索-打架识别]...接着，本文展示了深度学习在多模态数据中的具体应用，如图像与文本的联合分析、视频理解与处理以及语音与文字的同步分析。此外，
【文献阅读】MFB——结合协同注意力的多模态矩阵分解的双线性池化方法（Z. Yu等人，ICCV，2017，有代码）
QQ704630835的博客
08-19 5902
一、背景 文章题目：《Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Answering》 文章下载地址：https://arxiv.org/pdf/1708.01471.pdf 文章引用格式：Zhou Yu, Jun Yu, Jianping Fan, Dacheng Tao. "Multi-modal Factorized Bilinear Pooling with Co-
tensorsketch:用于tensorflow 2.0的轻量级库
03-09
张量草图 TensorSketch是用于tensorflow 2.0的轻量级深度学习库。 它的目标是成为一个简单的深度学习库，它将PyTorch和Keras的一些便利集成在一起。 如果您习惯了基于PyTorch的基本项目的生命周期，并且想要一种简单的方法来使用TensorFlow，那么此库适合您:-) 安装 pip install tensorsketch 可以与TF 1.0（启用v2）和TF 2.0一起使用。 示范 在此可以找到tensorsketch的演示。
细粒度图像分类论文研读-2016
weixin_46365033的博客
11-28 1020
双线性模型很成功，但是双线性特征是高维的。因此，本文提出了两种紧双线性表示，具有与双线性表示相同的辨别能力，但只有几千维。本文提出的紧凑的表示允许分类错误的反向传播。
深度学习：多模态与跨模态
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-13 2万+
多模态”和“跨模态”是另外两个容易混淆的术语，“多模态”和“跨模态”都是处理多种数据类型或特征的术语，但“多模态”更关注同时处理多种数据类型的算法，而“跨模态”更侧重于将一种数据类型映射到另一种数据类型进行处理。
MUTAN:Multimodal Tucker Fusion For Visual Question Answering
snow_maple521的博客
09-19 1994
MUTAN:Multimodal Tucker Fusion For Visual Question Answering 1. 摘要 虽然Bilinear models（双线性模型）在VQA中能够很好的融合信息，帮助学习问题意义和图像内容之间的高级关联，但是存在高维度问题，所以本文引入MUTAN概念——基于多模态张量Tucker分解，能够有效的在视觉和文本的双线性交互（Bilinear models）的模型中进行参数化，除Tucker分解之外，还设计了基于矩阵的低秩分解 来明确限制交互等级。 2. 引言 V
【多模态论文阅读】Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Ans
qq_36643449的博客
03-04 3932
一、亮点 对于多模态特征融合，本文开发了一种多模态因子双线性（MFB）池化方法来有效地组合多模态特征； 对于细粒度的图像和问题表示，开发了一种“共同注意”机制，使用端到端的深度网络架构来共同学习图像和问题的注意力。 二、MCB和MLB的缺点 MCB 模型依赖于高维输出特征来保证稳健的性能，这可能会由于巨大的内存使用量而限制其适用性。 为了克服这个问题，Kim 等人提出了基于两个特征向量的Hadamard乘积的多模态低秩双线性化（MLB）池模型。 由于 MLB 生成的输出特征维度较低，模型参数较少，因此与
深度学习中句子语义表征融合中加、乘方式的理解
郝同学的博客
12-04 4273
一、问题背景   往往我们在将文本信息和图片信息进行Embedding表示之后，有时候我们需要进行语义信息的融合，我们常常使用简单的加法或点乘来进行信息融合，虽然加法和乘法交互看起来都挺自然而直观，但我们应该选择哪种方法？   在阅读论文的时候，偶然发现了来自 AAAI2018年接受的 FiLM: Visual Reasoning with a General Conditioning Layer 论文，提出了一种可以嵌入到CNN模型中的通用网络层，用于多输入任务。例如，对于分类+回归的任务，有可能回归任
多模态信息融合研究
Drug discovery
06-28 4551
多模态信息融合研究：多模态融合fusion的各种操作：
多模态融合 fusion 的各种操作
cheetah023的博客
08-30 4264
文章转载： 作者丨小奚每天都要学习@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/152234745 Zhang, C., Yang, Z., He, X., \& Deng, L. (2020). Multimodal intelligence: Representation learning, information fusion, and applications.IEEE Journal of Selected Topics in Signal Pro
多模态图神经网络在视觉与场景文本理解中的应用
多模态图神经网络通过整合视觉、语义和数字信息，提供了一个强大的工具来理解和解析图像中的复杂文本信息，这对于提升VQA模型的性能至关重要。这种方法的创新性在于它能够适应并利用图像的多维度信息，使得模型在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值