多模态融合(七)Multi-modality Latent Interaction Network for Visual Question Answering

多模态融合在视觉问答中的MLIN网络
最新推荐文章于 2024-10-12 19:38:48 发布
原创 最新推荐文章于 2024-10-12 19:38:48 发布 · 1.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习

本文提出了一种名为MLIN的多模态潜在交互网络，用于视觉问答（VQA）。与现有方法相比，MLIN通过全局特征总结和模态间交互来捕获更全面的上下文信息，提高了VQA任务的性能。实验表明，MLIN在减少消息传递时间的同时，在基准数据集上表现出强劲的竞争力，并强调了预训练语言模型在问题编码中的重要性。

背景

本篇论文的工作来自于香港中文大学-商汤联合实验室。与DFAF出自同一作者之手。论文接收于ICCV2019

摘要

现有的解决VQA问题的方法大都是关注于各个独立的image regions于question words之间的联系(比如对intra-modal、inter-modal的联系建模，使用SA、GA等各注意力手段)，始终是从局部的视角来捕捉特征间的联系。(缺乏大局观，对全局特征利用甚少，这与人类回答VQA问题有所不同，人善于利用各种信息进行summarization，从全局的视野来完成这个任务)。

前人对特征的处理方式与本文提出的方法
在这里插入图片描述

框架

在这里插入图片描述
与DFAF网络结构类似的是，本文提出的MLIN网络也是由MLI这样的block堆叠而成。送入网络的图文特征表示为
在这里插入图片描述
每种模态的特征进行summarization操作，得到k个向量表示。每种模态的k个summarization vector可以理解成是从全局视角捕捉到输入特征的k个不同方面的表示。 由sumarization vector组成的矩阵分别记为 R ^ \hat R R^和 E ^ \hat E <

最低0.47元/天 解锁文章
Multi-modality Latent Interaction Network for Visual Question Answering论文解读
weixin_42305378的博客
12-16 1057
作者认为现有的研究关系的方法大多是单个视觉区域和单词之间的模型关系，这不足以正确回答这个问题。但从人类的角度来看，回答视觉问题需要理解视觉和语言信息的概要。本文提出了多模态潜交互模块(MLI)来解决这一问题。该模块学习潜在的视觉和语言概要之间的跨模态关系，其中将视觉区域和问题归纳为少量的潜在表征，以避免建模无信息单个视觉-问题关系。潜在的概要之间的跨模态信息被传播以从两种模态中融合有价值的信息,并且用于更新视觉和文字特征。这样的MLI模块可以被堆叠以建模两种模态之间的复杂和潜在关系。
用于视觉问答的多模态潜在交互网络模型《Multi-modality Latent Interaction Network for Visual Question Answering》
xiashilin的博客
11-05 2007
目录 一、文献摘要介绍 二、网络框架介绍 三、实验分析 四、结论 本文有点长，请耐心阅读，定会有收货。如有不足，欢迎交流，另附:论文地址 一、文献摘要介绍 Exploiting relationships between visual regions and question words have achieved great success in learning...
Visual Interaction Networks -《视觉互动网络》
06-17
DeepMind 的论文，视觉互动网络 VIN，能够预测视觉场景中各个物体在未来几百步所处位置
Multi-modality Latent Interaction Network for Visual Question Answering 面向视觉问题回答的多模态潜在交互网络
snow_maple521的博客
10-11 677
摘要 现有的VQA技术大多是对单个视觉区域和单词之间的关系进行建模，这不足以正确回答问题，从人类角度考虑，回答视觉问题需要理解视觉和问题信息的概要。本文提出MLI模块，能够学习潜在的视觉和语言的概要之间的跨模态关系，该模式将视觉区域和问题汇总为少量的潜在表示，从而避免对单个区域和单词关系进行建模。这种潜在的表示融合了两种模式的有价值的信息，并被用于更新视觉和语言的特征。这个MLI模块可以堆叠多个阶段，以对两种模式之间的复杂和潜在关系进行建模。 1.引言 在视觉问答技术中，之前的研究涉及：获取更好的图像特征和
Multi-modality Latent Interaction Network for Visual Question Answering
奋斗小青年
02-04 348
目录 一、文献摘要介绍 二、网络框架介绍 三、实验分析 四、结论 本文有点长，请耐心阅读，定会有收货。如有不足，欢迎交流， 另附:论文地址 一、文献摘要介绍        Exploiting relationships between visual regions and question words have achieved great ...
Visual Question Answering概述
lch的博客
07-22 1704
目录任务描述应用领域主要问题主流框架常用数据集Metrics 任务描述 输入：图片III、由nnn个单词组成的问题Q={q1,...,qn}Q=\{ q_1,...,q_n \}Q={q1​,...,qn​} 输出：由mmm个单词组成的问题的答案A={a1,...,am}A=\{ a_1,...,a_m \}A={a1​,...,am​} 应用领域 盲人导航 图灵测试 主要问题 鲁棒性差 模型的鲁棒性差可多个方面体现，如缺乏可解释性、回答不一致等。造成这个问题的原因也是多方面的，如训练集和测试集
AAAI—24—Main—paper（关于Multi—Modal的全部文章摘要）
Conger_2002的博客
10-12 1004
我们生活在一个由多种模态（Multimodal）信息构成的世界，包括视觉信息、听觉信息、文本信息、嗅觉信息等等，当研究的问题或者数据集包含多种这样的模态信息时我们称之为多模态学习多模态机器学习旨在处理学习（视觉，听觉，语言等）不同模态融合交织的信息。
ICML 2023 | 可证明的动态多模态融合框架论文整理
qq_43858783的博客
02-28 6096
多模态融合的内在挑战是精确地捕获跨模态相关性并灵活地进行跨模态交互。为了充分释放每种模态的价值，减轻低质量多模态数据的影响，动态多模态融合成为一种有前途的学习范式。尽管它被广泛使用，在这一领域的理论依据仍然显着缺乏。我们能设计一个可证明鲁棒的多模态融合方法吗？本文从泛化的角度，在一个最流行的多模态融合框架下，为回答这个问题提供了理论上的理解。我们继续揭示，几个不确定性估计解决方案是自然可实现强大的多模态融合。
多模态融合2-人脸
csdn13261311766的博客
10-13 487
近年，利用RGB-D数据进行人脸识别的方案已经被广泛采用，然而现有方法多使用相同处理方式处理所有的模态，这没有充分考虑模态的差异，忽略了模态之间的相关性。作者提出一种新的RGBD多模态融合的人脸识别方案，能够学习多个模态之间的共同特征以及互补特征，进一步扩展多模态的学习能力。由于RGB和depth分别描述了人脸的纹理和形状信息，这两种模态应该是相关且可以互补的，通过引入联合损失，来增强模态之间的交互。直接使用提出的上面互补特征学习的网络，来获得RGB-to-RGB的匹配得分。其中，W j W_{j}W。
多模态multi-modality和多组学multi-omics的区别
watermel__的博客
06-06 2099
多模态就是同时测一个细胞的多个信息，多组学是指多个组学，不一定来源于同一细胞
Multi-Model多模数据库引擎设计与实现
eli的博客
02-22 2583
如今，随着业务“互联网化”和“智能化”的发展以及架构“微服务”和“云化”的发展，应用系统对数据的存储管理提出了新的标准和要求，数据的多样性成为了数据库平台面临的一大挑战，数据库领域也催生了一种新的主流方向。 数据库多模Multi-Model是指同一个数据库支持多个存储引擎，可以同时满足应用程序对于结构化、半结构化、非结构化数据的统一管理需求。 数据库云化需求催生Multi-Model多模 企业使用云数据库对接的应用越来越多，需求多种多样，传统的做法是在dbPaaS里面提供十几个不同的数据库产品.
【论文精读】| MulT —— Multimodal Transformer for Unaligned Multimodal Language Sequences
"You are worthy! You can do it!"
02-26 8202
首篇跨模态Transformer
论文阅读综述：自动驾驶感知的多模态传感器融合Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
qq_53086461的博客
11-16 2937
我们进详细分析50 多篇利用感知传感器（包括 LiDAR 和相机）尝试解决对象检测和语义分割任务的论文。
​ICML 2023 | 可证明的动态多模态融合框架：一个简单而有用的理论
Paper weekly
06-29 2700
©PaperWeekly 原创 ·作者 |张庆阳单位 |天津大学智能与计算学部研究方向 |多模态机器学习方法动机多模态融合是多模态学习领域的基础问题。近年来，多模态动态融合在复杂场景的感知任务上取得了瞩目的效果。如自动驾驶领域中装配多种传感器的无人车、智能医疗领域中的各种临床检测数据。但现实世界中往往存在大量的低质量多模态数据：噪声、缺失模态，不平衡的多模态数据。传统的融合方法往往忽略了由...
多模态融合(五)Dynamic Fusion with Intra- and Inter-modality Attention Flow for Visual Question Answering
csdn_tclz的博客
11-15 1895
背景 本篇论文的工作来自香港中文大学。研究内容是VQA 摘要 学习有效地融合多模态特征是视觉问题回答的核心。本文提出了一种动态融合模态内、模态间信息流，即在视觉模态和语言模态之间传递动态信息的新方法。作者提到，在此之前，处理VQA问题所使用的方法基本分为两大派，模态内的关系学习或者模态间的关系学习。然而，在解决VQA问题的统一框架中，模态间和模态内的关系从来没有被联合研究过。本文认为，对于VQA问题，每个模态内的模态关系与模态间的关系是互补的，而现有的VQA方法大多忽略了这一点。 方法 Intermoda
智能座舱“试水”多模态交互
高工智能汽车
08-26 1122
一直以来，在智能汽车的舱内感知交互部分，汽车制造商的目标是打造一个对驾驶员及乘客有深刻理解、能够满足驾驶相关需求和非驾驶相关需求的个人助理。 从早期的语音交互，到驾驶员注意力监控、疲劳预警再到手势交互，这样的多模态交互系统与驾驶员辅助系统一起形成合力，帮助提升行车安全以及舱内的体验。 在高工智能汽车研究院看来，再加上AR HUD、生命体征监测、智能触控面板等其他舱内技术，结合多模态人机交互，意味着智能座舱进入真正的智能2.0时代。 这其中，基于语音、触觉、手势、视线追踪等多模交互技术已经进入新车前装量
实现多模态图像融合及下游双层次动态学习项目（附代码）
记录学习的小白
05-22 2138
近年来，图像融合和场景理解等多模态场景感知任务在智能视觉系统中受到了广泛关注。然而，早期的努力总是考虑单方面推进某一项任务，而忽略其他任务，很少调查它们之间的潜在联系，以共同推进。为了克服这些限制，我们建立了分层双任务驱动的深度模型来桥接这些任务。具体而言，我们首先构建图像融合模块融合互补特征和级联双任务相关模块，包括视觉效果判别器和特征测量语义网络。我们提供了一个双层面的视角来制定图像融合和后续的下游任务。为了将不同的任务相关响应纳入图像融合，我们将图像融合作为主要目标，并将双模块作为可学习约束。
多模态融合2022|TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
Rolandxxx的博客
03-24 9045
论文题目：TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 会议：CVPR2022 单位：香港科技大学，华为 1.摘要+intro 作者认为目前的坑是在point-wise级的融合，之前方法存在两个主要问题，第一，它们简单地通过逐个元素相加或拼接来融合LiDAR特征和图像特征，因此对于低质量的图像特征，例如光照条件较差的图像，这样融合的性能会严重下降。第二，稀疏的LiDAR点与密集的图像像素之间
多模态融合技术升级！新阶段2大融合模式取得最优性能
学姐带你玩AI的博客
03-07 3435
每种方法都附有。
Multi-Modal Temporal Convolutional Network for Anticipating Actions in Egocentric Videos
最新发布
11-04
Multi - Modal Temporal Convolutional Network（多模态时间卷积网络）用于第一人称视角视频动作预测具有重要意义。在第一人称视角视频中，包含了多种模态的信息，如视觉、音频等，多模态时间卷积网络能够综合利用这些不同模态的信息，从而更准确地对未来动作进行预测。 多模态时间卷积网络通过卷积操作来捕捉视频序列中的时间特征。它可以处理不同模态数据在时间维度上的依赖关系，例如视觉画面中物体的运动轨迹、姿态变化等随时间的演变，以及音频中声音的节奏、语调等信息的时间特性。 这种网络结构可以结合不同模态的特征表示，将视觉和音频等特征融合在一起，以提高动作预测的性能。通过在多模态数据上进行训练，网络可以学习到不同模态之间的关联和互补信息，从而更好地理解视频中人物的行为意图，提前预测即将发生的动作。 ```python # 以下是一个简单的多模态时间卷积网络的代码示例（仅为概念展示，非完整可运行代码） import torch import torch.nn as nn class MultiModalTemporalConvNet(nn.Module): def __init__(self, visual_channels, audio_channels): super(MultiModalTemporalConvNet, self).__init__() self.visual_conv = nn.Conv1d(visual_channels, 64, kernel_size=3, padding=1) self.audio_conv = nn.Conv1d(audio_channels, 64, kernel_size=3, padding=1) self.fc = nn.Linear(128, 10) # 假设最终预测10种动作 def forward(self, visual_input, audio_input): visual_out = self.visual_conv(visual_input) audio_out = self.audio_conv(audio_input) combined = torch.cat((visual_out, audio_out), dim=1) output = self.fc(combined) return output ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值