论文笔记 ：Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding

最新推荐文章于 2022-06-28 13:39:21 发布
原创 最新推荐文章于 2022-06-28 13:39:21 发布 · 2.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #VQA #图像处理 #自然语言处理 #计算机视觉

本文提出一种名为Multimodal Compact Bilinear Pooling (MCB)的方法，该方法能够有效地表征多模态数据，适用于视觉问答(VQA)和视觉定位任务。传统方法如点积、相加及链接等不足以表达模态间的复杂交互，而外积虽理论上更佳却因高维度难以应用。MCB通过两次使用，分别在空间特征的预测注意力以及融合注意力表征和问题表征中实现高效处理。
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding

AkiraFukui*1,2 DongHukPark*1 DaylenYang*1 AnnaRohrbach*1,3 TrevorDarrell1 MarcusRohrbach1 1UC Berkeley EECS, CA, United States 2Sony Corp., Tokyo, Japan 3Max Planck Institute for Informatics, Saarbr¨ucken, Germany


arXiv:1606.01847v2  [cs.CV]  23 Jun 2016


摘要：


近年来对从大规模语言或者可视化数据集中训练针对针对文本或者可视化信息的向量表征建模取得成功。

然而VQA要求‘融合’这些向量表征，关于多模态池化的途径包括：点积，相加和链接。

本文假定以上方法不如外积有效的表征，然而外积由于维度太高一般实际上不可行。

本文提出MCB(Multimodal Compact Bilinear)来有效表征多模态组合。

本人提出一种两次使用MCB的架构，一次在空间特征的预测注意力中，一次在融合'注意力表征'和'问题表征'中


【多模态论文阅读】Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual
qq_36643449的博客
03-03 3041
一、亮点 在融合文本和视觉两种模态的时候，通常使用concatenation的方法或者element-wise 乘积or求和，但是我们认为这些方法不如两个向量之间的外积那样具有表现力。与元素积相比，外积计算的是两个向量的所有元素之间的乘法交互。然而由于外积的高维性，通常是不可行的，所以本文提出用多么太紧凑双线性池化(MCB)来高效地表达多模态特征。 并且本文的还有一个亮点在于，对于VQA任务，使用两次MCB——一次用于预测对于空间特征的attention，另一次用于融合文本特征和视觉特征。 通过将图像和文本
双线性池化【BiLinear Pooling】
hei_hei_hei_的博客
05-12 1394
1. 简介 bilinear pooling主要用于特征融合，对于从同一个样本中提取出来的特征x和y，通过bilinear pooling操作可以得到x和y融合后的特征（本质是向量相乘） ps：如果x和y来自两个特征提取器，则被称为多磨双线性池化（MBP）;若x=y，则被称为同源双线性池化（HBP）或二阶池化（Second-order Pooling） 2. 计算过程 对于图像III在位置lll上的两个特征向量fA(l,I)∈RT×Mf_A(l,I)∈R^{T×M}fA​(l,I)∈RT×M和fB(l,I)
compact bilinear pooling(tensorflow版本)
08-23
compact bilinear pooling(tensorflow版本)，可用于细粒度分类，特征融合
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding——EMNLP2016
weixin_43364401的博客
04-17 1674
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding——EMNLP2016 文章链接： https://arxiv.org/pdf/1606.01847v3.pdf 概述：本文的主要工作点在多模态融合时 两个特征的融合使用双线性（外积、克罗内克积）能够更好更全面地表征 但外积使维...
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
人工智能
06-11 1494
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding Akira Fukui, Dong Huk Park, Daylen Yang, Anna Rohrbach, Trevor Darrell, Marcus Rohrbach (Submitted on 6
MUTAN:Multimodal Tucker Fusion For Visual Question Answering
snow_maple521的博客
09-19 2153
MUTAN:Multimodal Tucker Fusion For Visual Question Answering 1. 摘要 虽然Bilinear models（双线性模型）在VQA中能够很好的融合信息，帮助学习问题意义和图像内容之间的高级关联，但是存在高维度问题，所以本文引入MUTAN概念——基于多模态张量Tucker分解，能够有效的在视觉和文本的双线性交互（Bilinear models）的模型中进行参数化，除Tucker分解之外，还设计了基于矩阵的低秩分解 来明确限制交互等级。 2. 引言 V
VQA 之 Multimodal Compact Bilinear Pooling
bea_tree的博客
06-08 8351
涉及论文 [1]Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding https://www.arxiv.org/pdf/1606.01847.pdf [2]Compact Bilinear Pooling https://arxiv.org/pdf/151
论文笔记: (compact) Bilinear Pooling, Confusion
Wayne2019的博客
11-04 1万+
Learn by attention, learn with confusion.先引用几段魏秀参大神的论述「见微知著」——细粒度图像分析进展综述 细粒度物体的差异仅体现在细微之处。如何有效地对前景对象进行检测，并从中发现重要的局部区域信息，成为了细粒度图像分类算法要解决的关键问题。对细粒度分类模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息的分类模型”两
Visual Question Answering: Datasets, Algorithms, and Future Challenges心得体会
gxc19971128的博客
03-01 1653
最近刚好在写综述，也看了一篇较早的综述性文章，作为VQA入门性文章还是值得一看的，这边自己记录了一下关于这篇文章的阅读体会，以及相关部分翻译，以供自己学习写作为用。 文章下载地址：Visual Question Answering: Datasets, Algorithms, and Future Challenges——下载地址 目录 1.文章导读 2.文章精读 2.1经典的数据集介绍...
阅读笔记（Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding)
人工智能
06-11 2730
转载请注明出处：西土城的搬砖工 论文链接：Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding 来源：EMNLP（2016） 关键词：Multimodal Compact Bilinear(MCB)，VQA 问题： 对于像视觉问答系统、视觉定位系统这样Multi
双线性池化（Bilinear pooling）tensorflow版
08-23
双线性池化（Bilinear pooling）tensorflow版，可以用于细粒度分类
bilinear pooling
weixin_30616969的博客
04-25 314
一、双线性汇合的计算过程： 第一步，计算Gram 矩阵： 对于一组H×W×D的feature maps，$\boldsymbol{x}_{i} \in \mathbb{R}^{D}$是图像的深度描述，其中$1 \leq i \leq H W$。双线性汇合双线性汇合是计算深度描述向量的格拉姆矩阵（Gram matrix），其中$\boldsymbol{G} \in \mathbb{R}...
Multimodal Compact Bilinear Pooling（MCB）多模态紧凑双线性池
薄荷糖
01-16 2947
出自：Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding 分别提取对应模态的特征：对图片利用pre-train的CNN提取图片高层特征，对于文本则提取word-embeding,并通过lstm解码后的特征；　　 利用上个步骤得到的两个模态特征，分别利用Count Sketch方法进行逼近(降维)，得到降维之后的特征； 将上述得到的特征分别进行FFT，将其变换至频域，并在频域作向
多模态融合算法——Multimodal Compact Bilinear Pooling
热门推荐
华为云官方博客
03-05 2万+
【摘要】 很多多模态任务，都需要融合两个模态的特征。特征融合即输入两个模态的特征向量，输出融合后的向量。最常用的方法是拼接（concatenation）、按位乘（element-wise product）、按位加（element-wise sum）。MCB的作者认为这些简单的操作效果不如外积（outer product），不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。 Mult...
双线性池化（Bilinear Pooling）
专业主义
06-28 3768
bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征y，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。如果特征x和特征y来自两个特征提取器，则被称为多模双线性池化（MBP，Multimodal Bilinear Pooling）； 如果特征x=特征y，则被称为同源双线性池化（HBP，Homogeneous Bilinear Pooling）或者二阶池化（Second-order Pooling）。原始的Bilinear Pooling存在融合
双线性池化（bilinear pooling）
weixin_43899249的博客
04-27 779
双线性池化（bilinear pooling）简介公式通俗的说法如果理解有误请指出 简介 bilinear pooling在2015年于《Bilinear CNN Models for Fine-grained Visual Recognition》被提出来用于fine-grained分类后，又引发了一波关注。bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征 y ，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。 如果特征x和特征y来自两
论文阅读笔记之——《Compact Bilinear Pooling》
gwpscut的博客
07-10 3510
感觉跟之前看过的论文《实验笔记之——《Multi-scale Location-aware Kernel Representation for Object Detection》复现》很类似，通过kernel的近似来实现高维特征的提取 虽然bilinear 模型取得较好的performance，但是它的成本高（运算量、存储量）。为此作者提出一种紧凑型的bilinear model Our pr...
双线性池化 bilinear pooling
小幸运
07-14 8917
bilinear pooling主要用于特征融合，对于从同一个样本提取出来的特征x和特征y，通过bilinear pooling得到两个特征融合后的向量，进而用来分类。 如果特征x和特征y来自两个特征提取器，则被称为多模双线性池化（MBP，Multimodal Bilinear Pooling） 如果特征x=特征y，则被称为同源双线性池化（HBP，Homogeneous Bilinear Pooling）或者二阶池化（Second-order Pooling） bilinear pooling详.
FGVC---Bilinear Pooling (双线性池化)及其发展
xys430381_1的专栏
04-23 6122
这里写目录标题基本的Bilinear CNN降低维度Compact Bilinear Pooling-CVPR2016Low-rank Bilinear Pooling for Fine-Grained Classification-CVPR2017跨层双线性池化Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition-EC...
Multimodal Compact Bilinear Pooling和Cross-Modal Retrieval作为模态联合学习有什么区别
最新发布
05-21
### Multimodal Compact Bilinear Pooling 和 Cross-Modal Retrieval 的区别 #### 多模态紧凑双线性池化 (Multimodal Compact Bilinear Pooling, MCBP) MCBP 是一种用于多模态特征融合的技术，其核心在于通过双线性...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值