论文笔记 Co-Attending Free-Form Regions and Detections （AAAI2018)

原创 已于 2023-12-24 11:07:17 修改 · 638 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读

于 2018-07-23 20:42:53 首次发布
本文提出一种结合自由形态区域与检测区域的方法解决视觉问答(VQA)问题。通过利用ResNet152和Faster R-CNN分别提取图像特征，采用多模态乘法特征嵌入机制实现注意力机制的有效整合，以克服各自局限性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Co-Attending Free-Form Regions and Detections with Multi-Modal Multiplicative Feature Embedding for Visual Question Answering

现在做VQA的，很多方法都是基于question在图像中寻找显著性区域，来获得相应answer。

attention主要分为两支free-form region based 和 detection-based 。

两支单独做，各有弊端，比如free-form的图像的切分往往会把object分成很多细粒度块，而如cat的身体与狗的身体块，可

能很相似，这样会误导模型产生错误的答案，而dection based mechanism往往事先检测出实体区域，对于许多涉及前景的

问题很有利，但比如“How is the weather today?”这样的问题确比较难，因为或许不存在sky这样的bounding box。

因此本文将两种方式结合起来，彼此互补。

方法思想

这里写图片描述
网络结构

这里写图片描述

free based是利用Resnet152提取14142048特征，可视为划分196个图像区域。

detection based是利用fasterrcnn提取19个bounding box特征19*4097（其中4096是图像特征，1是

bounding box的检测得分。）

attention细节

这里写图片描述

数据集

VQA, COCO-QA

结果

这里写图片描述
这里写图片描述
这里写图片描述
论文网址：Co-Attending Free-Form Regions and Detections with Multi-Modal Multiplicative Feature Embedding for Visual Question Answering

github源码：dual-mfa-vqa

（七十八）：Co-attending Free-form Regions and Detections with Multi-modal Multiplicativ
Wangzx的博客
02-16 433
标题Abstract1. Introduction2. Related Work3. Method4. Experimental Setup5. Evaluation Results6. Conclusions 出处： 代码： 题目： 主要内容： Abstract 1. Introduction 2. Related Work 3. Method 4. Experimental Setup 5. Evaluation Results 6. Conclusions ...
【多模态】Co-attending Free-form Regions and Detections with Multi-modal Multiplicativ Emb for VQA 论文阅读笔记
qq_36643449的博客
05-24 440
一、概述 这篇文章做的是VQA。 在之前几个博客中，我们有提到在问题query对图像做attention的时候，有两种attention方式，一种是对feature map做attention，另一种是对Faster R-CNN抽取到的bounding box做attention。 对feature map做attention的模型可以参考以下几篇论文阅读笔记： 【多模态】《Stacked Attention Networks for Image Question Answering》论文阅读笔记 【多模态
AAAI(spotlight)-2018-12-Detect or Track-论文阅读笔记
Meihuashan_HUST的博客
01-10 1953
摘要： 当前最好的检测器和跟踪器正在往越来越快方向发展。跟踪的计算量一般小于检测，但是有漂移的问题。利用现有的检测/跟踪器在给定的计算条件下来提高精度。最常用的做法是隔N帧进行一次检测，检测之间做跟踪，但是检测的频率取决于跟踪的精度。本文提出一个调度网络，确定当前帧做检测还是做跟踪，虽然调度网络比较轻量，但是比隔真检测更有效。 一. 引言： 跟踪器在效率和精度上一般比检测器要高一些，但是存在不能长...
Free-Form Region Description with Second-Order Pooling 论文笔记
赶考书生
08-09 469
Carreira J, Caseiro R, Batista J, et al. Free-Form Region Description with Second-Order Pooling.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(6):1177-1189. Abstract:...
论文笔记 AAAI 2018|Graph Convolutional Networks with Argument-Aware Pooling for Event Detection
o11oo11o的博客
12-26 799
文章目录1 简介1.1 创新2 方法3 实验 1 简介 论文题目：Graph Convolutional Networks with Argument-Aware Pooling for Event Detection 论文来源：AAAI 2018 论文链接：https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/viewPaper/16329 1.1 创新 第一次使用GCN融合句法信息用于事件检测任务。 提出一个新的pooling方法，基于实体提及。
论文 Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction
u010732327的专栏
05-14 1558
论文 Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation ExtractionVerga, Patrick, Emma Strubell, and Andrew McCallum. "Simultaneously Self-Attending to All Mentions for ...
Comparison of personality profiles for intellectually gifted students and students outstanding in the fine and performing arts attending self-contained secondary schools
06-29
Comparison of personality profiles for intellectually gifted students and students outstanding in the fine and performing arts attending self-contained secondary schools Psyrhology in the Schools ...
Stability of performance on the PPVT-R for three ethnic groups attending a bilingual kindergarten
06-29
Stability of performance on the PPVT-R for three ethnic groups attending a bilingual kindergarten Psychology in rhe Schools Volume 20, October. 1983 STABILITY O F PERFORMANCE ON THE PPVT-R FOR ...
2018_AAAI_Social Recommendation with an Essential Preference Space—(AAAI, 2018)
weixin_46645827的博客
12-24 775
[论文阅读笔记]Social Recommendation with an Essential Preference Space—(AAAI, 2018)-- Chun-Yi Liu, Chuan Zhou, Jia Wu, Yue Hu, Li Guo 论文下载地址：https://www.researchgate.net/publication/327164113_Social_Recommendation_with_an_Essential_Preference_Space 发表期刊：AAAI Pub
人工智能领域顶会AAAI 2018 论文列表
01-09
人工智能领域顶会AAAI 2018 论文列表, AAAI 是由人工智能促进协会每年举行的学术会议，是研究人员和科学家展示他们在人工智能领域的研究和新思考的平台.
AAAI2018 multi-agent RL
08-02
AAAI 2018年论文关于多智能体强化学习方面的研究论文合辑
5 篇 AAAI 2018 论文看「应答生成」
qq_42483967的博客
08-22 553
本文将介绍 AAAI 2018 中的五篇关于应答生成方面的论文，希望对大家有所启发。 写作动机 作者认为，虽然之前的论文对多轮对话的层次结构进行了建模，知道应答的生成应该考虑到上下文（context）信息，但是却忽略了一个重要的事实，就是上下文中的句子（utterance）和单词（word）对应答有着不同分量的影响。 所以，作者提出了一种层次化的注意力机制来对多轮对话中不同层面的影响进行...
[NIPS 2018] GLoMo Unsupervisedly Learned Relational Graphs as Transferable Representations
一亩高粱
10-17 998
图表示学习
Unsupervised Abstractive Meeting Summarization...论文笔记
ccbrid的博客
11-29 1000
1. 论文信息 Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization ACL 2018 2. 相关工作（本文使用到了以下工作内容） •Multi-Sentence CompressionGraph (MSCG) ...
多模态深度学习综述：网络结构设计和模态融合方法汇总
zandaoguang的博客
12-22 3549
作者丨小奚每天都要学习@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/152234745编辑丨极市平台一、简介从2010年开始，深度学习方法为语音识别，图...
2018顶级会议论文——AAAI 2018
ZHAO1995ZHAO的博客
04-10 4014
会议时间：2月2日~7日 会议地点： 新奥尔良市，美国 美国人工智能协会（American Association for Artificial Intelligence）美国人工智能协会是人工智能领域的主要学术组织之一。该协会主办的年会（AAAI, The National Conference on Artificial Intelligence）是一个人工智能领域的主要学术会议。 今年...
AAAI 2018 杰出论文出炉，两位中国留学生共同获奖
AI科技大本营
01-18 2496
编辑 | 周翔作为人工智能的顶级会议，AAAI 2018 将于 2.2~2.7 在美国路易斯安那州的新奥尔良举行。然而，大会还没开始，获奖信息就已经在网上传播开来。获得“杰出论文奖”的是加拿大阿尔伯塔大学 Martin Müller 教授与他的两位学生 Chenjun Xiao,Jincheng Mei 的论文：“Memory-Augmented Monte Carlo Tree Search”
NIPS 2018 论文解读集锦（11月28日更新）
极市平台的技术博客
10-30 4826
今年我们整理过视觉顶级会议CVPR 2018论文解读集锦 和 ECCV 2018论文解读集锦，并持续更新中，如今备受瞩目的NIPS 2018也将于12月举行，目前已经公布了所有收录论文名单，为了能够让大家更深刻了解前沿技术及论文资讯，我们进行了一些NIPS 2018优秀论文解读的整理，欢迎大家收藏交流。 NIPS 2018收录文章：https://nips.cc/Conferences/2018...
论文笔记：A Sensitivity Analysis of Convolutional Neural Networks for Sentence Classification
vivian_ll的博客
07-02 2455
A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification——Ye Zhang，Byron C. Wallace 这篇paper的主要工作是对“Convolutional Naural Networks for Sentence ...
Does every college student need to go to and from college? Write a 150-word speech
04-14
On one hand, attending college physically can provide students with a valuable social experience, as it allows them to interact with peers, form relationships, and participate in extracurricular ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值