【CVPR2022】VizWiz-VQA Grounding Challenge冠军算法介绍--Aurora

原创 已于 2022-08-07 16:21:38 修改 · 置顶 · 2.4k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #计算机视觉 #nlp

于 2022-08-07 16:18:20 首次发布
本文介绍了Aurora团队在CVPR2022 VizWiz VQA Grounding挑战中夺冠的方法——DaVI Framework，该框架包括理解问题的VLE组件和聚焦证据区域的LVD组件，提升了43.14%的精度，超越DeepMind团队。

一、简介

之前从没接触过多模态方向，这次和在字节的师兄一起参加了一个VQA相关的比赛，发现基于图像-文本的预训练是一个很火热的领域，比如BLIP，LAVT等。在此基础上，针对VQA Grounding任务不光需要回答问题、还需要进行视觉分割的特点设计了一种双流的视觉-语言交互方法，最终在CVPR2022的VizWiz VQA Grounding赛道取得了第一名的成绩，详细介绍链接如下：

Video：ByteDance&Tianjin University --- Aurora

论文链接： Tell Me the Evidence? Dual Visual-Linguistic Interaction for Answer Grounding

二、比赛介绍

「视觉问答」是通向多模人工智能的一项基础挑战。

一个自然的应用就是帮助视障人群克服他们日常生活中的视觉挑战，如视障群体通过手机镜头捕获视觉内容，再通过语言对镜头中的内容发起提问。AI算法需要识别和描述物体或场景，并以自然语言的方式进行回答。

在CVPR 2022上，权威视觉问答竞赛VizWiz提出了新的挑战：AI在

最低0.47元/天 解锁文章
MuKEA: Multimodal Knowledge Extraction and Accumulation for Knowledge-based VQA 论文阅读 From CVPR 2022
Bageyalv的博客
04-20 4025
MuKEA：基于视觉问答（VQA）的多模态知识抽取与积累 论文下载：https://arxiv.org/abs/2203.09138 github代码：https://github.com/AndersonStra/MuKEA 一、研究背景 结合外部知识的VQA任务( Knowledge based VQA)需要AI能够利用到超出输入图像、问题之外的额外知识。近年来，尽管一些KB-VQA的方法取得了一定成果，但离像人类一样利用知识的能力仍相去甚远。 外部知识能够辅助AI进行知识推理，从而得到更为准确的答
图文融合模型(续) and VQA过往简述
weixin_42455006的博客
05-20 1641
一.ALBEF(对比学习用cosine对一个batch的样本做个交叉熵) 思考点1 图文对比学习可以用相似度吗，就CLIP和FLIP那样的，或者不是单纯交叉熵，可以用focal loss或者一些别的，比如说根据多模态贡献度来决定各个损失更新方向，【参考cvpr 2022 oral的一篇论文：多模态学习中的贡献不平衡问题】 本文是维护了两个队列来存储动量单模态编码器的最新的M个图像-文本表示 动态模型各个特征归一化，代替原本模型的特征计算概率分布 H是交叉熵函数，也可以看成InfoNCE，即负对数
Grounding Answers for Visual Questions Asked by Visually Impaired People
Eddy_zheng的博客
11-27 887
这篇论文的标题是“Grounding Answers for Visual Questions Asked by Visually Impaired People”，作者是Chongyan Chen, Samreen Anjum, 和 Danna Gurari。论文的重点是在视觉问答（VQA）的领域内，引入了一个新的数据集：VizWiz-VQA-Grounding，这是第一个针对视障人士提出的视觉问题，并在视觉上定位答案的数据集。
【HDU6172】Array Challenge（BM算法）（线性递推）
zxyoi_dreamer的博客（不定期诈尸）
08-09 337
传送门 猜想有线性递推式，然后直接用BM算法切掉了。 代码： #include<bits/stdc++.h> #define ll long long #define re register #define cs const cs int mod=1e9+7; inline int add(int a,int b){return (a+=b)>=mod?a-mod:a;}...
【文献阅读】能兼顾图像理解和推理能力的VQA模型（CVPR，2019）
AI_girl的博客
04-02 1568
一、文章概况 文章题目：《Answer Them All! Toward Universal Visual Question Answering Models》 文章下载地址：http://openaccess.thecvf.com/content_CVPR_2019/papers/Shrestha_Answer_Them_All_Toward_Universal_Visual_Question_Answering_Models_CVPR_2019_paper.pdf 二、文献导读 摘要部分：
跑通代码---2018-CVPR---D-LinkNet: DeepGlobe-Road-Extraction-Challenge
ligous的博客
09-02 4974
跑通代码---2018-CVPR---D-LinkNet: DeepGlobe-Road-Extraction-Challenge
cvpr_clvision_challenge:CVPR 2020持续学习挑战赛-立即提交您的CL算法！
03-08
CVPR 2020 CL​​Vision挑战赛 这是CVPR 2020 CL​​Vision挑战赛的正式开始资料库。 在这里，我们提供： 设置环境和生成zip提交文件的两个脚本。 一个完整的工作示例包括：1）加载数据并设置持续学习协议； 2）在...
CVPR2022学习-人脸识别:An Efficient Training Approach for Very Large Scale Face Recognition
zc的csdn
03-15 6234
看标题大概的理解-其解决的问题： 现阶段我们训练人脸提特征网络，随着人脸ID数据的增加，dataloader和fc层的计算导致硬件开销极大。训练过程中理论上希望将大量数据集中的ID都用上，作者提出这篇文章，能够在一定层度上缓解大数据量情况下，dataloader和fc层参数量的限制。 读文章前大致看了下代码，作者提出数据存储加载方式以使用迭代器加载2个dataloader(该方式在多任务以及多标签中也会经常使用，感觉算是技巧吧，具体论文中的内容后续阅读记录)。 Abstrac...
精选资源
CVPR2022 Image Dehazing Transformer with Transmission-Aware 3D代码
09-24
CVPR 2022 Image Dehazing Transformer with Transmission-Aware 3D Position Embedding 源代码，很有学习价值，大佬任文琦团队的最新去雾杰作，从3D定位的角度去思考去雾。CVPR 2022 Image Dehazing Transformer ...
2022 CVPR VQA相关论文
qq_40481602的博客
07-05 1951
2022年CVPR VQA相关论文汇总
A negative case analysis of visual grounding methods for VQA，CVPR 2020
shuijiaobuzhundahulu的博客
04-14 368
Github: https://github.com/erobic/negative_analysis_of_grounding 摘要：已存在的VQA模型利用数据歧视（bias）和错误的统计相关性来回答问题，而非利用争取的原因。最近的方法引入视觉线索（人的注意力图）来建立更好的VQA模型。本文发现该方法起效果的原因是其起到正则化的作用，避免语言先验产生过拟合。即使随机引入视觉线索也能起到类似的效果。因此，本文提出了一种简单的正则化方案，其在VQA-CPv2上也取得较好结果。 引言： 多数已有模型由于利
VQA论文2021CVPR
sinat_40324410的博客
07-10 1553
Perception Matters: Detecting Perception Failures of VQA Models Using Metamorphic Testing 2021CVPR论文链接 论文概述 高水平的推理一般需要执行多个感知子任务。对于VQA，仅仅使用准确率衡量模型的好坏，无法详细指出错误是来自于低水平的感知问题还是高水平的推理。本文引入MetaVQA，将图像和问题分别转换成子问题和子图像，衡量VQA模型的感知能力。 方法 Question-Oriented MRs: 使用细粒度的
MOT Challenge评价算法代码运行
weixin_43688482的博客
03-21 2075
MOT Challenge 评价代码运行前言一、评价算法代码二、修改步骤1.下载评价代码，解压2.存放自己的跟踪结果文件3.运行程序总结 前言 之前收到私信说不知道MOT Challenge的评价算法怎么修改运行，这里将以MOT17为例，讲解如何将提供的代码修改成自己想要的数据集，并运行自己的跟踪结果 一、评价算法代码 这里附上本人已经修改好的代码链接：MOTChallenge评价代码 这里的评价代码是本人在2019年下载的，最新的评价算法有所变动，但本人尝试了MATLAB版本的，发现代码有BUG，如果
＜＜视觉问答＞＞2022：SwapMix: Diagnosing and Regularizingthe Over-Reliance on Visual Context in VQA
金克丝的博客
04-27 1478
先看一下下面这篇论文对VQA任务语言偏差的介绍Greedy Gradient Ensemble for Robust Visual Question Answering 摘要 虽然VQA发展迅速，但之前的工作对当前VQA模型的健壮性提出了担忧。在这项工作中，我们从一个新的角度研究了VQA模型的稳健性：视觉上下文。我们认为，这些模型过度依赖视觉的上下文部分，即图像中与正确的、应该注意到的对象所不相关的对象来进行预测（就是shortcut bias）。为了衡量模型对视觉上下文的依赖程度并...
CVPR2020-VQA系列文章解读
Mei_七的博客
09-08 794
Towards Causal VQA: Revealing and Reducing Spurious Correlations by Invariant and Covariant Semantic 原文：https://arxiv.org/pdf/1912.07538.pdf code：https://github.com/AgarwalVedika/CausalVQA 解读：尽管视觉问答（VQA）取得了巨大的成功，但VQA模型已经被证明对问题中的语言变化非常脆弱。由于模型和数据集的缺陷，目前的模
[TMI-2022] VQAMix：用于医学视觉问答的带条件三元混合
weixin_56601052的博客
11-09 847
然而，混合两个VQA样本会在不同样本的图像和问题之间构建新的联系，这将导致这些编造的图像-问题对的答案缺失或毫无意义。为了缓解无意义的答案问题，我们设计了带条件混合标签的学习（LCL）策略，该策略进一步利用语言类型的先决条件，迫使混合对拥有属于同一类别的合理答案。在VQA-RAD和PathVQA基准山的实验结果表明，我们提出的方法明显提高了基线的性能，在两个骨干的平均结果上跟别提高了7%和5%，更重要的是，VQAMix可以提高置信度和模型的可解释性，这对医学VQA模型的实际应用意义重大。
【文献阅读】视觉问答VQA中的一些技巧（D. Teney等人，CVPR，2018）
QQ704630835的博客
08-10 988
一、文献概况 文章题目：《Tips and Tricks for Visual Question Answering: Learnings from the 2017 Challenge》 注意到这篇文章是因为在2017 VQA Challenge冠军方案中作者引用到了这篇文章中的一些处理技巧，也就是《Bottom-up and top-down attention for image cap...
突破！阿里达摩院刷新VQA纪录，AI再次超越人类
AI科技大本营
08-13 1179
近年来，在深度学习和大数据的支撑下，自然语言处理技术迅猛发展。而预训练语言模型把自然语言处理带入了一个新的阶段，得到了工业界的广泛关注。随着技术的发展，阿里巴巴达摩院在通用语言的基础上，已...
＜＜视觉问答＞＞2021：Found a Reason for me? Weakly-supervised Grounded Visual Question Answering using Capsu
金克丝的博客
12-19 1042
目录 摘要 一、介绍 二、相关工作 三、方法 四、细节补充 五、数据集 六、实验结果 6.1. Comparison to baseline method 七、结论 摘要 grounding VQA任务是指VQA数据集不光有对问题的答案的标注，还有与问题直接相关的图像区域的标注，普通的数据集根据输入的图像和问题，得到预测的答案，预测值与真值做loss，带图像区域标注的VQA数据集，模型可以额外输出问题所注意到的预测的图像的区域，再与真值做loss，强迫模型去学习视...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值