关于Visual Question Answering Eval

最新推荐文章于 2022-03-30 19:10:40 发布
原创 最新推荐文章于 2022-03-30 19:10:40 发布 · 1.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #自然语言处理 #计算机视觉

文章目录

一些重要的链接

在这里插入图片描述

VQA 1.0

  • Test的地址：www.codalab.org，分为test-dev, test-std，其中dev的所有QA pairs都来自于test-std。一般用来测试的json文件，前者也会比后者小很多

注意事项：

  1. test-std上传数量有限，每个账号总共只能上传5次。且也有每日上限制。
  2. 上传前，把json文件压缩为results.zip再上传，其中json文件命名格式需为vqa_[task_type]_[dataset]_[datasubset]_[name]_results.json, 例如：vqa_OpenEnded_mscoco_model-name_results.json，
最低0.47元/天 解锁文章
BierOne
关注
DriveLM: Driving with Graph Visual Question Answering代码实战
qq_52053775的博客
06-16 341
在感知阶段，核心问题包括当前场景中的重要物体有哪些、物体 X 的运动状态如何以及物体 X 的视觉描述等，这些问题旨在全面理解场景中的物体信息。预测阶段关注物体 X 的未来状态、物体 X 是否会出现在自车的行驶方向上，以及自车到达下一个可能位置时应首先 / 其次 / 第三注意哪些物体，以实现对环境变化的预判。规划阶段则聚焦于基于物体 X 的观察自车可采取哪些动作、自车哪些动作会导致与物体 X 碰撞，以及在该场景下自车的安全动作是什么，从而生成合理的驾驶决策。对于自车应注意物体的顺序问题，按匹配情况计算得分。
【Image captioning】论文1（网格特征）In Defense of Grid Features for Visual Question Answering（CVPR2020)
安静到无声
04-11 1775
多模态视觉与语言研究中的一些重要发展，包括深度学习和注意力机制的引入以及“自下而上”的注意力机制的发现。相比传统的“自上而下”的语言输入来聚焦于视觉输入的特定部分，自下而上的注意力机制使用预训练的物体检测器仅基于视觉输入本身来识别显著区域。因此，图像通过基于边界框或区域的特征表示，这些特征已经在多项任务中占据主导地位，尤其是视觉问答任务。 该段文字探讨了区域特征在多模态视觉与语言研究中成功的原因。作者提出了两种可能的原因：一是更好地定位单个物体，由于区域是直接从检测器输出的边界框结果；二是若干个重叠的区域可
论文解读：Multi-Modal Explicit Sparse Attention Networks for Visual Question Answering
奋斗小青年
03-10 804
Multi-Modal Explicit Sparse Attention Networks for Visual Question Answering 1.abstract 视觉问答是一个多任务涉及到自然语言处理(NLP)和计算机视觉(CV),这需要模型来理解视觉信息和文本信息的同时预测输入视觉图像和文本的正确答案的问题,已广泛应用于智能和智能交通系统、智能城市和其他领域。今天，先进的VQA方法通过设计共同注意机制来模拟图像区域和问题单词之间的密集交互，以实现更好的准确性。但是，建模每个图像区域和每个
VQA（图像问答）数据集结构及大致内容
Geek_of_优快云的博客
10-15 7573
这篇文章只讲下VQA的文件结构和文件内容，官方工具的用法及一些小技巧。 VQA数据集概况 其实VQA有很多种数据集，比较常用的有VQA v1.0、 VQA v2.0、Visual7W等。这篇文章中使用的数据集主要是VQA v1.0（其实和2.0差不多，读取方式没变，只是优化了内容，让模型更加不容易通过蒙来答对问题）。 直接开始吧。 VQA V1.0结构及内容概要 VQA v1.0的数据集内容如下1： VQA的结构： 以上图片截图自VQA官网 总之就是每张图片对应3个以上的问题（平均5.4个），每个问题对
Text-VQA数据集以及方法总结
学无止境
08-04 9552
TextVQA数据集： ST-VQA | Paper | Download Text-VQA | Paper | Download OCR-VQA | Paper | Download STE-VQA | Paper | 方法： M4C | Paper | Code | 笔记 SA-M4C | Paper | 笔记 SMA | Paper | 笔记 MM-GNN | Paper LoRRA | Paper | Code QA R-CNN ｜ Paper
2017 VQA Challenge 第一名技术报告
Paper weekly
09-26 1257
作者丨罗若天 学校丨TTIC博士生 研究方向丨NLP，CV 1. 前言 之前听 Chris Manning 讲过一个 talk，说他们复现别人的 paper，按照别人的算法写，做到了比原本那篇 paper 高了 10 个点的结果。还有听认识的同学说，有一年因为算法的 performance 不够好论文被拒了，第二年重新回过去跑那个代码，随便调了调，
图灵机器人——VQA模型的介绍
siyuchen的博客
04-22 1846
VQA的起源图灵测试：如果强AI，使你分辨不出是人还是计算机，完成了图灵测试。Eugene Goostman算法：模仿了乌克兰13岁小男孩，无法判断对方是人还是机器人，完成了首个可以pass 图灵测试。1、13岁2、乌克兰人3、英语可能也不好是不是有更好的测试，所以就有了新图灵测试的探讨：既然说图灵测试可以用作弊的方式解决，在这种情形下，产生了VQA：http://www.visualqa.org...
[VQA论文阅读]RUBi Reducing Unimodal Biases for Visual Question Answering
qq_45347185的博客
03-30 533
改变样本权重 减小最有偏置的样本的重要程度：比如那些不需要看图片就能够回答正确的样本 这样会让模型不再依赖于两个模态，而是使用统计概率解决问题 我们使用了一个只有问题的模型，能够通过识别不想要的规律被使用，来捕获语言偏置 代码 github.com/cdancette/rubi.bootstrap.pytorch 1.介绍 将what color banana 链接到yellow。利用了只有问题的模型是偏向问题模态的事实。在训练时，增加一个只有问题的分支，动态的调整损失来补充偏置。所以，反向传播会减少最偏.
用于视觉问答的防御网格特征模型《In Defense of Grid Features for Visual Question Answering》
xiashilin的博客
06-21 1970
这是视觉问答论文阅读的系列笔记之一，本文有点长，请耐心阅读，定会有收获。如有不足，随时欢迎交流和探讨。 一、文献摘要介绍 Popularized as ‘bottom-up’ attention [2], bounding box (or region) based visual features have recently surpassed vanilla grid-based convolutional features as the de facto standard for vision a
VQA_v2数据集预处理
热门推荐
weixin_45339060的博客
03-30 1万+
数据集文件介绍 VQA官网上提供了数据集文件：VQA_v2数据集 image train：82783 val：40504 test：81434 question train：443757 val：214354 test：447793 answer train：4437570 val：2143540 大致理解一下 根据官网的question文件，可以先理解一下文件里包含的内容： { "info" : info, "task_type" : str, "data_type": str,
VQA数据集介绍
xiashilin的博客
10-18 4088
【文献阅读】VQA的综述：方法和数据集（Q. Wu等人，Computer Vision and Image Understanding，2017）
QQ704630835的博客
09-23 3234
一、文章背景 文章题目：《Visual question answering: A survey of methods and datasets》 这篇文章算是早期比较经典的VQA综述之一了。作者是来自沈春华老师团队。 文章下载地址：https://www.sciencedirect.com/science/article/pii/S1077314217300772 文章引用格式：Q. W...
批量修改文件夹下的txt文件内容，可用于VQA数据集制作
QQ704630835的博客
12-02 1091
一、背景 最近在做一个数据集，但是数据集是不同人标注的，不同人标注的习惯和方式不同，因此需要对数据集做一些后处理。 二、问题介绍 做好数据集之后，需要对txt文本进行统计，统计的时候发现了下面的情况： 很明显里面的two和2是一个意思，但是他们却是按不同的内容来记录的，因此需要将他们改为一致。另外还有一些特殊情况，比如： 统计的文本中还有类似于制表符，单词前和单词后有空格，这些都...
视觉问答VQA知识资料全集
君子玉德
09-21 4026
视觉问答（Visual Question Answering，VQA）专知荟萃 入门学习 进阶论文 Attention-Based Knowledge-based Memory Network Video QA 综述 Tutorial Dataset Code 领域专家 入门学习 基于深度学习的VQA（视觉问答）技术 [https://zhuanlan.zhih...
lmms-eval llava
最新发布
07-03
为了评估 LLaVA 模型的性能，可以使用 **LMMS-Eval**（Language Models for Multimodal Tasks - Evaluation Framework）这一多模态语言模型专用的评估框架。该框架支持对包括 LLaVA 在内的多种多模态大模型进行系统性评测，涵盖多个任务和数据集。 ### 评估流程 #### 1. 安装 LMMS-Eval 首先需要安装 `lmms-eval` 包，可以通过以下命令安装： ```bash pip install lmms-eval ``` 如果需要最新的开发版本，可以从 GitHub 上克隆仓库并安装： ```bash git clone https://github.com/LMM-Workbench/lmms-eval.git cd lmms-eval pip install -e . ``` #### 2. 准备 LLaVA 模型 确保你已经准备好要评估的 LLaVA 模型权重，并可通过 Hugging Face 或本地路径加载。例如，使用 `transformers` 加载模型： ```python from transformers import AutoModelForVision2Seq, AutoProcessor model = AutoModelForVision2Seq.from_pretrained("llava-hf/llava-v1.5-7b") processor = AutoProcessor.from_pretrained("llava-hf/llava-v1.5-7b") ``` #### 3. 使用 LMMS-Eval 进行评估 运行评估时，可以选择特定任务或全部任务。以下是使用 CLI 命令评估 LLaVA 在指定任务上的示例： ```bash lmms-eval --model llava \ --model_args pretrained=llava-hf/llava-v1.5-7b \ --tasks vqav2,okvqa,clevr \ --batch_size 4 \ --output_path results/ ``` 其中： - `--model` 指定使用的模型接口。 - `--model_args` 提供模型参数，如预训练模型名称或路径。 - `--tasks` 指定评估的数据集任务。 - `--batch_size` 设置推理批次大小。 - `--output_path` 保存评估结果。 #### 4. 结果分析 评估完成后，会生成 JSON 格式的输出文件，包含各项指标如准确率、BLEU 分数等。例如，在 VQA v2 数据集上，LLaVA 的表现可能接近 GPT-4 的一部分水平，具体取决于模型版本和训练阶段[^1]。 ### 支持的任务与数据集 LMMS-Eval 支持多种多模态任务，包括但不限于： - **VQA (Visual Question Answering)**：视觉问答。 - **Image Captioning**：图像描述生成。 - **OCR (Optical Character Recognition)**：文本识别。 - **Object Detection and Classification**：目标检测与分类。 - **Medical Vision QA**：医学图像问答。 ### 示例代码片段 以下是一个 Python 脚本调用 `lmms-eval` API 的方式： ```python from lmms_eval import evaluator results = evaluator.simple_evaluate( model="llava", model_args={"pretrained": "llava-hf/llava-v1.5-7b"}, tasks=["vqav2", "clevr"], batch_size=4 ) print(results["results"]) ``` ### 性能优化建议 - 如果使用 GPU，确保已安装 CUDA 支持的 PyTorch 版本。 - 对于大规模评估，可启用分布式计算以加快处理速度。 - 使用混合精度推理（FP16）减少内存占用并提升推理速度。 ### 评估注意事项 - 确保输入图像和问题格式符合模型要求。 - 部分任务可能需要额外依赖库（如 `pycocotools` 用于 COCO 相关任务）。 - 评估结果受提示工程（prompt engineering）影响较大，建议尝试不同提示模板。 ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值