Visual Reasoning | GQA Dataset

最新推荐文章于 2024-09-08 21:40:28 发布
原创 最新推荐文章于 2024-09-08 21:40:28 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

参考博客：
https://blog.youkuaiyun.com/hester_hester/article/details/103238649
https://zhuanlan.zhihu.com/p/64183181

CLEVR虽然消除了dataset bias，但是人工合成的图像和问题组成，多样性较低，类和属性较少，容易使模型记住所有组合。
因此提出GQA，由真实图像组成，并在一个大的语义空间中运行，更具挑战性。

GQA数据集围绕真实图像推理、场景理解和合成问题回答等一系列任务，由113K张图像和22M个不同的问题组成。该数据集衡量了一些列推理技能。reasoning skills such as object and attribute recognition, transitive relation tracking, spatial reasoning, logical inference and comparisons.

Introduction

三个贡献：
在这里插入图片描述

Dataset

借鉴了CLEVR数据集， structured representations and detailed annotations for images and questions
建立了scene graph来表示物体，属性，和关系。同时和CLEVR一样也有functional program
在这里插入图片描述

具体的生成方式，并且提出一系列metrics，在GQA task进行综合评估
在这里插入图片描述

分组查询注意力(GQA)
TOUCH的博客
10-12 946
作为MHA与MQA之间的插值方案，GQA通过将查询头分组并共享键值对，显著减少了内存带宽开销。
GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
wangxiaoxiaodeer的博客
12-23 1794
GQA:一个用于真实世界视觉推理和合成问题回答的新数据集 我们引入了GQA，一个新的用于真实世界视觉推理和合成问题回答的数据集，试图解决先前VQA数据集的主要缺点。我们开发了一个强大而健壮的问题引擎，它利用视觉基因组场景图结构来创建2200万个不同的推理问题，这些问题都带有表示其语义的功能程序。我们使用这些程序来获得对答案分布的严格控制，并提出了一种新的可调平滑技术来减轻问题偏差。伴随数据集的是一套新的衡量标准，用于评估一致性、基础和合理性等基本品质。对基线和最先进的模型进行了仔细的分析，为不同的问题类型
Visual Reasoning(1): CLEVR Dataset
judgechen1997的博客
06-14 5617
CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning 这项工作是Visual Reasoning领域的开山之作了~ 李飞飞&FAIR构建了一个新的Reasoning dataset, CLEVR: https://cs.stanford.edu/people/jcjohns/clevr/ 现在的模型很多是直接给出一个答案，而没有中间的推理过程，这使得人们很难分析模型的缺陷，究竟是哪
GQA数据集简介
pinkshell_1314的博客
03-17 2585
最终构建好的GQA数据集包含22,669,678个问题和113,018张图片，要想回答这些问题，需要模型具有多种的推理技巧和推理步骤。（数据集中覆盖的词汇量有3,097个，答案类型有1,878个。）
GQA数据集简介及数据格式介绍
热门推荐
qq_40481602的博客
07-05 1万+
GQA数据集简介，数据集来源于2019 CVPR论文《GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering》。本文主要介绍GQA数据集的数据格式/表示形式。
GQA数据集介绍
qq_56551150的博客
03-13 2638
GQA，这是一个用于真实世界视觉推理和组合问答的新数据集。2200万个不同的推理问题，所有这些问题都带有表示其语义的功能程序。答案分布受到严格控制。11.3万张图像、2200万个问题，推理能力有对象和属性识别、传递关系跟踪、空间推理、逻辑推理和比较。
论文-《GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering》
Vivinia的博客
11-26 2263
论文下载 摘要（Abstract）： We introduce GQA, a new dataset for real-world visual reasoning and compositional question answering, seeking to address key shortcomings ofprevious VQA datasets. We have develop...
GQA数据集结构的详细描述
pinkshell_1314的博客
03-22 1583
vqa数据集
Towards Top-Down Reasoning: An Explainable Multi-Agent Approach for Visual Question Answering
Eddy_zheng的博客
11-30 769
最近，视觉语言模型（VLMs）受到了显著的关注，在各种任务中展现了显著的进步，这些进步是通过利用大量的图像-文本配对数据实现的。然而，现有的 VLMs 通常将视觉问答（VQA）视为感知任务，采用黑盒模型处理，忽视了对同一视觉场景中不同问题之间关系的显式建模。此外，依赖于知识库（KBs）的现有 VQA 方法可能经常遇到来自有限数据的偏见，并在相关信息索引方面面临挑战。
用于视觉问答的图形推理网络模型《Graph Reasoning Networks for Visual Question Answering》
xiashilin的博客
01-31 2263
目录 一、文献摘要介绍 二、网络框架介绍 三、实验分析 四、结论 这是视觉问答论文阅读的系列笔记之一，本文有点长，请耐心阅读，定会有收货。如有不足，随时欢迎交流和探讨。 一、文献摘要介绍 The interaction between language and visual information has been emphasized in visual question ans...
《GQA：现实世界中的视觉推理》数据集介绍
xiashilin的博客
01-31 5093
此篇文章简单介绍了GQA数据集，是用于视觉问答的数据集，论文详细，PPT介绍，如有不如，欢迎大家交流。 GQA—关于图像场景下的问答数据集。这是一个新的数据集，将被用于对现实世界中的图像进行视觉推理与组合回答的任务中。该数据集中包括了有关各种日常图像的近2000万条问题。每个图像都与一组场景图（scene graph）对应。每个问题都与其语义的结构化表示相关联在一起，并且约束应答者必须采用特定的...
gqa-node-properties:从知识图中调用节点属性
05-03
图问答：节点属性 此代码库执行基本的图形问题答案（GQA）任务：调用节点属性。 数据集是由GQA元组综合生成的，其中每个图都是一个，每个问题都询问该网络中特定站点的属性。 为简单起见，已使用随机整数来命名工作站。 例如， 3点播放什么类型的音乐？ 回答： 流行音乐 虽然在数据库查询语言中执行这种类型的属性调用很简单，但是我们引入了两个挑战： 问题以英语而不是查询语言提出 召回系统是神经网络（即微分函数） 系统如何运作 该系统是在TensorFlow中实现的纯（深度）神经网络。 它以标记化的自然语言字符串作为输入，并返回单个单词标记作为输出。 有关此网络如何工作的深入说明，请参见。 系统首先将输入问题转换为整数令牌，然后将其作为矢量嵌入。 接下来，控制单元3对标记向量进行关注。 这将产生控制信号，随后的单元将使用该控制信号来指导其动作。 然后，读取的单元使用控制信号从图形节
GQA 的简单介绍
冬炫的博客
07-05 3753
GQA 的简单介绍
GQA （group query attention）
m0_67708072的博客
09-08 961
group query attention 1.group有几组 2.每个group对应几个head 3.q以head为单位 k,v以group为单位 每个head/group特征维度都是head_dim
【文献阅读】GQA-OOD——测试低频样本问答的数据集和评估方法（Corentin Kervadec等人，ArXiv，2020，有代码）
QQ704630835的博客
06-22 1549
一、背景 文章题目：《Roses are red, violets are blue ... but should VQA expect them to ?》 这篇文章的作者都是来自于法国的Orange Labs，读这篇文章的原因是题目起的非常艺术，不像一般起名都是“基于。。。的方法”之类。 文章下载地址：https://arxiv.org/pdf/2006.05121.pdf 文献引用格式：Corentin Kervadec, Grigory Antipov, Moez Baccouche and
GQA阅读
weixin_42764932的博客
07-24 1429
多query注意(MQA)仅使用单个key头，大大加快了解码器推理速度。然而，MQA可能导致质量下降，而且仅仅为了更快的推理而训练一个单独的模型可能是不可取的。MHA（Multi-head Attention）是标准的多头注意力机制，h个Query、Key 和 Value 矩阵。
【Attention】Grouped-Query Attention（GQA）
麦格芬230的博客
07-20 1449
将多头注意力中所有头的键和值投影矩阵平均池化到单个头。
论文阅读：GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
温染的笔记
05-08 2007
语言模型的推理成本很高，这主要是由于加载 key 和 value 所带来的内存带宽开销。MQA 降低了这种开销，但代价是降低了模型的容量和质量。作者建议将 MHA 模型转换为 MQA 模型，只需原来预训练计算量的一小部分。此外，还引入了GQA，它是 MQA 和 MHA 的插值，能以与 MQA 相当的速度达到接近 MHA 的质量。
Grouped-query Attention(GQA)、Multi-query Attention(MQA)、Multi-Head Latent Attention (MLA)
taoqick的专栏
02-12 1152
Grouped-query attention an interpolation of multi-query and multi-head attention that achieves quality close to multi-head at comparable speed to multi-query attention.
visual reasoning
最新发布
04-01
<think>好的，用户想了解计算机视觉和人工智能中的视觉推理相关概念或实现方法。我需要先回顾一下视觉推理的基本定义，然后整理相关的技术方法，再结合提供的引用资料来支持回答。 首先，视觉推理在计算机视觉中是指系统能够理解图像或视频中的内容，并基于此进行逻辑推断。比如，不仅要检测物体，还要理解它们之间的关系或预测后续动作。根据引用[3]，Embodied AI强调具身代理在环境中的操作，这可能涉及动态的视觉推理，比如机器人通过视觉感知做出行动决策。这说明视觉推理不仅需要静态图像分析，还需要结合环境交互。 接下来，实现方法方面，传统方法可能依赖符号逻辑和规则系统，而深度学习方法则可能使用图神经网络（GNN）或Transformer结构。引用[1]提到的Visual Transformers使用基于token的图像表示，可能用于捕捉图像中不同区域的关系，这对视觉推理中的关系建模有帮助。此外，引用[4]提到增强图结构和分类器的交互，这可能指的是图结构在表示物体关系时的应用，比如场景图生成和推理。 另外，引用[2]讨论了深度学习在计算机视觉中的应用，可能涉及使用CNN提取特征，再结合循环神经网络（RNN）或注意力机制进行推理。例如，VQA任务通常采用多模态模型，结合图像特征和文本问题进行处理。 需要区分不同层次的视觉推理任务，如物体识别、关系推理、因果推断等。结合Embodied AI的挑战，视觉推理还需处理动态和以自我为中心的数据，这可能涉及时间序列分析和强化学习，如引用[3]提到的动态环境中的决策。 最后，要确保回答结构清晰，分点说明概念、方法、技术，并引用相关资料。同时生成相关问题，引导用户深入探讨。</think>### 视觉推理（Visual Reasoning）的概念与实现方法 #### 1. **概念定义** 视觉推理是计算机视觉与人工智能交叉领域的核心任务，旨在通过图像或视频的语义理解，结合逻辑推断能力，回答与场景相关的复杂问题。例如： - **物体关系推理**：识别图像中“A在B左侧”或“C被D支撑”等空间或功能关系。 - **因果推理**：预测“若推倒积木塔，哪些积木会掉落”。 - **多模态推理**：结合文本问题（如“桌上杯子是什么颜色？”）从图像中提取答案（视觉问答，VQA）。 与传统计算机视觉任务（如分类、检测）不同，视觉推理需要模型理解**上下文**和**抽象逻辑**[^3]。 --- #### 2. **实现方法** ##### (1) **符号逻辑与规则系统** - **传统方法**：基于预定义规则（如空间关系谓词逻辑）解析场景图（Scene Graph）。例如，通过目标检测生成物体节点，再通过关系分类构建边。 - **局限性**：依赖人工规则，难以泛化到复杂场景[^2]。 ##### (2) **深度学习与图神经网络（GNN）** - **图结构建模**：将图像表示为图结构（节点=物体，边=关系），利用GNN进行关系推理。例如： ```python # 伪代码：基于GNN的关系推理 class GNNLayer(nn.Module): def forward(self, node_features, adjacency_matrix): aggregated = torch.matmul(adjacency_matrix, node_features) return torch.relu(aggregated) ``` - **结合任务分类器**：通过增强图结构与分类器的交互提升推理性能[^4]。 ##### (3) **Transformer与视觉语言模型** - **Visual Transformers**：将图像分割为token序列，利用自注意力机制建模全局关系。例如，ViT（Vision Transformer）将图像分块编码为token，再通过Transformer层推理[^1]。 - **多模态模型**：如CLIP、ViLBERT，联合训练视觉和文本编码器，支持VQA等任务。 ##### (4) **具身人工智能（Embodied AI）中的动态推理** - **以自我为中心的感知**：通过机器人等代理的视角获取动态视频流，结合强化学习进行实时决策（如导航、抓取）[^3]。 --- #### 3. **关键技术挑战** - **长尾关系建模**：物体关系组合多样，训练数据难以覆盖所有情况。 - **可解释性**：如何可视化模型的推理路径（如注意力权重或子图激活）。 - **跨模态对齐**：视觉与语言信息的细粒度对齐（如“红色杯子”指向特定区域）。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值