GraphVQA: Language-Guided Graph Neural Networks for Scene Graph Question Answering

最新推荐文章于 2024-07-16 03:15:00 发布
原创 最新推荐文章于 2024-07-16 03:15:00 发布 · 912 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能 #深度学习

本文提出GraphVQA，一个基于语言引导的图神经网络框架，用于场景图问答。GraphVQA将自然语言问题转化为图节点上的信息传递，通过GNN进行多次迭代，有效地利用了场景图的结构信息。实验表明，GraphVQA在GQA数据集上的性能超越了最先进的模型。

用于场景图问答的语言引导图神经网络

图片不只是一个对象和属性的集合，他们代表了一个互相连接的对象的关系网，场景图作为图像的结构化图形表示，已经成为一种新的表现形式。场景图将物体编码为通过成对边关系连接的节点，

为了在场景图上进行问答，本文提出了 GraphVQA,一个语言引导的图神经网络框架，将一个自然语言问题转换并执行为在图节点上的多次迭代信息传递。我们探索了GraphVQA框架的设计空间，讨论不同设计选择之间的平衡，获得了很好的性能。

Introduction

图像不仅仅是对象或属性的集合。每幅图像代表相互连接的对象之间的关系网络。为了形式化图像的表示，Visual Genome(Krishna等人，2007a)定义了场景图，这是一种图像的结构化形式化图形表示，类似于知识库表示中广泛使用的形式。如图1所示，场景图将对象(例如，女孩、汉堡)编码为通过成对关系(例如，持有)连接的节点作为边。场景图已被引入用于图像检索(Johnson等人，2015年)、图像生成(Johnson等人，2018年)、图像字幕(Anderson等人，2016年)、理解教学视频(Huang等人，2018年)和情景角色分类(Li等人，2017年)。

消息传递后的最终状态表示答案（比如，托盘），中间状态反映模型的推理，每个消息传递迭代由图神经网络(GNN)层完成，我们探讨了GraphVQA中的各种小新传递设计，并讨论了不同设计选择之间的权衡。

场景图问答与视觉问答密切相关。虽然在场景图生成方面已经有了很多的研究工作，但是场景图的QA仍然是一个相对较少的研究领域。
基于场景图的VQA中的零星尝试(Hu等人，2019年；Li等人，2019年；Santoro等人，2017年)大多提出了主要为完全连通图设计的各种注意机制，从而未能对场景图的重要结构信息进行建模和捕获。80我们在GQA数据集上评估GraphVQ

最低0.47元/天 解锁文章
2021:场景图视觉问答GraphVQA: Language-Guided Graph Neural Networks for Scene Graph Question Answering
weixin_42653320的博客
06-29 1342
摘要 场景图是图像的一种新的图形化表示形式。场景图将目标编码为节点，将目标间的成对关系编码为边。为支持场景图上的视觉问答，我们提出了GraphVQA，一种语言导向的图神经网络框架，将自然语言问题转换为图节点间消息传递的多次迭代。我们探索了GraphVQA框架的设计空间，并讨论多种不同设计选择的权衡。在GQA数据集上大大由于最先进模型。 原文 代码 一、介绍 GraphVQA核心：将问题转换为图节点之间信息传递的多次迭代。 对于问题What is t...
【文献阅读】GraphVQA——语言导向的GNN解决场景图的问答（Weixin Liang等人，ArXiv，2021）
QQ704630835的博客
04-28 1748
一、背景 文章题目：《GraphVQA: Language-Guided Graph Neural Networks for Scene Graph Question Answering》 和【文献阅读】LRTA——图网络解释VQA的答案生成过程（W. Liang等人，NeurIPS，2020）这一篇是同一个作者，内容也比较相似。 文章下载地址：https://arxiv.org/pdf/2104.10283.pdf 文章引用格式：Weixin Liang, Yanhao Jiang, Zixuan
论文阅读笔记7：GraphVQA
mohen_777的博客
07-16 951
​ 可视问答(VQA)是一个人工智能领域很热门的topic，需要对于一张给定的图片和问题生成对应的回答，而这个问题的难点在于它是一个结合了计算机视觉和自然语言处理的交叉任务，需要同时处理图像和文本数据。而这个问题，我们要做的就是在一个有限的答案集合中寻找到合适的答案。
【文献阅读】LRTA——图网络解释VQA的答案生成过程（W. Liang等人，NeurIPS，2020）
QQ704630835的博客
12-03 1532
一、背景 文章题目：《LRTA: A Transparent Neural-Symbolic Reasoning Framework with Modular Supervision for Visual Question Answering》 这篇文章的核心内容只有5页，但是做的挺好，方法很新，读起来也非常容易理解。 文章下载地址：https://arxiv.org/pdf/2011.10731.pdf 文章引用格式：Weixin Liang,Feiyang Niu, Aishwarya Reg.
尝试GraphVQA的优化器及初探VinVL
冬炫的博客
07-19 648
代码地址：https://github.com/codexxxl/GraphVQA
论文阅读课1-Attention Guided Graph Convolutional Networks for Relation Extraction（关系抽取，图卷积,ACL2019，n元）
weixin_40485502的博客
02-12 4329
文章目录abstract Guo, Z., et al. (2019). Attention Guided Graph Convolutional Networks for Relation Extraction. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. abs...
Hierarchical Graph Network for Multi-hop Question Answering 论文笔记
qq_42791848的博客
02-20 2183
Hierarchical Graph Network for Multi-hop Question Answering 论文笔记 2020 EMNLP，Microsoft 365， 这篇文章所提出的层级图模型是在leaderboard上排名比较高的一个模型。 Overview 这篇文章同样是引入图表示学习来做多跳推理，但是本文在建图上做了改进和创新，提出Hierarchical Graph。作者认为之前基于图表示学习的方法有两个不足：一是图只被用来预测答案，没有充分地去寻找supporting fact；二
Meta-Learning in Neural Networks: A Survey元学习最新综述（翻译）
qq_38680752的博客
06-02 1万+
近年来，元学习领域，即“为学习而学习”，已经引起了人们极大的兴趣。与传统的人工智能方法不同，传统的人工智能方法是使用固定的学习算法从头开始解决给定的任务，元学习的目的是改进学习算法本身，考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战，包括数据和计算瓶颈，以及泛化的基本问题。在这项调查中，我们描述了当代元学习的景观。我们首先讨论元学习的定义，并将其定位于相关领域，如转移学习、多任务学习和超参数优化。然后我们提出了一种新的分类方法，它提供了当今元学习方法的更全面的细分。我们综述了元学习
【无标题】
huyidu的博客
05-31 647
知识图谱问答（KGQA）近年来受到了广泛关注，并在这一领域提出了许多创新方法，但在时态KGQA方面的研究相对较少。现有的大多数时态KGQA方法主要关注语义或时态层面的匹配，缺乏对时间约束进行推理的能力。本文提出了一种基于子图的模型，用于在时态知识图谱（TKG）上回答复杂问题，受到人类认知的启发。我们的方法称为子图时态推理（SubGraph Temporal Reasoning，SubGTR），包括三个主要模块：隐式知识提取、相关事实搜索和子图逻辑推理。首先，使用存储在时态知识图谱中的背景知识重新构造问题
（VQA）LRTA: A Transparent Neural-Symbolic Reasoning Framework with Modular Supervision for Visual Que
wangxiaoxiaodeer的博客
12-22 714
发表于2020年的一篇文章 LRTA神经符号推理框架 视觉问答目前的主要方法依赖于“黑盒”神经编码器()对图像问题进行编码，难以为预测过程提供直观的、人类可读的证明形式， 本文提出了LRTA： Look Read Think Answer, 模型像人类一样一步一步地解决问题，并在每一步提供人类可读的证明形式。 过程: 1 学习首先将一幅图像转换成场景图 2 将一个问题解析成多条推理指令 3 使用循环的神经符号执行模块遍历场景图，一次执行一个推理指令。 4 最后生成带有自然语...
5篇CVPR 2020相关论文【场景图+图神经网络（SG+GNN）】
05-12
本文为大家整理了五篇CVPR 2020场景图神经网络（SGNN）相关论文，让大家先睹为快——3D语义分割、指代表达式推理、图像描述生成、图像处理、时空图。
视觉问答（Visual_Question_Answering, VQA）介绍
ZauberC的博客
03-18 7484
VQA任务定义如下：给机器输入一张图片和一个跟这幅图片相关的问题，机器需要根据图片信息对问题进行回答。训练阶段，需要先在一个由图像，问题，答案组成的三元组集上训练一个模型。测试阶段，给该预训练模型输入一张新的图像和一个新的问题，要求模型能够预测正确的答案。设模型参数为，则该任务的目标为求取!对于open-Ended问题，机器的输出是自然语言（算法需要生成一个字符串来回答问题）。对于multi-choice问题，机器挑选出正确答案。
《小鑫发现》之GraphQL框架Prisma
iOLO的博客
01-21 955
标题 《小鑫发现》之GraphQL框架Prisma 介绍 这是一个新的前后端交互的方案，不是一定是最好的，但是却很有意思，一种可以让前端人员自由去控制数据库，脱离开后端人员开发SQL读取数据库一层。 虽然不见得能解决所有场景，只有善加利用，很可能解决绝大部分的场景，减少人力，提高效率。 很类似之前的hibernate那种对象的形式操作数据库，其实官网的第一句话，就是“Next-generation ORM for Node.js and TypeScript”，可知他是个ORM，跟mybatis是一类。去理
图的邻接矩阵_图卷积在VQA上的运用之空间位置关系
weixin_39758712的博客
12-06 730
本文主要为对Learning Conditioned Graph Structures for Interpretable Visual Question Answering的解析1. Introduction近年来VQA领域大量的使用了object detector来抽取更好的对象语义表达，本文更进一步的利用GCN来探索了图像object之间的空间关系，将图像表达为graphs，同时该模型通过可...
【论文】知识图谱简单问答(单跳)挑战、技术和趋势综述
锵锵锵锵蒋的博客
05-19 2398
文章目录Challenges, Techniques, and Trends of Simple Knowledge Graph Question Answering: A SurveyAbstract1 Introduction1.1. Motivation: Why Simple Questions?1.2. Related Surveys1.3. Aim of the Survey2 Methodology3 Result3.1 Terminology术语3.2. Tasks and Challeng
学习Knowledge Graph Embedding Based Question Answering代码笔记
weixin_30894583的博客
07-28 2356
前言 最近被导师安排学习一下【Knowledge Graph Embedding Based Question Answering】 这篇paper，这篇paper的重点在于运用了Knowledge Graph为dataset，在不用知道数据结构的情况下，去完成Question Answering这个自然语言处理方向的问题。这篇笔记只用来记录一下阅读这篇paper的github的代码时，作为一名很...
VQA + GNN
圣托里尼的日落啊~的博客
12-30 1706
Graph-Structured Representations for Visual Question Answering(GraphVQA) Abstract 通过structured representations of both scene contents and questions提升VQA性能。 VQA的主要挑战在于对visual和text两个领域都需要理解。传统的模型中常常忽略场...
GraphQL入门有这一篇就足够了
热门推荐
charming的博客
10-08 15万+
本文将从GraphQL是什么，为什么要使用GraphQL，使用GraphQL创建简单例子，以及GraphQL实战，四个方面对GraphQL进行阐述。说得不对的地方，希望大家指出斧正。 github项目地址：https://github.com/Charming2015/graphql-todolist 一、GraphQL是什么? 关于GraphQL是什么，网上一搜一大堆。根据官网的解释就是一...
【GNN】图注意力网络GAT(含代码讲解)
木盏
03-06 4万+
毫无疑问，图神经网络(Graph Neural Networks)是泛计算机视觉领域内继CNN、GAN、NAS等之后的又一个研究热点，非常powerful。GAT是空域GNN的代表模型，Bengio大佬团队出品，发表在ICLR2018，目前谷歌引用已经1k了。它的特点是，很适合作为上手GNN模型。
Lgdn: Language-guided denoising network for video-language modeling
最新发布
10-21
语言引导去噪网络（Lgdn）用于视频语言建模，是一种将语言信息融入视频处理以提升视频语言建模效果的技术。在视频语言建模任务中，需要处理视频中的视觉信息和与之相关的语言描述信息，而Lgdn通过利用语言信息来引导去噪过程，帮助模型更好地理解视频内容与语言之间的关联。 具体而言，Lgdn可能通过以下方式工作：首先，语言信息被编码成特定的特征表示，这些特征可以反映语言的语义和上下文信息。然后，在视频处理阶段，这些语言特征会被引入到去噪网络中，指导网络去除视频中的噪声，同时保留与语言描述相关的关键视觉信息。这样，模型可以更准确地学习视频和语言之间的对齐关系，从而提高视频语言建模的性能，例如在视频字幕生成、视频问答等任务中表现更优。 ```python # 以下是一个简单的伪代码示例，展示Lgdn可能的工作流程 import torch import torch.nn as nn # 假设这是一个简单的语言编码器 class LanguageEncoder(nn.Module): def __init__(self, input_dim, hidden_dim): super(LanguageEncoder, self).__init__() self.fc = nn.Linear(input_dim, hidden_dim) def forward(self, language_input): return self.fc(language_input) # 假设这是一个简单的视频去噪网络 class VideoDenoisingNetwork(nn.Module): def __init__(self, video_input_dim, language_hidden_dim, output_dim): super(VideoDenoisingNetwork, self).__init__() self.fc1 = nn.Linear(video_input_dim + language_hidden_dim, output_dim) def forward(self, video_input, language_features): combined_input = torch.cat((video_input, language_features), dim=1) return self.fc1(combined_input) # 实例化模型 language_encoder = LanguageEncoder(input_dim=100, hidden_dim=50) video_denoiser = VideoDenoisingNetwork(video_input_dim=200, language_hidden_dim=50, output_dim=200) # 模拟输入 language_input = torch.randn(1, 100) video_input = torch.randn(1, 200) # 编码语言信息 language_features = language_encoder(language_input) # 进行视频去噪 denoised_video = video_denoiser(video_input, language_features) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值