Incorporating External Knowledge to Answer Open-Domain Visual Questions with Dynamic Memory Networks

最新推荐文章于 2022-10-09 20:04:26 发布
最新推荐文章于 2022-10-09 20:04:26 发布
阅读量373 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文阅读笔记 文章标签： 自然语言处理 深度学习 神经网络 tensorflow pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/firesolider/article/details/108025908
本文介绍一种结合外部知识提升视觉问答(VQA)准确性的方法，通过引入知识图谱，实现从封闭到开放领域的VQA转变。模型利用FastRCNN识别图片中的实体，并通过关键词抽取与知识图谱检索，获取并编码外部知识。采用注意力机制融合外部知识，更新记忆模块，最终融合多模态特征进行推断。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

论文简介

外部知识的获取

外部知识的编码

基于注意力机制的知识融合

query vector

注意力机制

​

episodic memory更新

模型融合和推断

融合多模态特征

推断

论文简介

    

改论文主要引入了外部知识使得封闭领域的视觉问答(VQA-visual question answering)任务变为开放领域的视觉问答,

任务形式化：

输入：一张图片+围绕图片的问题+根据问题在知识图谱中检索的外部知识(论文中使用三元组）

输出：问题的答案(一般有4个候选类别）

外部知识的获取

这一步显然是很关键的，如果获取有用的外知识是模型有效的先决条件。

由于输入是图片和问题文本，对于图片作者使用FatsRCNN(用于目标检测的模型，首先FastRCNN应该是预训练好的，作者使用这个模型可以获得图片的目标(object)的类别实体，和box的大小(这个后面有用）。然后根据关键抽取工具对Question text进行关键词抽取，由于我们FastRCNN识别的类别实体和抽取出来的关键词实体都不一定在知识库(concept)中出现，所以作者使用这些实体所有可能的n-grams拆分在concept中进行检索。很显然concept知识图谱是非常大的，所以作者只使用了一阶的graph每个node(只有一个实体描述),相应的还有二阶知识图谱，每个node可能由2个实体描述

(详细的请参考https://blog.youkuaiyun.com/blueorris/article/details/96359338）这个由很多个三元组构成的图定义为G。但是问题是这个G依然很大，必须想办法压缩。

为了挑选出top-N的三元组，作者为每条边设计了一个打分(权重)函数w(i,j),每个节点(Node)的权者w(i),w(j),对于每个视觉类别实体初始化和box大小成正比，每个关键词实体初始化一样(具体初始化并没有讲）。

其中n代表node(i)和node(j)之间的edge个数，r是衰减因子0-1之间。作者很多的细节没有将比如这里w的初始化。

作者根据topN的w(i,j)对G进行压缩。这个新的G*就是最终作为模型使用的外部知识。

 

外部知识的编码

由于之前得到的是三元组，使用glove进行训练得到词向量，实体和中间的关系看作一样对待。

随后使用LSTM将每个三元组进行语义压缩，如上公式，每个三元组就用一个新的语义向量表示。

然后把这些语义向量存放到一个memory slot中

M[i]表示第i个三元组语义向量，C上面的角标3表示使用最后一个hidden state作为语义向量。

基于注意力机制的知识融合

query vector

上面公式的f(I),f(Q),f(A)分别表示使用DNN模型(论文没有细说）对image，question，answers抽取得到的特征向量。这query向量捕捉到了question-answer的上下文信息。 episodic memory m(T)的m(0)=q

注意力机制

作者使用注意力机制得到有用的外部知识来更新 episodic memory m(T)

episodic memory更新

模型融合和推断

融合多模态特征

推断

hans表示答案ans的多模态融合向量，每个答案都可以根据公式（10)(11)得到一个多模态融合特征向量，m_ans^(T)也是如此，T表示episodic memory m更新的次数。所以这个任务还是使用文本分类的范式，将问题机械的分类为4个给定的类别，其实还使用基于检索匹配的方法生成更加丰富的答案，而不是使用给定的答案进行选择。虽然模型设计花里胡哨，但是问题设计还是比较呆板的。

 

 

 

参考文献：Incorporating External Knowledge to Answer Open-Domain Visual Questions with Dynamic Memory Networks.
arXiv:1712.00733v1  [cs.CV]  3 Dec 2017

 

Language Embedded 3D Gaussians for Open-Vocabulary Scene Understanding
初见月
10-20 954
Language Embedded 3D Gaussians, a novel scene representation designed for open-vocabulary query tasks.
RT-2论文翻译: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
机器学习实战
01-26 1302
在广泛的Web规模数据集上预训练的高容量模型为各种下游任务提供了有效且强大的平台：大型语言模型不仅可以实现流畅的文本生成（Anil等，2023；Brohan等，2022；OpenAI，2023），还能实现新兴的问题解决（Cobbe等，2021；Lewkowycz等，2022；Polu等，2022）以及散文（Brown等，2020；OpenAI，2023）和代码（Chen等，2021）的创造性生成，而视觉语言模型则实现了开放词汇的视觉识别（Kirillov等，2023；Minderer等，2022；
【P1】Incorporating External Knowledge through Pre-training for Natural Language to Code Generation
qq_42341984的博客
10-30 859
【P1】Incorporating External Knowledge through Pre-training for Natural Language to Code GenerationAbstract1 Introduction2 Approach2.1 整体框架2.2 挖掘NL-code pairs2.3 API文档2.4 Re-sampling API Knowledge3 Experiments Abstract   开放领域代码生成致力于从自然语言生成通用变成语言（例如Python）。本文
Facebook开源问答系统DrQA：基于单一信源回答开放域提问《Reading Wikipedia to Answer Open-Domain Questions》
lyb3b3b的专栏
08-15 1095
问耕 编译整理 量子位 出品 | 公众号 QbitAI 今天一大早，Yann LeCun就转发了一条消息：Facebook开源了DrQA的代码。 DrQA是一个开放域问答系统。 关于DrQA，Facebook还发表了一篇论文《Reading Wikipedia to Answer Open-Domain Questions（阅读维基百科来回答开放域问题）》。这篇论文也入选了
论文阅读：Extending Neural Generative Conversational Model using External Knowledge Sources
Lcyztf的博客
09-18 672
题目很大很好，方法非常简单粗暴，感觉挺水的……这里就总结一下一些值得思考的地方。 关于incorporate external knowledge的系列工作主要集中于task-oriented任务中，主要分为structured KB 和unstructured data两个方面。open-domain用的并不多。看这个paper本来是想看它如何从data中找knowledge的……但是方法异常...
论文小综 | Using External Knowledge on VQA
开放知识图谱
10-18 1153
本文转载自公众号：浙大KG。本文作者：陈卓，浙江大学在读博士，主要研究方向为图神经网络和知识图谱表示学习我们生活在一个多模态的世界中。视觉的捕捉与理解，知识的学习与感知，语言的交流与表达...
R-VQA: Learning Visual Relation Facts with Semantic Attention for Visual Question Answering
Monster_ixx的博客
06-01 1849
摘要： 最近，视觉问答（VQA）已经成为多模式学习中最重要的任务之一，因为它需要理解视觉和文本模式。现有方法主要依靠提取图像和问题特征来通过多模态融合或注意机制来学习它们的联合特征嵌入。最近的一些研究利用外部VQA独立模型来检测图像中的候选实体或属性，其作为与VQA任务互补的语义知识。但是，这些候选实体或属性可能与VQA任务无关，并且语义容量有限。为了更好地利用图像中的语义知识，我们提出了一种新的...
GM Score Incorporating inter-class and intra-class generator div
01-03
Medical image synthesis with conditional generative adversarial networks. IEEE Transactions on Medical Imaging, 37(5), 1257-1266. 4. Ledig, C., Theis, L., Huszár, F., Caballero, J., Cunningham, A., ...
《CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION》论文总结
qq_35896136的博客
07-19 1260
这篇文章基于小样本分类，在度量方法的基础上做出了一些改进 论文代码：https://github.com/hytseng0509/CrossDomainFewShot 1、基于度量的方法 要素：特征编码器和度量函数 问题 算法过程： 主要有两次迭代更新，第一次更新利用已知域数据对度量模型参数的更新，也既是特征编码器和模型函数的参数θe\theta_eθe​和θm\theta_mθm​ 第二次更新是利用未知域对变换层参数的更新，也既是θf\theta_fθf​ ...
[ACL2016] Incorporating Copying Mechanism in Sequence-to-Sequence Learning
Deep Learning and NLP Farm
08-10 2368
目前在自然语言处理的很多任务中，比如机器翻译、句法分析、自动文摘以及对话系统等领域，sequence-to-sequence 已经取得了瞩目的成就。简单说下sequence-to-sequence, 也称为seq2seq 由两个RNN组成：处理输入的编码器网络和生成输出的解码器网络. 所以也称之为encoder-decoder model. paper 提出了一种”copying mechanis
将外部知识整合到群体智能中，以获得更具体的知识
一只特立独行的猪
03-27 982
Incorporating External Knowledge into Crowd Intelligence for More Specific Knowledge Acquisition 引自：Han T , Sun H , Song Y , et al. Incorporating External Knowledge into Crowd Intelligence for More Sp...
论文学习——融合注意力机制的时间卷积知识追踪模型
#仙女不扎马尾#的博客
04-20 1184
文章目录0 封面1 标题2 摘要3 结语4 引言5 结束阅读，方向不一致，而且TCN已经被多次使用 写在前面：《华中科技大学学报（自然科学版）》；主办单位：四川省科学技术协会；中文核心；月刊； 0 封面 1 标题 融合注意力机制的时间卷积知识追踪模型 这里重点学“注意力机制” 2 摘要 深度知识追踪（DKT）：基于RNN。问题：可解释性不足和长序列依赖 时间卷积网络（TCN）：基于卷积，可以提取学生动态变化的知识状态，利用扩张卷积核深层神经网络扩大序列学习范围，缓解长序列依赖问题。 3 结语 这
论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理
开放知识图谱
12-31 3289
论文笔记整理：陈名杨，浙江大学直博生。Introduction知识图谱（KGs）在很多NLP的下游应用中起着越来越重要的作用。但是知识图谱常常是不完整的，所以解决知识图谱补全的任务也非常...
论文解读：《FusionDTA：基于注意力的特征融合和知识净化用于药物-靶点结合亲和力预测》
ZGY9542的博客
10-09 2065
药物靶点亲和力（drug-target affinity，DTA）的预测在药物发现中发挥着越来越重要的作用。如今，许多预测方法都集中在药物和蛋白质的特征编码上，而忽略了特征聚合的重要性。然而，越来越复杂的编码器网络会导致隐含信息的丢失或模型尺寸过大。为此，作者提出了一种基于深度学习的方法，即 FusionDTA。对于隐含信息的丢失，使用一种新颖的多头线性注意机制来代替粗糙的池化方法。这允许 FusionDTA 基于注意力权重聚合全局信息，而不是像 max pooling 那样选择最大的一个。
【文献阅读】用自然语言来表达图像内容，将VQA视为阅读理解（H. Li等人，CVPR，2019）
QQ704630835的博客
08-22 1185
一、文章概况 文章题目：《Visual Question Answering as Reading Comprehension》 沈春华老师[1]团队的文章，发表在CVPR2019上。 [1]Chunhua Shen老师的个人主页 文章下载地址：http://openaccess.thecvf.com/content_CVPR_2019/papers/Li_Visual_Question...
记忆网络之open-domain QA 应用
呜呜哈的博客
09-28 3704
记忆网络之open-domain QA 应用前面两篇文章分别介绍了Memory Networks和End-To-End MemNN两种模型，但是都是基于bAbI数据集进行的介绍，更像是一种阅读理解式的任务，也就是给定一段文字和一个问题，从中找出答案。然而平时遇到的QA任务，往往并不会给定一段材料和问题，而是直接给一个问题需要给出答案，那么这种情况下应该如何使用记忆网络的模型来解决呢？我们这次结合两篇
【EMNLP2019】Event Representation Learning Enhanced with External Commonsense Knowledge
imsuhxz的博客
12-03 1179
论文名称：Event Representation Learning Enhanced with External Commonsense Knowledge … … … ：常识信息增强的事件表示学习 论文作者：丁效，廖阔，刘挺，段俊文，李忠阳 论文来源：EMNLP2019 下载链接：https://arxiv.org/pdf/1909.05190.pdf 源码链接：https://githu...
智能问答（Question Answering）的主要研究方向有哪些？
hecongqing的博客
02-29 1442
前言自从小夕前不久推送了这篇《文本匹配打卡点总结》，收到了不少小伙伴对于问答方向的问题，其中问的最多的就是，求！更！多！论！文！好了，于是小夕就在万能的知乎上找到了这篇良心回答，分享给有...
经常出现的错误和经验总结和一些技巧不定期更新
firesolider的博客
03-04 295
1cout<<Maxname<<" "<<MaxID<<endl;//注意string类型不能用printf输出，否则会出错//要把字符串类型当做像int 自动变量那样可以写 可以用string类型的数组，//但是注意此时string类型的输入和输出都只能用cin和cout//cin该操作符是根据后面变量的类型读取数据。//输入结束条件 ：遇到Ent...
Out-Of-Distribution with Virtual-logit Matching
最新发布
12-30
### Out-Of-Distribution Detection Using Virtual-Logit Matching In the context of out-of-distribution (OOD) detection within machine learning models, particularly neural networks, one innovative approach is **virtual-logit matching**. This method aims to enhance OOD detection by leveraging logits from synthetic or virtual data points that are designed not to belong to any class in the training set. The core idea behind this technique involves generating pseudo-samples through interpolation between real samples and random noise vectors. These generated examples serve as "virtual" instances which should ideally have low confidence scores when passed through a trained classifier because they do not conform well with learned decision boundaries[^1]. To implement virtual-logit matching for improving OOD detection: #### Generating Virtual Samples Firstly, create interpolated inputs \( z \), where each input combines an original sample \( x_i \) drawn from the dataset distribution along with some Gaussian noise vector \( n_j \): \[ z = \lambda x_i + (1-\lambda)n_j \] Here, \( \lambda \in [0, 1] \) controls how much influence comes from either source; typically values close but less than unity work best since pure noise would be too dissimilar. ```python import numpy as np def generate_virtual_samples(real_data, num_virtual=1000): lambda_ = 0.95 # Interpolation factor closer to actual data point noises = np.random.normal(size=(num_virtual,) + real_data.shape[1:]) indices = np.random.choice(len(real_data), size=num_virtual) selected_real = real_data[indices] virtuals = lambda_ * selected_real + (1-lambda_) * noises return virtuals ``` #### Training Model With Virtual Logits Loss During training, alongside minimizing standard classification loss on labeled data, add another term penalizing high prediction confidences over these artificially constructed entities. Specifically, compute cross-entropy losses against uniform distributions across all classes instead of specific labels assigned during conventional supervised learning tasks. This encourages lower outputs corresponding to uncertain predictions whenever encountering unseen patterns outside familiar categories represented among seen ones used while fitting parameters initially. ```python from tensorflow.keras import backend as K import tensorflow as tf def virtual_logit_loss(y_true, y_pred): """ Custom loss function incorporating both regular CE plus penalty for confident guesses about fake entries. Assumes last batch elements correspond to such synthetics. """ ce_loss = tf.nn.softmax_cross_entropy_with_logits(labels=y_true[:-args.num_virtual], logits=y_pred[:-args.num_virtual]) vl_penalty = -K.mean(K.log(1e-8 + K.sum(tf.exp(-y_pred[-args.num_virtual:]), axis=-1))) total_loss = ce_loss + args.vl_weight * vl_penalty return total_loss ``` By integrating this strategy into model development workflows, systems become more robust at distinguishing novel situations beyond what was encountered previously without requiring explicit access to representative exemplars beforehand—a critical advantage especially valuable under scenarios characterized by limited availability of comprehensive datasets covering every conceivable scenario. --related questions-- 1. How does adding virtual logit matching affect overall accuracy compared to traditional methods? 2. What alternatives exist besides using linear interpolations for creating virtual samples? 3. Can you provide insights into tuning hyperparameters like `vl_weight` effectively? 4. Are there particular architectures better suited for applying virtual-logit matching techniques?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值