Learning to Ask: Neural Question Generation for Reading Comprehension

神经网络驱动的阅读理解问题生成
最新推荐文章于 2022-03-12 16:08:37 发布
最新推荐文章于 2022-03-12 16:08:37 发布
阅读量624 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： NLP Papers AI NLP 文章标签： 人工智能 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chansonzhang/article/details/122384259
该研究提出了一种端到端的神经网络模型，用于自动问题生成，尤其适用于阅读理解。通过全局注意力机制，模型能从输入文本中选择关键信息并生成自然且有挑战性的问题。实验结果显示，该模型在自然度和难度方面超越了基于规则的基线，且在数据增强和教育等领域有广泛应用潜力。

Abstract

  • 自动问题生成
  • 和之前的方法比，无需依赖手工规则或者复杂的 NLP pipeline.
  • sequence-to-sequence learning, end-to-end trainable
  • 自动评估
    • 超过基于规则的 baseline
  • 人工评估
    • more natural (语法，流畅度)
    • more difficult to answer (syntactic and lexical divergence from the original text and reasoning needed to answer)

Introduction

问题生成适合的应用领域：

  • 教育（自动生成阅读理解的问题）
  • chatbot (开场提问或者请求反馈)
  • 医疗 (评估和提升心理健康)
  • 数据增强

在这里插入图片描述

构造比较自然又难度适合的问题需要使用 abstractive methods 来生成不是完全和输入文本重叠的流

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NLP论文共读计划
Young, Simple, Naive
07-15 854
NLP 之路
Unsupervised Data Augmentation for Consistency Training
Young, Simple, Naive
03-12 4599
有限的标注数据也能带来很好的性能
阅读《Learning to Ask: Neural Question Generation for Reading Comprehension 》
IT路上的学步者
05-09 2468
阅读《Learning to Ask: Neural Question Generation for Reading Comprehension 》 @(NLP)[自然语言生成|LSTM|QA|Attention] Abstract 文章为研究了句子级别和段落信息编码之间的影响，提出了一种基于注意力的序列学习模型。与以前的工作不同，他们的模型不依赖手工生成的规则或者复杂的NLP管道（不是...
Learning to Ask: Neural Question Generation for Reading Comprehension 笔记
weixin_34275734的博客
03-25 634
Learning to Ask: Neural Question Generation for Reading Comprehension笔记 感觉和 “Neural Question Generation from Text: A Preliminary Study” 这篇很像的工作，都是基于 Seq2Seq 的思想来做 Question Generation。 两者的区别在与 Encode 和...
Learning to Ask Neural Question Generation for Reading Comprehension
Jeaksun的博客
03-12 1943
Learning to Ask: Neural Question Generation for Reading Comprehension 学会提问：阅读理解的神经性问题生成 1 Abstract 本文提出了一个基于注意力的序列学习模型，研究了对句子级信息和段落信息进行编码的效果。 tfcode 1 Introduction 问题生成QG的目的是从给定的句子或段落中产生自然的问题。如图1所示： 自然的问题通常压缩其句子，使用段落中术语的同义词(question2的“form”代替原文的"produce".
神经网络问答生成最全模型、策略、应用相关论文、资源、评测整理分享
lqfarmer的博客
01-07 2897
本文整理了基于神经网络的问答系统中，文本生成相关各种算法、优化策略、应用场景的经典论文，以及相关的评估、开源资源等等，需要朋友自取。 资源整理自网络，源地址：https://github.com/teacherpeterpan/Question-Generation-Paper-List 目录 综述论文 1.Recent Advances ...
【论文翻译+笔记】Neural Machine Reading Comprehension: Methods and Trends
changreal的博客
11-30 4197
1 Introduction 过去的MRC技术的特点：hand-crafted rules or features 缺点 Incapable of generalization performance may degrade due to large-scale datasets of myriad types of articles ignore long-range dependencies...
论文阅读 Question Generation
thormas1996的博客
07-12 3579
问题生成 论文笔记
Reading comprehension题解
Little_Small_Joze的博客
03-06 636
Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 1286    Accepted Submission(s): 515Problem DescriptionRead the program below carefully then answ...
二元交叉熵损失梯度推导
热门推荐
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
人类历史上第一个推荐系统
Young, Simple, Naive
12-27 7968
让我们把时间推回到28年前那个风雨交加的夜晚，在一个小破屋里，几个老男人捣鼓出了人类历史上第一个推荐系统——Tapestry
使用NLTK将自然语言查询转化为SQL查询
Young, Simple, Naive
11-21 6586
文章目录 假设我们有一个sql表，如下所示： City Country Population athens greece 1368 bangkok thailand 1178 barcelona spain 1280 berlin east_germany 3481 birmingham united_kingdom 1112 当我们要查找某个athens在哪个...
使用BPE算法处理未登录词
Young, Simple, Naive
11-25 5682
BPE算法的输入是原始字典，其中每个单词被表示成一串字符，BPE算法迭代的执行k次，每次选择一个出现频率最高的符号对进行合并，生成一个新的符号，注意这种合并是不超过单词边界的。 例如原始词典中有张晨光和张晨磊两个单词，频数均为3，但是没有出现张晨 张晨光:3 张晨磊:3 所以我们在使用最大匹配算法进行分词时，如果使用该字典，就会造成张晨被错误分割为张和晨两个词的情况： max match cut...
Softmax求导及多元交叉熵损失梯度推导
Young, Simple, Naive
12-01 5343
假设n为特征个数，K为目标分类个数，则： 对于一个n×1n\times 1n×1输入样本向量 x=(x1,⋯ ,xi,⋯ ,xn)T x=(x_1,\cdots,x_i,\cdots,x_n)^T x=(x1​,⋯,xi​,⋯,xn​)T 一个K×nK\times nK×n的权重矩阵W（每行对应一个类） 以及一个K×1K\times 1K×1...
使用NLTK找出所有的语法解析树
Young, Simple, Naive
11-21 4227
使用NLTK完成Udacity公开课CS271（Intro to Artificial Intelligence）的Final Assessment Question 20 首先我们按照题目要求编写语法规则final_question_20.fcfg % start S S[SEM=(?np + ?vp)] -> NP[SEM=?np] VP[SEM=?vp] S[SEM=(?s1 + a...
李航-统计学习方法-习题-第九章
Young, Simple, Naive
11-13 3517
9.2 证明引理 9.2. 引理 9.2 若P~θ(Z)=P(Z∣Y,θ)\widetilde P_\theta(Z)=P(Z|Y,\theta)Pθ​(Z)=P(Z∣Y,θ)，则 F(P~,θ)=logP(Y∣θ) F(\widetilde P, \theta)=logP(Y|\theta)F(P,θ)=logP(Y∣θ). 证明： F(P~,θ)=EP~[logP(Y,Z∣θ)]+H(P~)=...
Parameter-Efficient Transfer Learning for NLP
Young, Simple, Naive
01-22 2488
对于 N 个下游任务，fine-tuning 需要 N 倍预训练模型的参数量，而 Adapter 可以只用接近 1 倍的参数量实现类似的性能。
Unifying Training and Inference for Neural Image Generation
05-12
"Unifying Training and Inference for Neural Image Generation" is a research paper that proposes a new approach to training and inference for neural image generation models. The authors argue that current methods for training these models often require complex architectures and a two-stage process that separates training and inference. This can lead to inefficiencies and difficulties in optimizing the models. The proposed method, called "progressive differentiation," unifies the training and inference processes by dynamically adjusting the model architecture during training. This allows the model to learn and refine its generated images in a single stage, without the need for complex architectures or separate training and inference stages. The authors demonstrate the effectiveness of their approach on several benchmark datasets, showing that it achieves state-of-the-art results with fewer parameters and faster training times. The results suggest that unifying training and inference could be an important step towards more efficient and effective neural image generation.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值