Simple and Effective Multi-Paragraph Reading Comprehension读书笔记

最新推荐文章于 2022-02-20 16:30:12 发布
原创 最新推荐文章于 2022-02-20 16:30:12 发布 · 893 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了从单段落问答(paragraphQA)扩展到多段落问答的有效方法。介绍了两种常见策略：pipeline方法和confidence方法，并提出了一种结合两者优势的新方案，实现了在多段落问答任务上的最新技术突破。通过改进的TF-IDF和分类器进行段落选择，解决了多答案噪声问题。同时，针对多段落问答场景下模型输出作为置信度效果不佳的问题，提出了四种创新方法：shared-normalization、merge、No-answer option和Sigmoid。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

发表于ACL2018

    从paragraph QA到多paragraph QA有两种常用方法：pipeline方法先选取一个paragr，再用paragraph QA；confidence方法对所有paragraph都找答案并给出置信度，最后输出最高的。但后者较难训练。

    本文首先改进了pipeline方法，再结合confidence方法，取得了STOA的效果。

    用TF-IDF+classifier选取paragraph，利用sum objective function解决多答案噪音问题。

    对于多paragraph QA，直接用上述模型的(未归一化)输出作为confidence效果不好。提出四种方法:shared-normalization，merge，No-answer option和Sigmoid。

 

 

【论文笔记】Simple and Effective Multi-Paragraph Reading Comprehension
weixin_43643246的博客
03-02 1170
Simple and Effective Multi-Paragraph Reading Comprehension 概述 对于多段落的文章来说，我们主要有两种方法 筛选出文章中最有可能包含答案的段落，然后将这个段落送入模型当中，最后得到答案的位置标签 将文本每个段落都送入到模型当中，得到每个段落的答案位置并通过相关算法得到置信度的打分，选择分高的作为答案 在这篇论文中提出了一种结合以上两种方...
Multi-hop Reading Comprehension through Question Decomposition and Rescoring 论文笔记
qq_42791848的博客
02-16 1863
Multi-hop Reading Comprehension through Question Decomposition and Rescoring 2019年的一篇在Hotpot数据集上进行实验的文章，由UW和AllenAI共同发表。 Overview 这篇文章是在HotpotQA数据集提出后发表的，针对HotpotQA所提出的复杂问题多跳推理任务提出解决方案。本文所提出的模型叫做DECOMPRC，核心在于DECOMP，也就是对复杂问题进行分解。这种做法在KBQA中也出现过，对应的模型叫做TextRa
Simple and Effective Multi-Paragraph Reading Comprehension
Forlogenの解忧杂货铺
11-21 1169
ACL 2018 Simple and Effective Multi-Paragraph Reading Comprehension github 背景 本文是华盛顿大学和艾伦研究所发表在ACL 2018 年上的工作，它主要关注的问题是阅读理解（Reading Comprehension），并提出了一种处理整篇文档作为输入的段落型QA模型。现有的模型虽然可以在短文档QA问题上取得不错的效果，但是...
Simple and Effective Multi-Paragraph Reading Comprehension翻译
nopSled
05-31 420
摘要 我们介绍了一种将神经段落级问答模型适应于以整个文档作为输入的情况的方法。当前大多数问答模型无法扩展到文档或多文档输入，并且天真地将这些模型独立地应用于每个段落，这通常会导致它们被无关紧要的文本分散注意力。我们表明，通过使用改进的训练方案（教模型忽略不包含答案的段落），可以显着提高性能。我们的方法涉及从每个文档中采样多个段落，并使用一个要求该模型产生全局正确输出的目标函数。我们还会识别和改进在处理文档级数据时出现的许多其他设计决策。 在TriviaQA和SQuAD上进行的实验表明，我们的方法改进了现有技
信息摘要算法：HMAC算法分析
劲枫的博客
05-14 2717
1、HMAC概述 HMAC算法首先它是基于信息摘要算法的。目前主要集合了MD和SHA两大系列消息摘要算法。其中MD系列的算法有HmacMD2、HmacMD4、HmacMD5三种算法；SHA系列的算法有HmacSHA1、HmacSHA224、HmacSHA256、HmacSHA384、HmacSHA512五种算法。 HMAC算法除了需要信息摘要算法外，还需要一个密钥。HMAC的密钥可以是任何长度...
解读RE2《Simple and Effective Text Matching with Richer Alignment Features》
小岁月太着急
08-24 3445
Paper:https://www.aclweb.org/anthology/P19-1465 Code:https://github.com/hitvoice/RE2 文章摘要     文中提出了一种快速、强悍神经网络方法来用于通用文本的匹配。我们研究了构建一个快速且性能良好的文本匹配模型的足够条件，并建议保持三个用于序列间对齐的关键特性:原始点对齐特性、先前对齐特性和上下文特性，同时...
100DaysofCode---Day-34-Website-with-image-header-and-paragraph-
08-03
<p>The Internet of Things, or IoT, alludes to the billions of actual gadgets all throughout the planet that are currently associated with the web, all gathering and sharing information. Beca
Hierarchical Graph Network for Multi-hop Question Answering 论文笔记
qq_42791848的博客
02-20 2137
Hierarchical Graph Network for Multi-hop Question Answering 论文笔记 2020 EMNLP，Microsoft 365， 这篇文章所提出的层级图模型是在leaderboard上排名比较高的一个模型。 Overview 这篇文章同样是引入图表示学习来做多跳推理，但是本文在建图上做了改进和创新，提出Hierarchical Graph。作者认为之前基于图表示学习的方法有两个不足：一是图只被用来预测答案，没有充分地去寻找supporting fact；二
gutenberg-simple-paragraph
05-15
这只是Gutenberg Blocks WordCamp Talk入门的概念性示例 该项目是通过引导的。 您将在下面找到有关如何运行脚本的一些信息。 您可以在找到本指南的最新版本。 :backhand_index_pointing_right: npm start ...
【论文阅读】Multi-paragraph Reading Comprehension with Token-level Dynamic Reader and Hybrid Verifier
没有胡子的猫Asimov
07-20 237
Multi-paragraph Reading Comprehension with Token-level Dynamic Reader and Hybrid Verifier 论文：http://vigir.missouri.edu/~gdesouza/Research/Conference_CDs/IEEE_WCCI_2020/IJCNN/Papers/N-20242.pdf 任务 多段式阅读理解要求模型通过推理跨段落信息来推断任意用户生成的问题的答案。以前的工作通常通过直接采用指针网络预测答案的
「自然语言处理(NLP)」--- 文本匹配模型研究【阿里团队】
yinizhilianlove的博客
08-24 1192
来源：AINLPer微信公众号 编辑: ShuYini 校稿: ShuYini 时间: 2019-8-24 引言     两篇文章与大家分享，第一篇作者对通用文本匹配模型进行探索，研究了构建一个快速优良的文本匹配模型所需条件，在此条件下，其模型性能与最先进的模型相当，且参数少速度快（6倍）；第二篇主要研究了集成语言输入特征对神经网络模型产生的影响，并且发现输入特性对性能的影响比我们研究的任何体...
最短寻道时间优先算法（SSTF）&&扫描算法（SCAN）
热门推荐
理科男同学
10-19 5万+
最短寻道时间优先算法（SSTF） SSTF问题描述：SSTF算法选择调度处理的磁道是与当前磁头所在磁道距离最近的磁道，以使每次的寻找时间最短。当然，总是选择最小寻找时间并不能保证平均寻找时间最小，但是能提供比FCFS算法更好的性能。这种算法会产生“饥饿”现象。 1、算法思想：优先选择距当前磁头最近的访问请求进行服务，主要考虑寻道优先。 2、优点：改善了磁盘平均服务时间。 3、缺点：...
用深度学习解决问答（QA）方法_语义匹配
hlang8160的博客
12-11 1万+
有两种思路： 采用ad-hoc检索方式 1.首先获取原有的数据集qa-pairs 2.用户提出的问题，进行预处理后，先从数据集中获取，相关的10个预选答案，可以采用Lucene全文检索方法。 3.之后采用深度文本匹配模型（drmm），从10个预选答案中选出分数最高的答案作为最终的答案。 参考： https://www.chedong.com/tech/lucene.html A
HMAC
weixin_30861797的博客
09-01 645
介绍文档及C实现 http://www.ietf.org/rfc/rfc2104.txt Network Working Group H. Krawczyk Request for Comments: 2104 IBM ...
Reading Comprehension必读paper汇总
AI蜗牛之家
02-22 4557
文章目录Must-read papers on Machine Reading Comprehension.Model ArchitectureUtilizing Extenal KnolwedgeExplorationOpen Domain Question AnsweringDatasets 文章转自thunlp/RCPapers Must-read papers on Machine R...
短文本相似性建模中相关性匹配及语义匹配的研究——EMNLP2019论文阅读笔记
gxsHeeN的博客
10-21 1361
Bridging the Gap Between Relevance Matching and Semantic Matching for Short Text Similarity Modeling 论文笔记 论文链接在这里 摘要 强调信息检索中的相关性和语义相关性存在差别。为了填补这一差距，作者提出了HCAN (Hybrid Co-Attention Network),包含：（1）CNN...
HMAC算法
09-07 244
HMAC - hmac的原理 基于散列函数的消息认证码。它需要一个加密用散列函数（表示为H，可以是MD5或者SHA-1）和一个密钥K用以计算消息认证码。 计算HMAC需要一个散列函数hash（可以是md5或者sha-1）和一个密钥key。用L表示hash函数输出字...
本周最热 AI 论文大集合，还不快一键收藏？
Paper weekly
08-15 1385
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
Bridging the Gap Between Relevance Matching and Semantic Matching for Short Text Similarity Modeling
Forlogenの解忧杂货铺
12-19 1355
MENLP 2019 Bridging the Gap Between Relevance Matching and Semantic Matching for Short Text Similarity Modeling 这是一篇发表于今年EMNLP上一篇关于文本理解的文章，更准确的来说应该是理解NLP中的短文本语义匹配和神经信息检索（neural information retrieval，N...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值