End-to-EndOpen-Domain Question Answering with BERTserini 论文阅读笔记

最新推荐文章于 2025-04-29 12:16:58 发布
最新推荐文章于 2025-04-29 12:16:58 发布
阅读量1k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 阅读理解 文章标签： 阅读理解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/maka_uir/article/details/87798233
本文介绍了一种结合Bert和Anserini的阅读理解方法，通过外部知识库辅助，构建高效问答系统。利用英文维基百科数据集，对文章和段落建立索引，结合搜索引擎和finetune的Bert模型生成答案范围，选取最优答案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文链接：https://arxiv.org/abs/1902.01718

本文主要的创新点是将Bert与Anserini 相结合，构建了一个通过外部知识库从而辅助阅读理解的方法

首先使用英文维基百科数据集，对文章、段落分别建立索引，对于一个新的问题，通过搜索引擎返回top K篇文章（段落），然后feed到 fine tune好的bert reader中生成答案范围，选取分数最高的段落最为最后的答案，实际上思路是很简单的，也就是通过Bert和搜索引擎构建了一个问答系统，但是简单高效，值得参考

系统的整个框架如下： 

论文结果如下图所示：
 

 实验发现，对句子构建索引生成的结果要好于对文章建立索引，原因显而易见是由于文章中包含过多无关紧要的内容

 

【CS224n】(lecture11)Question Answering
发现问题，并解决问题，批判性思维
01-14 1191
学习总结 文章目录学习总结一、QA介绍1.1 QA的分类：1.2 QA的框架1.1 QA在深度学习领域1.2 Beyond textual QA problems二、阅读理解2.1 reading comprehension2.2 SQuAD数据集（1）SQuAD evaluation, v1.1（2）SQuAD 2.02.3 神经网络模型（1）LSTM-based vs BERT models（2）带注意力机制的seq2seq模型（3）BiDAF: the Bidirectional Attention
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【笔记1-1】基于对话的问答系统CoQA (Conversational Question Answering)
cindy_1102的博客
03-14 6820
[Updating...] CoQA: A Conversational Question Answering Challenge论文概述（摘要+简介）目标任务数据收集过程1. 数据收集界面2. 文章选取数据集分析模型部分模型评估总结 CoQA: A Conversational Question Answering Challenge (Siva Reddy, Danqi Chen, Chri...
【论文泛读61】BERTserini的端到端开放域问题解答
scu-liu的博客
04-26 500
贴一下汇总贴：论文阅读记录 论文链接：《End-to-End Open-Domain Question Answering with BERTserini》 一、摘要 我们演示了一个端到端的问题解答系统，该系统将BERT与开源的Anserini信息检索工具包集成在一起。与当今大多数对少量输入文本进行操作的问答和阅读理解模型相比，我们的系统将IR的最佳实践与基于BERT的阅读器集成在一起，以端到端的方式从大量Wikipedia文章中识别出答案。结束时尚。我们报告说，与标准基准测试集上的先前结果相比，已有很大的
论文阅读-End-to-End Open-Domain Question Answering with BERTserini
qq_40671063的博客
03-03 817
论文阅读-End-to-End Open-Domain Question Answering with BERTserini
A Simple End-to-End Question Answering Model for Product Information 论文笔记
GrinAndBearIt的博客
09-25 365
本片论文出自（ACL 2018） 从以下几个方面展开： 1.论文目的 2.论文创新点 3.模型框架 1.论文目的 正如文章介绍的那样，本篇论文解决的是针对某种电商产品，用户可能会对商品的各个属性有疑问，如果匹配用户的自然语言问题和商品的某个属性名称来得到最后的属性值是本篇文章需要解决的问题 2.论文创新点 （1）一个新而简单的神经网络 a.个人理解新体现在作者在做语义...
Open-Domain Question Answering
jnwujingchao的博客
05-25 441
https://zhuanlan.zhihu.com/p/93347083
《Multi-level Attention Networks for Visual Question Answering》阅读笔记
jiang6869732的博客
08-09 1762
《Multi-level Attention Networks for Visual Question Answering》阅读笔记 一、研究背景 effective semantic embedding and fine-grained visual understanding； 人类语言问题以明确的查询意图传达强大的高级语义，而具有数万个像素的真实世界图像则相对低级且抽象，由于众所周...
Unifying Large Language Models and Knowledge Graphs: A Roadmap综述笔记-入门-知识图谱KG-大模型LLM
好好学习|学无止境
11-26 2097
LLMs，例如chatGPT和GPT4，由于其涌现能力和泛化性，对自然语言理解和人工智能领域产生了新的冲击。然而，LLMs是一个黑箱模型，往往缺乏捕获和获得事实知识。相反，知识图谱，例如维基百科等，是有结构模型。存储着丰富的事实知识。KGs可以通过提供额外的知识去增强大语言模型的推理和解释性。同时，知识图谱也很难去自然构造和进化，对于现有的知识图谱方法来说，生成新的事实和表示未知数据是一个挑战。因此，统一LLMs和KG，同时利用他们的优点是一种补充。在这篇文章中，我们提出了统一LLMs和KG的路线图。
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
B-Bot-Question-Answering：基于BERT的问答机器人。 探索对质量检查使用不同的文本，例如用户可以用来更好地理解各种生活经历的与社会相关的主题
02-23
B-Bot-问题-答案 基于BERT的问答机器人。 探索对质量检查使用不同的文本，例如与社会相关的主题，用户可以用来更好地理解各种生活经历。
【使用 BERT 的问答系统】第 5 章 ：BERT模型应用：问答系统
sikh_0529的博客
12-02 5899
如果您的系统没有足够的可用资源，它提供了一个快速且免费的环境来运行您的 Python 代码。它是信息检索和 NLP 领域计算机科学学科的一部分，专注于构建系统，自动提取人类或机器以自然语言提出的问题的答案。此类系统的一个示例是 DeepPavlov ODQA 系统，它是 MIPT 开发的一种 ODQA，它使用来自维基百科的大量文章数据集作为其知识来源。接下来，我们看看如何使用 DeepPavlov 来实现基于上下文的问答系统，其中问题的答案存在于上下文中。例如，请考虑维基百科文章中的以下上下文和问题。
基于Bert论文构建Question-Answering模型
毕业作品网站
06-05 1048
摘要 本文拜读了提出 Bert 模型的论文，考虑了在 Bert 中算法模型的实现.比较了 Bert 与其他如 Transformer、GPT 等热门 NLP 模型.BERT 在概念上很简单，在经验上也很强大。它推动了 11 项自然语言处理任务的最新技术成果，而这 11 项 NLP 任务可分类为四大自然语言处理下游任务，本文聚焦分析实现一个简单的问答任务，使用了来自 BERT-large 的训练集，测试数据集(作业四爬取的 wiki 数据集),测试结果令人满意。关键词 Bert； Transformer；
论文阅读：End-to-End Training of Neural Retrievers for Open-Domain Question Answering
Hero19980512的博客
04-14 697
论文阅读：End-to-End Training of Neural Retrievers for Open-Domain Question Answering 来源：ACL 2021 下载地址：https://arxiv.org/pdf/2101.00408.pdf 代码地址：https: //github.com/NVIDIA/Megatron-LM 本文主要贡献： 我们证明了我们提出的使用 ICT 对检索器进行无监督预训练的方法，然后进行监督微调，与之前自然问题和 TriviaQA 数据集上的最佳结
《Denoising Distantly Supervised Open-Domain Question Answering》浅析
weixin_40909358的博客
03-24 638
前言： 小编所写博客主要目的是记录之用，不免显得琐碎唠叨，不过分享出来如果能有只言片语帮到大家也是极好的。若您觉得一无所获，请及早退出，若有想法进一步交流，可评论。（原谅我没有时间排版） 论文题目:远距离监督开放问答的降噪。 1.论文提出一种新模，包括一个可以去除噪音文章的选择器，和一个从文中找出正确答案的reader。那么重点就在这个选择器怎么实现。 2.这幅图可以很好地解释这篇文章的创...
【论文泛读65】面向开放域问题回答的神经猎犬的端到端培训
scu-liu的博客
05-04 351
贴一下汇总贴：论文阅读记录 论文链接：《End-to-End Training of Neural Retrievers for Open-Domain Question Answering》 一、摘要 关于训练用于开放域问答（OpenQA）的神经检索器的最新工作采用了有监督和无监督的方法。但是，目前尚不清楚如何将无监督和有监督的方法最有效地用于神经检索器。在这项工作中，我们系统地研究了猎犬的预训练。我们首先提出一种使用反克洛什任务和掩盖显着跨度的无监督预训练方法，然后使用问题-问题对进行有监督的微调。与自
神经网络算法：一文搞懂BERT（基于Transformer的双向编码器）
2401_84033492的博客
04-03 1万+
本文将从BERT的本质、BERT的原理、BERT的应用三个方面，带您一文搞懂| BERT。
BERT模型问答任务的数据集实践
最新发布
weixin_35370061的博客
04-29 1148
BERT是一种基于Transformer架构的预训练语言表示模型，通过在大规模语料库上进行无监督学习，它能够捕捉到词、句子乃至整个段落的双向上下文信息。这意味着BERT能够更好地理解语言的复杂性，为问答系统提供了更丰富的语义表示。在监督学习任务中，数据集中的每条数据都需要有一个对应的标签（Label），以反映该数据的类别或期望的输出。标签的准确性和一致性是影响模型性能的关键因素。因此，制定清晰的标注规则是至关重要的。Python 在机器学习领域之所以受到青睐，很大程度上归功于其丰富的机器学习库。
探索中文问答的深度学习之旅：BERT-for-Chinese-Question-Answering
gitblog_00329的博客
09-13 978
探索中文问答的深度学习之旅：BERT-for-Chinese-Question-Answering 项目介绍 在自然语言处理（NLP）领域，问答系统一直是研究的热点和难点。随着深度学习技术的不断发展，BERT（Bidirectional Encoder Representations from Transformers）模型凭借其强大的上下文理解能力，成为了问答系统中的佼佼者。然而，大多数现有的B...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值