u013250861的博客

【代码】NLP-阅读理解：模型训练【输入格式：[CLS] + question + [SEP] + context + [SEP]（把question和context合并成一个序列）】

一、SQuAD数据集二、DuReader数据集1、DuReader数据集介绍DuReader，从名字（Du和Reader）就可以看出来，是百度整理出来的阅读理解数据集。DuRader数据集由一系理的4元组构成，每个4元组 {q,t,D,A}\left\{ q, t,D,A \right\}{q,t,D,A} 就是一条样本，其中， qqq 表示一个问题， ttt 表示问题的类型， DDD 表示问题相关文档集合， AAA 表示一系列答案（由人手工标注）。它相较于之前阅读理解数据集，主要有三个特点：

一、阅读理解概述所谓的机器阅读理解（Machine Reading Comprehension, MRC）就是给定一篇文章，以及基于文章的一个问题，让机器在阅读文章后对问题进行作答。机器阅读理解（MRC）是一项任务，用于测试机器通过要求机器根据给定的上下文回答问题来理解自然语言的程度。早期的MRC系统是基于规则的，性能非常差。随着深度学习和大规模数据集的兴起，基于深度学习的MRC显著优于基于规则的MRC。1、常见任务定义MRC 的常见任务主要有六个：完形填空、多项选择、片段抽取、生成式、会话、多跳推

《原始论文：Teaching Machines to Read and Comprehend》作者想要研究的问题是什么？一一在当下神经网络迅速发展的时代，如何针对机器阅读理解题出一个网络模型结构是基础。由于缺乏大量规模的训练语料。无法对深度网络模型进行训练。因此作者构建了一个训练数据。有了数据作为支撑，作者提出了三个基本的深度神经网络模型，用于解决阅读理解任务和提供给研究人员作为baselines一、机器阅读理解概述1、检索式问答 v.s. 阅读理解式问答2、机器阅读理解任务3.

NLP-阅读理解-2016：Match-LSTM【单向注意力机制；抽取式阅读理解】

NLP-阅读理解-2016：Bidirectional Attention Flow for Machine Comprehension

BERT是2018年10月由Google AI研究院提出的一种预训练模型.- BERT的全称是：**B**idirectional **E**ncoder **R**epresentations from **T**ransformers；- BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类, 并且在11种不同NLP测试中创出SOTA表现. 包括将GLUE基准推高至80.4% (绝对改进7.6%), MultiNLI准确度达到86.7% (绝对改进5

[《原始论文：《Improving the Robustness of Question Answering Systems to Question Paraphrasing》》](https://aclanthology.org/P19-1610.pdf)# 一、概述这篇论文主要是解决模型的鲁棒性，提出了两个测试集，最后通过实验证明（数据增强），能够在提出的两个数据集上得到比较好的结果。---------参考资料：[彭伟优快云：Improving t