阅读理解调研及NLP其它任务转化为MRC参考

阅读理解概述

所谓的机器阅读理解（Machine Reading Comprehension, MRC）就是给定一篇文章，以及基于文章的一个问题， 让机器在阅读文章后对问题进行作答。 机器阅读理解（MRC）是一项任务，用于测试机器通过要求机器根据给定的上下文回答问题来理解自然语言的程度。 早期的MRC系统是基于规则的，性能非常差。随着深度学习和大规模数据集的兴起，基于深度学习的MRC显著优于 基于规则的MRC。

一、机器阅读理解的发展历程 机器阅读理解方法发展阶段： 特征+传统机器学习 BERT以前：各种神奇的QA架构 BERT以后：预训练+微调+trick

二、常见任务定义 MRC 的常见任务主要有六个：完形填空、多项选择、片段抽取（答案抽取）、生成式（自由作答）、会话、多跳推 理： 完形填空（Cloze Tests）：将文章中的某些单词隐去，让模型根据上下文判断被隐去的单词最可能是哪个。 多项选 择（Multiple Choice）：给定一篇文章和一个问题，让模型从多个备选答案中选择一个最有可能是正确答案的选 项。 片段抽取式（Span Extraction）：给定一篇文章和一个问题，让模型从文章中抽取连续的单词序列，并使得该 序列尽可能的作为该问题的答案。 生成式（Free Answering）：给定一篇文章和一个问题，让模型生成一个单词序 列，并使得该序列尽可能的作为该问题的答案。与片段抽取任务不同的是，该序列不再限制于是文章中的句子。 会 话：目标与机器进行交互式问答,因此,答案可以是文本自由形式（free-text form）,即可以是跨距形式,可以是“不可回 答”形式，也可以是“是/否”形式等等。 多跳推理：问题的答案无法从单一段落或文档中直接获取，而是需要结合多个 段落进行链式推理才能得到答案。因此，机器的目标是在充分理解问题的基础上从若干文档或段落中进行多步推理， 最终返回正确答案。

1 完形填空（Cloze Test）

数据集：CNN & Daily Mail 、CBT、LAMBADA、Who-did-What、CLOTH、CliCR

2 多项选择（Multiple Choice）

数据集：MCTest、RACE

3 片段抽取（Span Extraction）

数据集：SQuAD、NewsQA、TriviaQA、DuoRC

4 自由作答（Free Answering） 对于答案局限于一段上下文是不现实的，为了回答问题，机器需要在多个上下文中进行推理并总结答案。自由回答任 务是四个任务中最复杂的，也更适合现实的应用场景。 数据集：bAbI、MS MARCO 、SearchQA、NarrativeQA、DuReader

三、评价指标（Evaluation Metrics） 对于不同的MRC任务，有不同的评估指标。一般有Accuracy，F1 Score，ROUGE-L，BLEU。

阅读理解模型架构

典型的MRC系统以上下文和问题为输入，然后输入答案，系统包含四个关键模块：Embeddings, Feature Extraction, Context-Question Interaction，Answer Prediction。

Embeddings（嵌入层）：将单词映射为对应的词向量，可能还会加上POS、NER、question category等信息；

Feature Extraction（特征提取/编码层）：抽取question和context的上下文信息，可以通过CNN、RNN等模型结 构；

Context-Question Interaction（交互层）：context和question之间的相关性在预测答案中起着重要作用。有 了这些信息，机器就能够找出context中哪些部分对回答question更为重要。为了实现该目标，在该模块中广泛使用 attention机制，单向或双向，以强调与query相关的context的部分。为了充分提取它们的相关性，context和 question之间的相互作用有时会执行多跳，这模拟了人类理解的重读过程。

Answer Prediction（输出层）：基于上 述模块获得的信息输出最终答案。因为MRC任务根据答案形式分为了很多种，所以该模块与不同任务相关。对于完形 填空，该模块输出context中的一个单词或一个实体；对于多项选择，该模块从候选答案中选择正确答案。 阅读理解深度学习模型方法

1.Embeddings模块

将单词转换