夏栀的博客

给定一个问题或上下文xxx，一个对应检索的知识KK，目标是根据上下文和知识来生成回复yyy。KB模式：根据对话上下文检索知识库，获得检索到的文档后结合上下文生成回复；LM模式：现如今的语言模型范式，即让语言模型先在知识库上预训练，然后再直接回答；本文则关注LM模式（1）Pre-training：采用BART作为语言模型：（2）SFT（Fine-tuning）：采用MLE目标在对话数据集上进行自回归式训练：然而MLE损失鼓励模型盲目模仿训练数据并导致模型幻觉。

论文解读：Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge论文下载：https://arxiv.org/pdf/2009.05831v2.pdf  本文旨在从非结构化文本中抽取常识知识，利用语境的常识知识辅助提升MRC相关工作：  常识问答（Commonsense Question Answering） 一般是指对常识知识理解的基础上根据给定的问题进行回答。例如多项选择题“鸟儿在__上飞

论文解读：Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction （2019ACL）  在文本上进行QA也别称为机器阅读理解。本文关注的是可解释的多跳QA，其需要系统能够同时返回答案以及相关依据句子。本文提出QFE模型用于对evidence进行抽取，并采用多任务学习进行训练。相比现有的方法，我们并不是独立地抽取evidence sentence，而是使用RNN和注意力机制进行抽取，

论文解读：Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Grap本篇文章也是企图将passage构建为一张图结构，根据图结构获得global evidence，并给予该图实现multi-hop reasoning。注意：本文所述的multi-hop reading comprehension（MHRC）是指根据多个passage寻找答案一、动机multi-hop

论文解读：Improved Neural Relation Detection for Knowledge Base Question Answering  本文解决KBQA中的子问题——Relation Detection（关系检测）。关系检测目的是给定一个问句，根据知识库来判断该问句目标的关系是什么。例如问句“中国的首都是哪里”，我们会先锁定问句的中心实体（主题词）是“中国”，其次检测这句话目标是问与“中国”这个实体具有“首都”关系的实体，因此类似于知识图谱的补全工作：（中国，首都，？）。因此关系检测

论文解读：Knowledge Base Relation Detection via Multi-View Matching

论文解读：Improving Question Answering over Incomplete KBs with Knowledge-Aware Reader  知识库问答（KBQA）是一种领域问答系统（Domain QA），基本原理是给定一个问句和一个知识库，从知识库中找到对应的答案实体。考虑到知识库是不充分的，该工作则结合非结构化文本来解决一些问句无法直接在知识库中寻找答案的问题。一、简要信息序号属性值1模型名称SGR EADER + KAR EADER2所属

机器阅读理解算法集锦  机器阅读理解（Machine Reading Comprehension, MRC） 是一项基于文本的问答任务（Text-QA），也是非常重要和经典的自然语言处理任务之一。机器阅读理解旨在对自然语言文本进行语义理解和推理，并以此完成一些下游的任务。具体地讲，机器阅读理解的任务定义是：给定一个问句（question） qqq，以及对应的一个或多个文本段落（passage） ppp，通过学习一个模型 fθf_\thetafθ​ ，使得其可以返回一个具体的答案，记做 a=fθ(q,p

QANet: Combine Local Convolution with Global Self-Attention for Reading Comprehension简要信息：序号属性值1模型名称QANet2所属领域问答系统，自然语言处理3研究内容机器阅读理解4核心内容self-attention; layer-normalization; CNN5GitHub源码https://github.com/search?q=QANet

论文解读： R3R^3R3：Reinforced Ranker-Reader for Open-Domain Question Answering  开放领域问答主要目标是从开放的资源中寻找答案，在目前自动问答任务中十分关键。本文是一篇2017年AAAI会议的问答系统，其认为当前大多数的问答都是基于事先提取好的候选文本作为抽取答案的passage，而并不符合实际应用；而在实际中，需要结合信息检索方法来自主地搜索与问题相关的passage并进行答案的抽取，这一过程非常繁琐，且依赖于检索的候选passage的

R-Net：问答系统机器阅读理解摘要：问答系统在当前学术界和工业界都非常具有研究和应用价值的任务，本文分享一篇2017年的端到端的问答系统经典之作——R-Net。该工作在当时的SQuAD1.1的测试集上达到最优结果。一、SQuAD  SQuAD是斯坦福NLP开放的一个机器阅读理解（文档问答系统）的评测数据集，最初是SQuAD1.1版本，现如今已经根据学术界的意见更新到SQuAD2.0版本。该数据集开源的官网是SQuAD2.0，只提供训练集和验证集，提交模型后会在测试集上进行验证，可以参与刷榜排名。本文

论文解读：Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text  知识库问答通常存在一个问题，就是由于知识库不充分导致在一定的推理范围内无法找到相应的答案，因此，可以通过引入额外非结构化文本做辅助增强。本文提出一种开放领域的知识库和文本问答方法。一、简要信息序号属性值1模型名称GRAFT-Nets2所属领域自然语言处理3研究内容知识库问答4核心内容

论文解读：A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction摘要：  深度神经网络网络在机器阅读理解（MRC）任务上得以成功应用，诸多经典的方法都是基于两个部分，一个是evidence extractor（证据抽取器），另一个是answer prediction（答案预测器）。其中前者目的是从上下文中寻找更相关的信息，后者则是根据抽取的信息生成答案。但是在一些是否问答或多项选择类型问

一种基于抽取式的中文机器阅读理解数据集CMRC2018A Span-Extraction Dataset for Chinese Machine Reading ComprehensionLeaderboard地址：http://ymcui.com/cmrc2018/动机：现阶段已经有包括基于完形填空式、多项选择式的机器阅读理解数据集，本文为了加速机器阅读理解的发展，提出一种基于抽取式的机器阅读理解数据集，数据集样例如下图所示：贡献：提出一种基于抽取式的中文机器阅读理解数据集，包括近2000

论文解读：Query Graph Generation for Answering Multi-hop Complex Questions from Knowledge Bases（2020ACL）简要信息：序号属性值1模型名称-2所属领域自然语言处理3研究内容KBQA4核心内容Beam search；Query Graph Generation5GitHub源码https://github.com/lanyunshi/Multi-hop

论文解读：Explicit Utilization of General Knolwdge in Machine Reading Comprehension简要信息：序号属性值1模型名称KAR2所属领域问答系统，自然语言处理3研究内容机器阅读理解4核心内容Data Augmentation5GitHub源码6论文PDFhttps://arxiv.org/pdf/1809.03449v2摘要：  为了弥补机器阅读理解和人

论文解读：Improving the robustness of machine reading comprehension model with hierarchical knowledge and auxiliary unanswerability prediction摘要： 先前深度学习方法在MRC任务上均成功应用，但他们普遍脆弱且在给定一些对抗噪声时不鲁棒。为了提升MRC，我们通过引入额外知识库的信息增强模型的表征能力，其次引入辅助不可回答预测模块并使用监督类的多任务学习来进行抽取式答案区间预测。

论文解读：Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension摘要：传统的MRC很好地被模式识别处理，但依然与人类能力有较大差距，先前的方法通过预训练的知识图谱表征（knowledge graph embedding）来解决这个问题，但其并没有充分利用KG中大量的实体之间的