Retrieval Question Answering paper

层级Transformer多文档摘要

Hierarchical Transformers for Multi-Document Summarization

段落排序-> 取top段落 -> encoder -> decoder -> summary

BART：在长文建模效果不好，主观性、事实一致性好
GPT：事实性、忠实度、一致性差。
改进：层次的多文档编码器。

检索辅助生成

REALM: Retrieval-Augmented Language Model Pre-Training

同时预训练检索器和语言模型，可以联合训练。两个模型的更新：检索用Maximum Inner Product Search MIPS; 每训练几百步异步更新索引和embedding系统。更新后的索引和embedding系统可以更好的支持模型。

1. 预训练时，使用无监督的数据MASK部分数据。先从检索器中根据MIPS检索出相关的paragraph，把句子和相关paragraph送到encoder中，预测被[MASK]的数据。 2. finetune时，使用有监督的QA数据集。先从检索器中根据MIPS检索出相关的paragraph，把句子和相关paragraph送到encoder中，预测answer。

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（RAG）

根据 query，从检索器中用MIPS检索出最相关的topN个document，根据N个document生成。利用多个document生成的方式有两种，RAG-Sequence和RAG-Token。

RAG-Sequence Model：每个单词从同一篇文章中检索生成，直到生成一个序列（联乘）。将N个文章都依次执行完，最后求边缘分布（求和）。先联乘后求和
RAG-Token Model：从不同的文章中检索生成一个单词，并求边缘分布（求和），所有单词的生成每次都如此执行（联乘），直到结束。先求和后联乘。

检索器DPR[1]

给定x，检索出候选文章z $$p(z|x)$$

生成器 BART

基于x、检索到文章z和上一时刻 token，生成 i 时刻的token
$$P(y_i|x,z,y_{1:i-1})$$

huggingface 中可直接调用，RagRetriever、RagTokenForGeneration，一种是将retrieval注入到生成器中使用，另外一种是单独调用retrieval，并将检索到的doc结果传给生成器。

跨数据格式的问答系统

UNIFIEDQA: Crossing Format Boundaries with a Single QA System

区别于以往的针对某种特定问答格式数据集训练专门的模型，这里提出了一种跨数据格式的问答系统，兼容是/否，A/B/C/D选择，抽取式回答等。语言的内在推理和蕴含关系在模型中是可以学习到的，将各种数据格式预处理成简单的Q\n doc \t answer 格式。

Ref

1. Dense Passage Retrieval for Open-Domain Question Answering