[论文精读]Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

来源：Advances in Neural Information Processing Systems 33 (NeurIPS 2020)

链接：http://arxiv.org/abs/2005.11401

题目翻译：用于知识密集型 NLP 任务的检索增强生成

阅读原因

RAG领域系列必读文章，读了这篇才知道RAG是干什么的，才有后续的研究。

内容

1.简介

这篇论文介绍了RAG的核心概念，提出了一种结合检索与生成的框架，用于知识密集型任务。该方法首先从外部知识库中检索相关文档，然后利用这些文档指导生成模型生成答案。论文还评估了RAG在开放域问答（Open-Domain QA）任务中的性能。

2.研究背景

传统的生成式模型在知识密集型任务中首先于模型参数中编码的静态知识，在需要复杂知识或者需要及时更新的场景中效果比较差，经常会出现“幻觉问题”（也就是受限于训练的数据集，无法生成数据集之外的知识，所谓的幻觉就是胡言乱语，这点在早期使用GPT3的时候深有体会）。为了解决该问题，文章提出了检索增强生成RAG模型，这个模型把外部的知识库和生成式模型相结合，使得生成式模型可以动态地从外部资源中获取最新的信息，以生成准确的答案，避免幻觉的产生。

RAG 被设计用于知识密集型任务，特别是开放域问答（Open-Domain QA）等需要丰富知识和灵活生成的任务。

3.思想概述