Retrieval-Augmented Generation for Large Language Models: A Survey

本文是LLM系列文章，针对《Retrieval-Augmented Generation for Large Language Models: A Survey》的翻译。

摘要

大型语言模型（LLM）展示了强大的能力，但面临着幻觉、过时的知识以及不透明、无法追踪的推理过程等挑战。通过整合来自外部数据库的知识，检索增强生成（RAG）已成为一种很有前途的解决方案。这增强了模型的准确性和可信度，特别是对于知识密集型任务，并允许持续更新知识和集成特定领域的信息。RAG将LLM的内在知识与外部数据库的庞大动态存储库协同融合。这篇全面的综述论文对RAG范式的进展进行了详细的研究，包括Naive RAG、Advanced RAG和Modular RAG。它仔细审查了RAG框架的三方基础，包括检索、生成和增强技术。本文重点介绍了嵌入这些关键组件中的最先进技术，从而深入了解了RAG系统的进步。此外，本文还介绍了评估RAG模型的指标和基准，以及最新的评估框架。最后，本文概述了未来的研究途径，包括识别挑战、扩展多种模式以及RAG基础设施及其生态系统的进展。

1 引言

2 定义

3 RAG框架

4 检索

5 生成

6 RAG的增强

7 RAG评估

8 未来前景

9 结论

如图7所示，本文的综述强调了RAG通过将语言模型中的参数化知识与外部知识库中的大量非参数化数据相集