A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models

本文是LLM系列文章，针对《A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models》的翻译。

摘要

作为 AI 中最先进的技术之一，检索增强生成 （RAG） 可以提供可靠和最新的外部知识，为众多任务提供巨大的便利。特别是在 AI 生成内容 （AIGC） 时代，在提供额外知识方面的强大检索能力使 RAG 能够协助现有的生成式 AI 生成高质量的输出。最近，大型语言模型 （LLM） 在语言理解和生成方面表现出革命性的能力，但仍然面临固有的限制，例如幻觉和过时的内部知识。鉴于 RAG 在提供最新和有用的辅助信息方面的强大能力，RetrievalAugmented Large Language Models （RA-LLM） 应运而生，它利用外部和权威知识库，而不是仅仅依赖模型的内部知识，来提高 LLM 的生成质量。在本次调查中，我们全面回顾了 RA-LLM 的现有研究，涵盖三个主要技术视角：架构、训练策略和应用。作为初步知识，我们简要介绍了 LLM 的基础和最新进展。然后，为了说明 RAG 对 LLM 的实际意义，我们按架构、训练策略和应用领域系统地回顾了主流相关工作，具体详细说明了每个工作的挑战以及 RA-LLM 的相应能力。最后，为了提供更深入的见解，我们讨论了当前的局限性和未来研究的几个有前途的方向。有关此调查的最新信息，请访问 https:// advanced-recommendersystems.github.io/ RAG-Meets-LLMs/。

1 引言

2 背景