针对 LLM 应用程序优化 RAG

前言

大型语言模型 (LLM)（如 GPT-4）在生成类似人类的文本方面表现出了令人印象深刻的能力。然而，在保留事实知识方面，它们仍然面临挑战。这就是检索增强生成 (RAG) 的作用所在——将 LLM 的生成能力与外部知识源相结合。RAG 已成为一种有前途的技术，可在保持 LLM 流畅性的同时提高其事实基础。

让我们深入了解 RAG 的世界，讨论它的工作原理、应用、优化 RAG 模型的策略以及未来前景。

我们将介绍：

• RAG 概述及其如何改善 LLM
• RAG 模型架构，例如 REALM、RAG-Token 和 Fusion-in-Decoder
• RAG 模型的训练目标——上下文学习、双编码器等。
• RAG 在问答、搜索、对话系统等领域的应用
• 优化 RAG — 模型架构、检索技术、训练方案、提示
• RAG 研究的当前挑战和未来方向

那么让我们开始了解如何优化检索增强生成以构建更强大、更真实的 LLM！

什么是检索增强生成 (RAG)？

检索增强生成将大型语言模型与检索机制相结合，在文本生成过程中为 LLM 提供相关知识。

在 RAG 框架中，LLM 与信息检索系统配对。当 LLM 收到提示时，检索器会查看知识源（数据库、文本段落等）以查找相关上下文。此上下文与原始提示一起提供给 LLM，以生成输出。

例如，假设我们向基于 LLM 的 QA 系统提供提示“法国的首都是哪里？”。LLM 本身可能不在其参数中包含这些事实知识。但使用 RAG，检索器可以获取诸如“巴黎是法国的首都和人口最多的城市”之类的证据。此上下文为 LLM 提供了生成输出“巴黎”所需的信息。

RAG 的主要优势在于，它允许 LLM 将其输出建立在外部知识的基础上。这克服了其固定参数内存的局限性。即使 LLM 从未针对该信息进行过明确的训练，RAG 模型也可以不断从知识源中检索相关信息。

现在让我们看一下一些流行的 RAG 模型架构，旨在优化这种知识的检索和整合。

RAG 模型架构

实现检索增强生成模型有几个主要范例：