【RAG】RAG概述

CS_木成河

已于 2024-11-20 20:04:47 修改

阅读量1.4k

点赞数 36

分类专栏： LLM大模型应用开发文章标签：人工智能 LLM RAG 文本检索

于 2024-10-28 09:37:50 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_47936614/article/details/143280283

版权

LLM大模型应用开发专栏收录该内容

2 篇文章

订阅专栏

RAG概述

1. RAG 的基本介绍
2. RAG 的工作流程
3. RAG 的应用场景
4. RAG 的优势与局限性
5. 总结

1. RAG 的基本介绍

在现代自然语言处理（NLP）和生成式 AI 的应用中，检索增强生成（Retrieval-Augmented Generation，RAG）是一种结合检索系统与生成模型的技术，主要用于处理需要大规模知识和高准确性的任务。传统的生成模型在生成回答时只能依赖自身的训练数据，并不能动态访问最新的信息。而 RAG 通过引入检索机制，弥补了生成模型在知识广度和及时性方面的不足，因此在各种需要复杂知识的场景中表现较好。

RAG 框架的核心思想是：大模型在生成答案之前，先通过检索器从外部数据库（如：知识库、文档集合等）中找到相关信息，然后基于检索到的信息生成回答。例如，传统的生成模型在回答类似“2024年奥运会的举办地在哪里？”的问题时可能会回答错误，因为其训练数据中并不包含最新的信息。然而，在 RAG 框架中，模型可以先通过检索模块找到相关信息资料，再利用这些信息来生成答案，从而确保回答的准确性和更新度。

2. RAG 的工作流程

RAG 的工作流程，分为三个主要步骤：Retrieve（检索）、Augment（增强）和 Generate（生成）。如下图所示：

在这里插入图片描述
图片来源：Retrieval-Augmented Generation (RAG): From Theory to LangChain Implementation

下面将详细解释这三个步骤，以及它们之间的关系。

2.1 Retrieve（检索）

RAG 的流程从用户输入的查询 (Query)开始。为了找到与该查询相关的信息，先执行检索操作，步骤如下：

嵌入生成 (Embedding)：将查询转换为向量表示。嵌入模型会将用户的查询转化为一个高维向量，以便于在向量数据库中进行相似性检索。
向量数据库 (Vector Database)：这个数据库储存了大量文本或文档的向量表示。通过计算查询向量和数据库中文档向量之间的相似度，模型可以找到与查询最相关的文档。

这一阶段的目标是获取与查询相关的上下文信息(Context)，并将这些信息作为后续生成回答的基础。在完成检索后，获得的上下文信息被传递给下一阶段的“增强”部分。

2.2 Augment（增强）

在检索阶段得到相关的上下文信息后，RAG 框架会将这些信息与原始查询一起构建一个提示 (Prompt)。具体步骤如下：

查询与上下文 (Query and Context)：检索到的上下文信息会与原始的查询一同进行拼接，形成一个输入提示，这个提示包含了用户的查询(Query)以及从知识库中检索到的相关内容(Context)。
提示 (Prompt)：该提示将作为生成模型的输入，以便生成更具上下文关联的回答。

这一阶段为生成模型提供外部的知识支持，提升生成结果的准确性和相关性。

2.3 Generate（生成）

在生成阶段，RAG 使用一个大语言模型（如Llama、GPT系列模型）来处理“增强”阶段构建的提示，从而生成最终的回答 (Response)。

大语言模型 (LLM)：大模型会根据之前构建的提示（包括查询和上下文信息）生成回答。
回答 (Response)：生成的回答最终返回给用户，这个回答通常会因为包含了检索到的上下文信息而更加准确。

3. RAG 的应用场景

RAG 因其灵活性和高效性，广泛应用于需要高知识密度和上下文关联的任务中。以下是一些典型应用场景：

问答系统：在医疗、法律等领域的问答系统中，RAG 可以从海量文献中检索到最新的专业信息，为用户提供详细和专业的答案。
对话系统：RAG 增强的对话系统可以动态获取相关对话主题的背景知识，使得对话更具逻辑性和连贯性。
文档生成：在生成报告、摘要等任务中，RAG 可以从多个相关文档中提取关键信息，从而生成符合需求的文档。
个性化推荐：在个性化推荐场景中，RAG 可以从用户浏览的历史信息中检索相似内容，为用户生成个性化推荐内容。

4. RAG 的优势与局限性

与传统的生成模型相比，RAG的优势在于，它不仅可以访问训练时的静态知识，还可以利用最新的数据资源，从而生成更准确和时效性更强的答案。

知识丰富性：由于 RAG 能够直接从外部数据库中检索信息，生成的回答内容更丰富。
实时性和动态性：由于外部知识库可以动态更新，因此 RAG 生成的回答可以包含最新的知识。
鲁棒性：RAG 通过检索器引入了上下文信息，从而生成的回答在逻辑和内容上更符合用户的需求。

尽管RAG 在多个场景中展示了出色的性能，但它仍然存在一些局限性：

计算资源需求高：RAG 需要同时运行检索和生成模块，因此对计算资源的需求较大，尤其在大规模应用中更为明显。
检索质量依赖性：RAG 的生成结果高度依赖检索到的信息质量，因此在知识库或文档集合不足的情况下，RAG 的性能会受到影响。

5. 总结

RAG 是一种将信息检索与生成模型相结合的创新技术，适用于高知识需求的生成任务。通过利用外部知识库，RAG 大幅提升了生成答案的准确性和丰富度，特别是在需要动态更新和上下文信息的场景中。尽管存在计算开销和检索质量等方面的挑战，但 RAG 在提升生成模型的回答准确性和知识覆盖率方面具有显著的应用价值。未来，随着检索算法和生成模型的进一步发展，RAG 有望在更广泛的领域中展现其优势，并推动生成式 AI 向着更智能、更实时的方向发展。