NLP高频面试题（二十四）——RAG相关内容简介

检索增强生成（Retrieval-Augmented Generation，简称 RAG）是一种将信息检索与生成模型相结合的技术，旨在提升大型语言模型的响应准确性、相关性和时效性。通过在生成过程中引入外部知识，RAG 能够有效弥补 LLM 在知识局限性、幻觉问题和数据时效性等方面的不足。

RAG 的基本概念

RAG 技术的核心在于整合检索模块和生成模块：

• 检索模块：从外部知识库（如文档、数据库）中实时检索与输入相关的信息。
• 生成模块：基于检索到的上下文，生成连贯且准确的答案。

这种双模块架构使得模型在生成答案时，能够利用最新、最相关的知识，而不仅仅依赖于训练时的静态数据。

RAG 的工作流程

RAG 的完整应用流程主要包括两个阶段：数据准备阶段和应用阶段。

数据准备阶段

1. 数据提取：从多种数据源加载数据，包括不同格式和来源的文档，并进行清洗、过滤和格式化处理。
2. 文本分割：将长文本分割成适合处理的小块，常见的方法包括按句子、固定长度或语义完整性进行切分。
3. 向量化（Embedding）：使用预训练的嵌入模型将文本块转换为高维向量表示，捕捉其语义信息。
4. 数据入库：将生成的向量存储在向量数据库中，支持高效的相似性搜索。

应用阶段

1. 用户提问：接收用户输入的查询。
2. 数据检索：将用户查询向量化，并在向量数据库中检索最相关的文本块。
3. 注入 Prompt：将检索到的文本块与原始查询组合，形成提示词，输入到生成模型中。
4. LLM 生成答案：生成模型基于提供的上下文和查询，生成最终的回答。

RAG 的优势

• 实时更新：能够访问最新的外部信息，保持知识的时效性。
• 减少幻觉：通过使用外部验证信息，减少模型产生的错误或虚构信息。
• 高透明度：生成答案时引用外部信息源，增加可信度和可追溯性。
• 避免重训练：相比于微调，RAG 减少了频繁重训练的需要，因为模型可以通过检索即时获取新信息。

RAG 的挑战与优化方向

• 检索质量：检索模块的性能直接影响生成结果的质量，需要优化检索算法和索引结构。
• 生成整合：如何有效地将检索到的外部信息与生成模型内部知识融合，是提升回答质量的关键。
• 延迟问题：检索过程可能增加响应时间，需要在性能和准确性之间取得平衡。

针对上述挑战，以下是一些优化策略：

• 改进检索算法：采用更先进的向量检索技术，如稠密向量检索和近似最近邻搜索，提高检索效率和准确性。
• 优化文本分割：根据语义信息进行智能分割，保持文本块的语义完整性，避免信息丢失。
• 增强生成模型：通过微调生成模型，使其更好地利用检索到的外部信息，提高回答的连贯性和准确性。