【必学干货】RAG检索增强生成：大模型应用入门与实战指南，程序员必收藏

关注

原创最新推荐文章于 2026-04-25 00:46:37 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

银河麒麟（ky10）x86与arm双架构下编译zlmediakit的实战指南本文提供了在银河麒麟（ky10）操作系统上，针对x86与arm双架构编译部署流媒体服务器zlmediakit的完整实战指南。文章详细阐述了从环境准备、依赖安装、代码获取到编译构建与测试的全过程，重点解析了两种CPU架构下的关键差异与注意事项，帮助开发者高效完成国产化平台上的流媒体服务搭建。阅读详情

RAG(检索增强生成)通过结合检索技术与LLM提示，有效解决大模型知识局限性和幻觉问题。其核心架构包含"检索+生成"两阶段：数据准备阶段包括提取、分割、向量和入库；应用阶段实现问题检索、Prompt注入和答案生成。高级RAG技术如分块优化、混合搜索、查询转换等进一步提升系统性能，广泛应用于智能客服、企业知识库等领域，是提升大模型回答准确性的关键技术。

RAG概念

检索增强生成（Retrieval Augmented Generation），简称 RAG。可简单描述为：RAG（检索增强生成） = 检索技术 + LLM 提示。RAG主要用于解决：模型知识的局限性、模型幻觉问题、数据安全性问题等。

例如，我们向 LLM 提问一个问题，RAG 从各种数据源检索相关的信息，并将检索到的信息和问题注入到 LLM 提示中，LLM 最后给出答案。这个过程有两个主要步骤：语义搜索和生成输出。在语义搜索步骤中，从知识库中找到与查询最相关的部分内容。在生成步骤中，使用这些查询到的内容来生成响应。

RAG架构

如图所示，RAG是通过检索获取相关的知识并将其融入Prompt，让大模型能够参考相应的知识从而给出合理回答。核心为“检索+生成”，前者主要是利用向量数据库的高效存储和检索能力，召回目标知识；后者则是利用大模型和Prompt工程，将召回的知识合理利用，生成目标答案。

RAG应用流程主要包含两个阶段：

数据准备阶段：
数据提取—>文本分割—>向量化（embedding）—>数据入库
应用阶段：
用户提问—>数据检索（召回）—>注入Prompt—>LLM生成答案

数据准备阶段

主要是将私域数据向量化后构建索引并存入数据库的过程。包括：数据提取、文本分割、向量化、数据入库等环节。

数据提取

• 数据加载：包括多格式数据加载、不同数据源获取等。
• 数据处理：包括数据过滤、压缩、格式化等。
• 元数据获取：提取数据中关键信息，例如文件名、Title、时间等。

文本分割

文本分割主要考虑两个因素：embedding模型的Tokens限制情况以及语义完整性对整体的检索效果的影响。

常见文本分割方式如下：

• 句分割：以”句”的粒度进行切分，保留一个句子的完整语义。常见切分符包括：句号、感叹号、问号、换行符等。
• 固定长度分割：根据embedding模型的token长度限制，将文本分割为固定长度（例如256/512个tokens），这种切分方式会损失很多语义信息，一般通过在头尾增加一定冗余量来缓解。

向量化（embedding）

向量化是将文本数据转化为向量矩阵的过程。常见的embedding模型如下表所示。

模型名称	描述	获取地址
ChatGPT-Embedding	ChatGPT-Embedding由OpenAI公司提供，以接口形式调用。	https://platform.openai.com/docs/guides/embeddings/what-are-embeddings
ERNIE-Embedding V1	ERNIE-Embedding V1由百度公司提供，依赖于文心大模型能力，以接口形式调用。	https://cloud.baidu.com/doc/WENXINWORKSHOP/s/alj562vvu
M3E	M3E是一款功能强大的开源Embedding模型，包含m3e-small、m3e-base、m3e-large等多个版本，支持微调和本地部署。	https://huggingface.co/moka-ai/m3e-base
BGE	BGE由北京智源人工智能研究院发布，同样是一款功能强大的开源Embedding模型，包含了支持中文和英文的多个版本，同样支持微调和本地部署。	https://huggingface.co/BAAI/bge-base-en-v1.5

• 数据入库：数据向量化后构建索引，并写入数据库的过程，常用数据库包括：FAISS、Chromadb、ES、milvus等。

应用阶段

根据用户的提问，通过高效检索方法，召回与提问最相关的知识，并融入Prompt；大模型参考当前提问和相关知识，生成相应的答案。关键环节包括：数据检索、注入Prompt等。

数据检索

常见检索方法包括：相似性检索、全文检索等，一般可以选择多种检索方式融合，提升召回率。

• 相似性检索：即计算查询向量与所有存储向量的相似性得分，返回得分高的记录。常见方法包括：余弦相似性、欧氏距离、曼哈顿距离等。
• 全文检索：在数据存入时，通过关键词构建倒排索引；在检索时，通过关键词进行全文检索，找到对应的记录。

注入Prompt

在RAG场景中，Prompt一般包括任务描述、背景知识（检索得到）、任务指令（一般是用户提问）等，根据任务场景和大模型性能，也可以在Prompt中适当加入其他指令优化大模型的输出。

一个简单知识问答场景的Prompt如下所示：

【任务描述】假如你是一个专业的客服机器人，请参考【背景知识】，回【背景知识】{content} // 数据检索得到的相关文本【问题】石头扫地机器人P10的续航时间是多久？

在实际应用过程中，需要根据大模型的实际输出进行针对性的Prompt调优。

原始RAG

标准的 RAG 流程：将文本分块，然后使用一些 Transformer Encoder 模型将这些块嵌入到向量中，将所有向量放入索引中，最后创建一个 LLM 提示，告诉模型根据我们在搜索步骤中找到的上下文回答用户的查询。

在运行时，使用同一编码器模型对用户的查询进行向量化，然后搜索该查询向量的索引，找到 top-k 个结果，从我们的数据库中检索相应的文本块，并将它们作为上下文输入到 LLM 提示中。

提示与下边内容类似：

def question_answering(context, query):    prompt = f"""                Give the answer to the user query delimited by triple backticks {query}\                using the information given in context delimited by triple backticks {context}.\                If there is no relevant information in the provided context, try to answer yourself,                but tell user that you did not have any relevant context to base your answer on.                Be concise and output the answer of size less than 80 tokens.                """    response = get_completion(instruction, prompt, model="gpt-3.5-turbo")    answer = response.choices[0].message["content"]  return answer

高级RAG

1、分块 (Chunking) & 向量化 (Vectorisation)

1.1 分块 (Chunking)

将初始文档拆分为一定大小的块，块的大小取决于所使用的嵌入模型以及模型需要使用 token 的容量。

1.2 向量化 (Vectorisation)

选择一个搜索优化的模型来嵌入我们的块。比如 bge-large 或 E5 嵌入系列。

2、搜索索引

2.1 向量存储索引

RAG 管道的关键部分是搜索索引，一般采用向量索引，比如faiss、nmslib 以及 annoy这些工具，基于近似最近邻居算法，如聚类、树结构或HNSW算法。

2.2 分层索引

在大型数据库情况下，一个有效的方法是创建两个索引——一个由摘要组成，另一个由文档块组成，然后分两步进行搜索，首先通过摘要过滤掉相关文档，然后只在这个相关组内搜索。

2.3 假设性问题和HyDE(Hypothetical Document Embeddings,假设性文档嵌入)

假设性问题：让 LLM 为每个块生成一个问题，并将这些问题嵌入到向量中，在运行时对这个问题向量的索引执行查询搜索（将块向量替换为索引中的问题向量），然后在检索后路由到原始文本块并将它们作为 LLM 获取答案的上下文发送。

假设性文档嵌入：根据输入问题生成一个假设性答案，然后对该假设性答案进行嵌入与检索（可以同时携带原问题）。即要求 LLM 在给定查询的情况下生成一个假设的响应，然后将其向量与查询向量一起使用来提高搜索质量。

2.4 内容增强

2.4.1 语句窗口检索器

文档中的每个句子都是单独嵌入的。为了在获取最相关的单个句子后更好地推理找到的上下文，将上下文窗口扩展为检索到的句子前后的 k 个句子，然后将这个扩展的上下文发送到 LLM。

绿色部分是在索引中搜索时发现的句子嵌入，整个黑色 + 绿色段落被送到 LLM 以扩大其上下文，同时根据提供的查询进行推理。

2.4.2 自动合并检索器（或父文档检索器)

思路与语句窗口检索器非常相似——搜索更精细的信息片段，然后在LLM 进行推理之前扩展上下文窗口。文档被拆分为较小的子块，这些子块和较大的父块有引用关系。

首先在检索过程中获取较小的块，然后如果前 k 个检索到的块中有超过 n 个块链接到同一个父节点（较大的块），将这个父节点替换成给 LLM 的上下文。

2.5 融合检索或混合搜索

结合传统的基于关键字的搜索（稀疏检索算法，如 tf-idf 或搜索行业标准 BM25）和现代语义或向量搜索，并将其结果组合在一个检索结果中。唯一的关键是如何组合不同相似度分数的检索结果。通常通过 Reciprocal Rank Fusion 算法来解决。

混合或融合搜索通常能提供更优秀的检索结果，因为它既考虑了查询和存储文档之间的语义相似性，也考虑了关键词匹配。

3、重排（reranking）和过滤（filtering）

根据相似性分数、关键字、元数据过滤掉结果，或使用其他模型（如 LLM）、sentence-transformer 交叉编码器，Cohere 重排名接口、或者基于元数据重排检索到的上下文。

4、查询转换

查询转换是一系列技术，使用 LLM 作为推理引擎来修改用户输入以提高检索质量。

对于复杂的查询，大语言模型能够将其拆分为多个子查询。比如，

当你问：“在 Github 上，Langchain 和 LlamaIndex 这两个框架哪个更受欢迎？”，

我们不太可能直接在语料库找到它们的比较，所以将这个问题分解为两个更简单、具体的合理的子查询：

• “Langchain 在 Github 上有多少星？”
• “Llamaindex 在 Github 上有多少星？”

这些子查询会并行执行，检索到的信息随后被汇总到一个 LLM 提示词中。

5、聊天引擎

通过查询压缩技术，将聊天上下文与用户查询一起考虑在内。如ContextChatEngine，首先检索与用户查询相关的上下文，然后将其与内存缓冲区中的聊天记录一起发送到 LLM，以便 LLM 在生成下一个答案时了解上一个上下文。

6、查询路由

查询路由是 LLM 驱动的决策步骤，决定在给定用户查询的情况下下一步该做什么——选项通常是总结、对某些数据索引执行搜索或尝试许多不同的路由，然后将它们的输出综合到一个答案中。

查询路由器还用于选择数据存储位置来处理用户查询。比如传统的向量存储、图形数据库或关系型数据库，或者是不同层级的索引系统。

7、响应合成

响应合成的主要方法有：

• 通过将检索到的上下文逐块发送到 LLM 来优化答案
• 概括检索到的上下文，以适应提示
• 根据不同的上下文块生成多个答案，然后将它们连接或概括起来。

总结

RAG是一个强大的功能，能够提高语义搜索效率。它让大语言模型（LLM）在回答问题前，先从外部知识库中检索相关信息，再基于检索结果生成更准确、可靠的回答。主要解决了知识时效性、幻觉问题、专业领域知识、可解释性问题。覆盖了智能客服、企业知识库、法律咨询、医疗辅助、AI搜索引擎等多种典型应用场景。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】