本文详细介绍RAG(检索增强生成)技术,这是一种解决大模型"幻觉"问题的关键方案。RAG通过访问外部知识库检索相关信息,使大模型从"闭卷考试"变为"开卷考试"。
1、RAG这么火,你会用吗?
自从大模型技术走向市场以来,“幻觉”现象总是对用户造成困扰,而**RAG(Retrieval-Augmented Generation,检索增强生成)**技术正在成为解决这一难题的利器。国内众多科技大厂在实践RAG技术时都取得了阶段性的成果。
蚂蚁集团采用RAG技术,通过知识库分层构建、复杂文档处理、混合搜索策略和总结模型优化,答案获取效率提高约20%。
阿里云通过外挂知识库提供可靠知识,优化知识检索与答案生成流程,成功化解智能问答面临的幻觉、知识更新滞后、隐私数据泄露等挑战。
哔哩哔哩运用大模型升级智能客服系统,优化RAG链路和检索机制,构建全面的领域知识库,智能客服拦截率提升近30%。
字节跳动充分发挥RAG和FineTuning(微调)两种建设思路,利用大模型构建答疑机器人,实现研发基建部门答疑值班。
2、RAG的核心
RAG的核心功能,就是它可以访问一个外部知识库或文档集,从中检索与当前问题相关的片段,将这些最新或特定领域的外部信息纳入“思考过程”,然后再进行回答生成。这使得大模型在回答问题时,不必依赖于其在训练过程中“记住”的知识,以此有效降低“幻觉”。
RAG使大模型能够“查阅资料”,将静态的、受限于训练时间的语言模型转变为能够动态获取信息、实时扩展知识的智能体。对大模型的“闭卷考试”瞬间变成了“开卷考试”,这种变化对大模型应用效果提升有着巨大潜力。

RAG的核心组件包括知识嵌入、检索器和生成器。
知识嵌入(Knowledge Embedding):将外部知识库的内容读取并拆分成块,通过嵌入模型将文本或其他形式的知识转化为向量表示,使其能够在高维语义空间中进行比较。这些嵌入向量捕捉了句子或段落的深层语义信息,并被索引存储在向量数据库中,以支持高效检索。
检索器(Retriever):负责从外部知识库(向量表示的存储)中查找与用户输入相关的信息。检索器采用嵌入向量技术,通过计算语义相似性快速匹配相关文档。常用的方法包括基于稀疏向量的BM25和基于密集向量的近似最近邻检索。
生成器(Generator):利用检索器返回的相关信息生成上下文相关的答案。生成器通常基于大模型,在内容生成过程中整合检索到的外部知识,确保生成的结果既流畅又可信。
3、RAG系统构建
这部分是RAG技术落地的第一步。在数据导入环节,书中详细讲解了如何读取与解析多样化的文件格式,包括TXT文本、CSV文件、网页文档、Markdown文件、PDF文件等,还有借助Unstructured工具从图片中提取文字并导入。

文本分块是影响检索精度与生成质量的关键步骤,书中介绍了按固定字符数、递归、基于格式或语义等多种分块策略。针对信息嵌入,介绍了从早期词嵌入到当下流行的OpenAI、Jina等现代嵌入模型,详细说明了如何对嵌入模型进行微调。
针对向量存储则介绍了Milvus、Weaviate等主流向量数据库,以及选型时在索引类型、检索方式、多模态支持等多方面因素的考量,为构建高效的向量存储系统提供依据。
4、RAG系统优化
优化是提升RAG系统性能的关键。在检索前处理中,介绍查询构建如何实现Text-to-SQL等复杂转换,查询翻译能将简单模糊的查询重写为精准表述,查询路由则通过逻辑路由等方式将查询导向最合适的数据源。
索引优化给出节点-句子滑动窗口检索、分层合并等实用方法,提高检索效率。检索后处理涵盖RRF、Cross-Encoder等重排手段,以及Contextual Compression Retriever等压缩技术,这些手段和技术可以对检索结果执行校正操作。

在响应生成阶段,通过改进提示词、选择适配的大模型,采用Self-RAG等优化方式,提升生成内容的质量,确保系统输出既准确又符合用户需求。
5、RAG系统评估
评估是度量RAG系统性能的重要手段。书中构建了全面的评估体系,评估数据集为测试提供基础素材,检索评估通过精确率、召回率等7种指标,度量系统从知识库中获取相关信息的能力。响应评估基于n-gram匹配、语义相似性等3类指标,判断生成回答的质量。

该部分还介绍了RAGAS、TruLens等4种评估框架,帮助读者从不同维度对RAG系统进行量化分析,清晰了解系统在准确性、相关性、可靠性等方面的表现,进而有针对性地进行改进。
6、复杂RAG范式
最后一部分是对RAG技术的前沿探索,包括以下RAG范式:
GraphRAG:整合知识图谱,提升对复杂问题的处理能力;
上下文检索:突破传统上下文限制的困境,为用户提供更贴合语境的回答;
Modular RAG:实现从固定流程到灵活架构的转变;
Agentic RAG:引入自主代理驱动机制,让系统具备更强的自主性和智能性;
Multi-Modal RAG:实现多模态检索增强生成,支持文本、图像、音频等多种信息融合。

经过这四个部分的系统化学习,读者将打下RAG的理论基础,并掌握RAG实施的方法与工具,大力提升大模型的工作效能。
这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!
👇👇扫码免费领取全部内容👇👇

1. 成长路线图&学习规划
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。(书籍含电子版PDF)

3. 大模型视频教程
对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。

4. 2026行业报告
行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战
学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题
面试不仅是技术的较量,更需要充分的准备。
在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

7. 资料领取:全套内容免费抱走,学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:
👇👇扫码免费领取全部内容👇👇

479



被折叠的 条评论
为什么被折叠?



