RAG技术深度解析：收藏这份开发者实战笔记，轻松掌握检索增强生成

RAG技术详解与大模型学习指南
最新推荐文章于 2025-11-26 15:49:07 发布
原创 最新推荐文章于 2025-11-26 15:49:07 发布 · 944 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法 #产品经理 #学习 #程序员 #转行 #ai

目前自己的项目就是 RAG 类的，目前已经推向用户使用，所以先从 RAG 上，分享我自己的想法与经验，欢迎大家交流学习。写文章的目的是想践行费曼学习法，把逻辑尽可能说的简单，所以有些概念并不一定严谨，如果偏差，欢迎大家指正。

什么是RAG？

檢索增強生成（Retrieval-Augmented Generation, RAG），读起来非常绕口，我理解的核心就是就是基于让大模型在做生成的时候，能够基于你的知识生成答案，而不是那种通用的泛泛内容。

传统的RAG流程

从网络上找了一个通用的 RAG 的流程，简单总结一下，

1、就是将大模型需要的各种知识先进行向量化存储到数据库里面，

2、然后用户询问的时候从数据库找相近的知识，

3、检索出来之后进行重排序（rerank），获取最终的检索结果，将检索结果作为背景知识给到 LLM 生成大模型，获得基于你的背景知识的回复。

在这里插入图片描述

图片来源，请看附录

至于一般常说的 chunks、多路召回等，都是在这个基础上做的迭代与改进，至于为什么要改进，我在后续的文章中，再跟大家分享我遇到的坑。

解释几个核心的技术概念

什么是向量化

抛开技术实现原理不看，大家简单理解，就是他可以一定程度显示语义，可以识别语义的相似度。

为什么需要重排序（rerank）

既然向量化已经能够解决语义相似性了，为什么还需要 rerank 这一步？

因为向量化他只是一定程度的解决语义相似性问题，但是区分的并不是很好，rerank 它可以更加准确的区分语义，特别是看起来非常接近的概念。例如法律领域的买方、卖方，医学领域中各种 病症的名词，这种差之毫厘，失之千里。 这个就是 rerank 存在的意义，进一步识别语义。

LLM生成大模型是什么

其实这个就是我们常说的大模型。豆包、GPT 5 等都是说的这个大模型，所以前面的动作都是铺垫，都是准备内容，让这一步 LLM 大模型获取更加准确的知识，生成更加贴近我们场景的内容。

RAG应用场景

为什么 RAG 会这么火爆，因为他是打造自己的大模型应用的基础流程，只有把你的知识塞给大模型后，大模型才能生成你个性化的内容，不然大家为什么不直接使用豆包呢？

目前最常见的场景，就是搭建一个企业内部的知识问答工具，企业知识都是沉淀到企业内部的，必须要通过检索工具，给到大模型，大模型才能基于公司的场景进行专业回复。

如果想搭建自己的 Agent，RAG的理念/流程基本必不可少。例如你想搭建一个二次元/游戏领域聊天大模型，你就必须能够把二次元相关的最新信息给他才行（市面上的大模型基本都是按照轮次训练的，并不会自带最新的信息）。例如你问他梦幻西游 129 五开，

目前主力攻克的方向

幻觉问题

幻觉问题，很大一部分来源于大模型不知道他不知道，他以为他知道了，就开始跟你一顿胡吹，然后他还不知道他错了，这种在小众领域/企业内部专有名词上，表现的尤为严重，我们目前也是在主力解决这个问题。

目前市面上针对这种，相对成熟的方向是让 AI 自建知识图谱，然后通过图关系的形式，理解知识，但是坦白来说，例如 KAG（蚂蚁开源）、Light RAG，都无法做到开箱即用，还是需要我们自己不断尝试。

上下文长度问题

目前当我们给的背景知识长度太长之后，会导致回答显著变慢，影响用户体验。更致命问题，就是大模型会产生注意力缺失，就像别人给我们上了一整堂课之后，大模型自己会自己忽略掉很多细节。然后就觉得背景知识明明有，但是为什么大模型回答不出来的问题。

那么能不能给到大模型真正需要的知识？ 那么就需要我们在文档拆分、知识检索、知识重排的准确性很高才行。这里面每个又都是一个难点。如果后续大模型本身迭代，能够优化长上下文准确性，整个流程就简化很多了

多跳问题

多跳 (multi-hop)：问题需要把多个信息点结合起来，经过“推理链”才能得到答案。 例如你问大模型，过去 5 年，哪个省份 GDP 增长幅度最大。这种场景就需要大模型自己检索过去 N 年的各个省份的数据，然后综合对比，获得增长幅度最大的结果。

这种场景在分析类 RAG 非常场景，目前主流的步骤是采取 问题拆解、分别检索、综合获取最终答案，但是这种问题拆解难度很高。更加趋势类的做法是 Agentic RAG，采取类似 MCP 理念，让 AI 自己问题拆分、检索、分析，基于分析结果再继续拆分、检索……。

指定遵从问题

很多时候，我们要求大模型不要自己 YY，要参考我们的知识，但是很多时候，模型的遵从性并不好。甚至之前，我们要求按照 json 返回，模型都无法 100% 做到（最新的模型，结果格式的遵从性好很多了）

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
在这里插入图片描述

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
在这里插入图片描述

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！

在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。

图片

希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！

01 教学内容

图片

  • 从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！

  • 大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

02适学人群

应届毕业生‌： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

image.png

vx扫描下方二维码即可
在这里插入图片描述

本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！

03 入门到进阶学习路线图

大模型学习路线图，整体分为5个大的阶段：
图片

04 视频和书籍PDF合集

图片

从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）

图片

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）
图片

05 行业报告+白皮书合集

收集70+报告与白皮书，了解行业最新动态！
图片

06 90+份面试题/经验

AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）图片
在这里插入图片描述

07 deepseek部署包+技巧大全

在这里插入图片描述

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

RAG技术全栈指南学习笔记------基于Datawhale all-in-rag开源项目
2301_79411237的博客
10-04 1400
RAG技术全栈指南学习摘要 本文系统介绍了检索增强生成（RAG）技术的核心概念与应用。RAG通过结合信息检索和生成模型的优势，有效减少大语言模型的"幻觉"问题。全文分为三部分：RAG基础架构（知识库、检索器、生成器、融合模块）、文本向量化技术（从词袋到Sentence-BERT）及向量数据库原理（ANN算法、主流工具对比）。RAG适用于智能问答、内容生成等场景，其发展历程显示从2020年提出至今已快速演进为多模态融合方向。实践层面，文本详细演示了向量化代码实现，为开发者提供技术参考。整体
深度揭秘RAG技术：从理论到实战，一键掌握检索增强生成与模型可解释性！
Everly_的博客
08-22 1213
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单【版面分析——富文本txt读取】
高级检索增强生成（RAG）技术综述：一图读懂RAG原理与应用！
m0_65555479的博客
04-23 1067
检索增强生成（Retrieval Augmented Generation，简称RAG）是为大型语言模型（LLM）提供从数据源检索到的信息，使其生成的答案基于这些信息。基本上，RAG就是搜索 + LLM提示，即要求模型根据搜索算法找到的信息作为上下文来回答所提供的查询。查询内容和检索到的上下文都会被嵌入发送给LLM的提示信息中。2023年，RAG是基于LLM的系统中最受欢迎的架构。有许多产品几乎完全基于RAG构建——从将网络搜索引擎与LLM相结合的问答服务，到数百个能与自有数据对话的应用程序。
【必学收藏】大模型知识库与RAG技术深度解析：从原理到企业级实践指南
2301_82275412的博客
08-30 1215
文章详细介绍了大模型知识库功能及RAG（检索增强生成）技术原理，解释了企业自建知识库的原因，分析了RAG如何通过外部知识库增强大模型回答能力，克服知识滞后、接入私有数据、提高准确性等问题。提供了个人与企业两种知识库搭建方案，介绍了LangChain、LlamaIndex等工具及向量数据库选择，解答了常见技术问题，为开发者提供了完整的大模型知识库实现指南。
【强烈收藏】RAG技术栈深度解析：大模型应用开发者的必备技能
Android_XG的博客
11-20 906
RAG（检索增强生成）是一种结合信息检索与生成式AI的混合技术，旨在解决传统大语言模型知识时效性不足和事实准确性偏差问题。文章详细介绍了RAG的核心组成部分、技术流程（知识库构建与使用）和完整技术栈，包括知识源处理、向量工程、检索策略、生成增强、系统集成与评估运维。通过"先检索外部权威信息，再基于检索结果生成回答"的逻辑，RAG能够显著提升AI输出的精准度、时效性和可信度，是当前大模型应用开发中的关键技术。
Agentic RAG技术深度解析：大模型进阶必备，值得收藏的技术指南
AI大模型的博客
11-17 853
RAG技术是人工智能领域的重大突破，它将LLMs的生成能力与实时数据检索相结合。尽管LLMs在自然语言处理领域展现出卓越能力，但由于依赖静态预训练数据，它们的回应常常存在过时或不完整的问题。RAG技术通过动态检索并整合外部信息源的相关内容到生成过程中，解决了这一限制，从而实现了上下文准确且信息更新的输出。Agentic RAG代表了人工智能领域的变革性突破，通过整合自主智能体克服了传统RAG系统的局限性。
大模型必备技能：RAG检索增强生成技术详解+实战（建议收藏学习）
2401_85325726的博客
10-03 631
文章介绍了检索增强生成（RAG）技术，解决LLM无法处理专有数据的问题。RAG结合检索模块与生成模型，使LLM能访问外部知识源，减少幻觉。文章详细解释RAG工作原理（检索、增强、生成），并提供使用LangChain、OpenAI和Weaviate实现RAG的完整代码示例。相比传统微调，RAG更灵活、资源需求更低且易于维护。
收藏必备！RAG技术深度解析：让大模型精准调用外部知识的四大架构实战指南
python12345_的博客
10-15 837
收藏必备！RAG技术深度解析：让大模型精准调用外部知识的四大架构实战指南
RAG检索和记忆: 面向自适应笔记增强的检索增强生成
datian1234的博客
10-30 1071
检索增强生成 (RAG) 通过引入外部知识，减轻了大型语言模型 (LLM) 在开放域问答任务 (OpenQA) 中生成的事实错误和幻觉输出问题。然而，对于复杂的问答，现有的 RAG 方法使用 LLM 主动预测检索时机，并直接使用检索到的信息进行生成，而不管检索时机是否准确反映了实际的信息需求，或者是否充分考虑了先前检索到的知识，这可能导致信息收集和交互不足，从而产生低质量的答案。
此存储库包含Jupyter笔记本中检索增强生成（RAG）的实现 它包括建筑c的例子…
08-30
该存储库收录了检索增强生成（RAG）在 Jupyter 笔记本中的实现方案，其中包含相关架构的示例内容，可用于直观了解 RAG 技术在实际开发环境中的落地方式，为开发者或学习者提供基于 Jupyter 工具的 RAG 实践参考，...
RAG技术综述：检索增强生成在大语言模型中的应用解析
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与文本生成的前沿技术框架，旨在提升大语言模型（LLM）在知识密集型任务中的表现。该技术通过将外部知识库或文档集合引入生成过程，有效缓解...
2025生成式AI技术趋势深度解析：从企业战略到轻量化部署的全面转型
TuFuir的博客
03-01 2185
为应对算力成本与延迟问题，轻量化模型成为2025年核心趋势。Meta发布的Llama-3-7B在参数量减少70%的情况下，通过动态稀疏激活技术实现了与千亿级模型相近的文本生成质量。同时，半导体行业同步发力：三星的定制化HBM（高带宽内存）与台积电CoWoS先进封装技术，使边缘设备运行10B以下模型成为可能。代码示例（模型压缩）# 4-bit量化加载Llama-3-7B生成式AI的爆发既是技术革命，更是社会契约的重构。深耕轻量化部署技术栈（ONNX Runtime、TensorRT-LLM）；
16、探索LangChain链与检索增强生成（RAG）技术
prometheus9mon的博客
11-01 10
本文深入探讨了LangChain链与检索增强生成（RAG）技术的核心概念、应用场景及未来发展趋势。详细介绍了LangChain中链的组合方式、高级技术实现、典型应用如聊天机器人和报告生成，并解析了RAG如何解决传统大语言模型在时效性、私有数据处理和安全性方面的局限。结合实际案例，展示了从数据加载、嵌入、存储到检索与生成的完整流程，对比了LangChain链与RAG技术的优劣，并提供了学习资源与实践建议，帮助开发者构建更智能、安全、高效的生成式AI应用。
Dify 1.9.0 Knowledge Pipeline深度解析：让RAG知识处理像搭积木一样简单
weixin_41246802的博客
09-24 1420
摘要：Dify 1.9.0推出革命性KnowledgePipeline（知识管道），彻底重构RAG知识处理架构。核心亮点包括可视化节点编排、多源数据融合、图像智能提取和Q&A感知分块四大创新功能，解决了传统RAG系统在数据集成、信息丢失和分块策略上的痛点。系统提供7个专业模板，覆盖从Office文档转换到复杂PDF处理等场景，处理速度提升200%，检索准确率提高23%。通过模块化节点设计和多模态处理能力，KnowledgePipeline让企业级知识处理变得简单高效，实现从"能用&quot
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 273
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 770
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 483
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
最新发布
2301_80828873的博客
11-26 939
最近邻检索的方法，PQ，IVF,HNSW
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值