RAG技术两阶段深度解析
“ RAG中检索和增强是两个阶段，其技术不同，目的也不同，千万不要混为一谈。”
RAG检索增强生成，可能很多人并没有真正理解检索增强生成的含义；很多人认为检索增强生成是一体的，事实上检索是检索，生成是生成；它是两个不同的任务阶段，技术不一样，目的也不一样。
RAG的核心原理或者说流程是，根据用户问题检索到相关内容，然后再把检索到的内容交给模型进行生成任务。
检索与生成
RAG从流程上来说，由两个核心阶段组成——检索和生成；检索是一个阶段，生成是另一个阶段。
检索
在检索阶段，目的是怎么准确地检索出与用户问题相关的内容；注重的是数据检索，而由此引发的知识库建设问题，原因就在于检索总要有一个存储数据的地方，而这个地方就是知识库。
所以，建设知识库的目的是为了提升检索的准确率和效率；因此，为了提升准确率和效率，知识库检索可以采用多种方式和技术手段，如传统关系型数据库，向量数据库，知识图谱等。
而技术手段有，文档拆分，向量化，内容总结提取，标签查询，条件查询等等；目的是用最快最准确的手段检索出需要的数据。
因此，在检索阶段，数据越少，粒度越小越好，这样检索准确率才越高，效果也越好，这也是之前提到的[小块召回，大块生成]策略的具体实现。
生成
而生成阶段的目的是把检索阶段召回的数据进行处理，如文档格式化，数据去重，无关数据清洗，上下文管理等——目的是让模型更好的理解问题，理解文档，然后更好的生成。
如生成阶段为了保证对话的连贯性，因此需要拼接对话历史，也就是记忆功能；而为了保证上下文不超长，需要对参考内容，记忆进行裁剪；而为了更好的让模型进行生成，降低无关数据的干扰，需要对召回的数据进行适当的处理，如只保存有用的字段，去除无关字段等。
所以说，在RAG中检索阶段的核心是数据召回，而生成阶段的核心是上下文管理；两者功能不同，目的也不同。
而RAG应用中，最难的一点就是数据召回，也就是检索阶段，原因是知识库的文档来源和格式很复杂，处理起来技术难度太大，特别是文本类文档。
其次，在不同的业务场景中，对文档的格式要求也不尽相同，如文本类文档可能需要使用markdown或其它文本格式；而数据类文档，可能需要表格或json格式。
而在真实的业务场景中，文档的格式各种各样，对数据格式的要求也各种各样；因此，面对这些复杂的文档格式，在检索端处理会相当麻烦。
再有，检索端检索到数据之后才是开始，最重要的是能在生成阶段，能让模型更好的完成生成任务；这时，我们需要把文档组织成统一的，易于模型处理和理解的方式，只有这样才能完成不断提升RAG系统的质量。
普通人如何抓住AI大模型的风口？
领取方式在文末
为什么要学习大模型？
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！
最后
只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！
在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
大模型全套学习资料展示
自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。
希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！
01 教学内容
-
从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！
-
大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
02适学人群
应届毕业生： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
vx扫描下方二维码即可
本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！
03 入门到进阶学习路线图
大模型学习路线图，整体分为5个大的阶段：
04 视频和书籍PDF合集
从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）
新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）
05 行业报告+白皮书合集
收集70+报告与白皮书，了解行业最新动态！
06 90+份面试题/经验
AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）
07 deepseek部署包+技巧大全
由于篇幅有限
只展示部分资料
并且还在持续更新中…
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
扫一扫
1002
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
