RAG检索增强生成技术的演进及其应用

传统RAG

传统RAG(Retrieval-Augmented Generation检索增强生成)通过外挂知识库的方式降低大模型幻觉，解决了大模型即使不通过微调，也可以使大模型具备专业的领域知识, 是最早期出现的RAG架构。

传统 RAG 核心流程

索引构建：将原始文档转换成向量, 存储至向量数据库。这个阶段一般包含：文档清洗(去重,降噪,脱敏等)→切块chunk→向量化embedding→入库(FAISS/Milvus/ pgvector等向量数据库)四大步骤处理。

查询阶段：根据用户输入, 去向量数据库检索出相关信息。

生成阶段：文本信息与LLM结合生成—-将检索出的信息与原始的用户输入交给大模型，引导模型输出更准确的答案。

传统 RAG 的局限性

仅能处理纯文本数据，无法识别图像中的视觉信息(如产品图片的细节、图表中的数据关系)、音频中的语音内容(如会议录音的关键观点)；

知识库多为静态知识库，如果知识更新，需要重新构建索引（embedding处理）;

通常只是进行一轮的知识库检索，并且将检索的结果与原始提示词进行简单拼接后，直接提交给大模型进行生成结果。

当输入为非文本(如用户上传一张故障图片并提问 “这是什么问题”)时，传统RAG 完全无法响应，只能依赖LLM的 “幻觉性猜测”。

总结：检索→拼接→生成，适用于简单的企业内部各类知识问答场景。

传统 RAG单模态的升级

多模态RAG(Multimodal RAG)

在传统 RAG仅聚焦文本数据的基础上,多模态RAG(Multimodal RAG)将检索范围扩展到文本、图像、音频、视频、表格等多种类型的数据，通过统一的技术框架实现 “跨模态检索-多源信息融合-精准生成” 的闭环，解决了传统RAG无法处理非文本信息的核心痛点，更贴合真实世界中 “多模态信息共存” 的场景需求(如产品手册含图文、医疗报告含影像与文字、社交媒体含视频与文案等)。

要理解多模态RAG，需先明确其与传统RAG的核心差异——本质是“数据维度”与“处理逻辑”的扩展，而非对RAG核心流程的颠覆。多模态RAG是“检索增强生成”与“多模态学习” 的融合技术 ：

核心目标：让LLM不仅能基于文本知识回答，还能结合图像、音频等非文本知识,生成更全面、更精准的多模态响应(如回答时附图表解释、生成含文字说明的图像)；

关键特征：支持 “跨模态输入 - 跨模态检索 - 跨模态生成”，例如：

  - 输入：一张 “手机屏幕碎裂” 的图片 + 文字提问 “维修需要哪些配件？”；

  - 检索：同时从“维修手册文本库”中找“屏幕维修流程”、从“配件图片库”中找“适配屏幕型号图”；

  - 生成：文字说明“需更换屏幕总成+背光板”，并附配件图片与安装步骤示意图。

总结：将文本+图片/表格/音频/视频/图纸等都纳入检索与理解。

Agentic RAG

Agentic RAG(代理式检索增强生成)是将AI代理引入RAG流程的技术,通过动态规划、工具调用和迭代优化解决传统RAG的局限性。 ‌

传统的RAG,信息检索只是一个必须而又被动的检索步骤,是大模型回答前必须的一个前置检索步骤,用于给大模型回答提供炮弹。而Agentic RAG相当于在传统RAG的基础上, 引入了智能体(Agent)的概念, 使检索过程更加智能化和自主化。根据用户的需求，Agentic RAG可以决定是否需要检索、何时进行检索、如何利用检索结果, 并且可以进行多轮检索, 对检索结果自己进行迭代和优化。所以要实现Agentic RAG, 就需要创建一个智能体，而检索过程将被封装成可以自主调用、评估、迭代和优化的工具，难度更高。

Agentic RAG特点：

自主决策：可自主决定检索时机和策略，提高了检索的灵活性和准确性。

多轮检索：支持多轮检索和迭代优化，能够根据初步检索结果调整后续检索策略，检索结果更靠谱。

复杂融合：检索结果与上下文信息的融合更加复杂和智能，能够更好地支持多轮对话和复杂任务。

总结：Agentic RAG会计划、会反思、会用工具, 通过多轮自我驱动把需求拆解、检索、迭代、融合、评估、优化。

Graph RAG

Graph RAG(Graph-based Retrieval-Augmented Generation)通过引入图结构数据(如知识图谱), 提供更丰富的上下文信息和推理路径，来增强语言模型的推理能力和信息检索效果。 ‌

Graph RAG特点

结构化知识整合：与传统RAG依赖非结构化文本不同，Graph RAG将信息表示为实体、属性及关系的互联网络，能更精准地捕获语义关联和全局信息。 ‌

复杂查询支持：通过图谱的拓扑结构(如节点、边、子图)实现多步推理和长尾问题处理，支持基于图结构的复杂推理路径，提高生成的准确性和可靠性。

冗余信息减少：图数据抽象和总结文本内容，缩短输入长度，缓解传统RAG的“Lost in the Middle”问题(即上下文过长导致的推理困难)。提供了更直观的可解释性，有助于理解模型的决策过程。

总结：把知识抽成图谱，让检索与推理更准确。

融合应用

根据不同的业务需求，如何选择合适的RAG方式至关重要，复杂场景下可能需要多种RAG方式组合使用。而在未来的发展方向，将多模态RAG、Agentic RAG与GraphRAG相融合，作为一个大的RAG组件将会是必然趋势。

智能客服与产品支持

场景：用户上传 “家电故障图片 / 视频” 咨询，客服系统通过多模态 RAG 检索产品手册的图文维修指南、历史故障案例的视频解决方案，生成带图文的维修步骤；

案例：联想的 “智能设备助手”，用户上传笔记本键盘失灵的视频，系统检索出 “键盘排线检查” 的文本说明+拆解视频片段。

辅助健康诊疗

场景：医生上传患者的“CT 影像+病历文本”，检索相似病例的影像报告、临床指南的图文治疗方案, 协助医生进行病情诊断和治疗方案；

核心价值：解决“影像信息无法被传统RAG检索”的问题，结合知识图谱, 让LLM结合影像特征与文本病历生成诊断建议。

自助终身学习

场景：学生上传“数学公式图片+语音或文字提问”，检索教材中的公式推导文本、老师讲解该公式的视频片段、相似例题的图文解析，生成“公式含义+推导步骤+例题练习”的多模态学习资料；

案例：可汗学院的 “多模态学习助手”，支持学生上传几何图形图片，检索相关定理的动画演示与文字解释。

电商与内容创作

场景：电商运营上传商品图片或视频, 检索相似商品的文案、用户评价中的关键词、竞品的视频介绍，生成“商品详情页文案+卖点视频脚本”；

内容创作：设计师上传“海报草稿图”，检索配色方案的图文参考、字体推荐的文本指南、相似风格的海报案例，辅助优化设计。

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

 三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等

 😝有需要的小伙伴，可以 下方小卡片领取🆓↓↓↓