1、 什么是RAG?
RAG 作为一种提升生成式 AI 模型表现的框架,通过检索外部知识源,增强生成内容的准确性与丰富度。AI Agent 则是具备感知、推理、行动和学习能力的自主软件系统,能在复杂环境中完成任务。二者结合,让 AI 系统拥有更强大的功能。
传统 RAG 存在检索时机难定、文档质量不佳、易生成错误信息等问题。Agentic RAG 系统有效解决了这些痛点,在客户支持、内容创作、研究辅助、工作流自动化等场景广泛应用。例如在客户支持中,它能快速检索实时数据,精准回应客户咨询;内容创作时,依托检索知识,在专业领域产出高质量内容。
典型的 RAG 应用有两个相当大的局限性:简单的 RAG 管道仅考虑一个外部知识源。但是,有些解决方案可能需要两个外部知识源,而有些解决方案可能需要外部工具和 API,例如网络搜索。它们是一次性解决方案,这意味着上下文只被检索一次。对检索到的上下文的质量没有任何推理或验证。
一个流行的框架是ReAct 框架。ReAct 代理可以通过将路由、查询规划和工具使用组合成一个实体来处理顺序的多部分查询,同时保持状态(在内存中)。ReAct = Reason + Act(With LLMs)
该过程涉及以下步骤:
思考:收到用户查询后,代理会推断下一步要采取的行动
动作:代理决定一个动作并执行它(例如,使用工具)
观察:代理观察动作的反馈
该过程不断重复,直到代理完成任务并响应用户。
2、 什么是Agentic RAG?
Agentic RAG就是一种融合了Agent能力的RAG,而Agent的核心能力是自主推理与行动。所以Agentic RAG就是将AI智能体的自主规划(如路由、行动步骤、反思等)能力带入到传统的RAG,以适应更加复杂的RAG查询任务。
Agentic RAG如何应对这些典型的复杂任务?一起来看。
在不同类型的RAG管道间自主选择(路由),以适应任务的多样性:
融合多种类型的RAG管道与数据源,以适应综合性复杂查询任务:
与必要的外部工具协作,以增强输出的准确性:
Agentic RAG 系统包含多种类型。Agentic RAG 路由器依据查询特性,将任务分配至合适组件,单一路由器适用于简单场景,多路由器则能处理复杂系统的大量查询。查询规划型 Agentic RAG 可通过智能分解、分布式处理和响应合成,高效处理复杂查询。
自适应 RAG 根据查询复杂度选择处理策略,简单问题直接生成答案,复杂问题多步骤检索推理,提高计算效率与回答准确性。主动型纠错 RAG 引入自我纠错机制,评估检索文档,重写查询并结合网络搜索,提升答案质量。自反射 RAG 具备自我反思和逻辑推理能力,动态检索并自评输出,减少幻觉现象。Speculative RAG 利用大小模型分工,小模型起草、大模型核查,实现快速准确回答。Self Route Agentic RAG 让 LLM 判断能否回答问题,合理调用长上下文模型,平衡成本与性能。
Agentic RAG 系统凭借其创新架构与强大功能,在 AI 领域取得显著进展。随着技术不断发展,它将在更多领域发挥重要作用,为 AI 创新奠定坚实基础。
为什么需要Agentic RAG
Agentic RAG的“智能体”特征主要体现在检索阶段,相对于传统RAG的检索,
Agentic RAG更能够:
- 决定是否需要检索
- 自主决策使用哪个检索引擎
- 自主规划使用检索引擎的步骤
- 评估检索到的上下文,并决定是否重新检索
- 自行规划是否需要借助外部工具
- Agentic RAG 的应用
客户支持:通过访问实时数据源,自动检索并提供准确的用户查询响应。
内容创作:生成复杂领域(如法律或医疗)中的上下文丰富的内容,依托于检索的知识。
研究辅助:通过自主收集和综合来自广泛数据库的相关材料,帮助研究人员。
工作流自动化:通过将基于检索的决策集成到企业流程中,简化企业运营。
Agentic RAG 架构
与顺序式简单 RAG 架构相比,代理式 RAG 架构的核心是代理。代理式 RAG 架构可以具有各种复杂程度。在最简单的形式中,单代理 RAG 架构是一个简单的路由器。但是,您也可以将多个代理添加到多代理 RAG 架构中。本节讨论了两种基本的 RAG 架构。
单代理 RAG(路由器)
最简单的形式是,agentic RAG 是一个路由器。这意味着您至少有两个外部知识源,代理决定从哪个源检索其他上下文。但是,外部知识源不必局限于(矢量)数据库。您也可以从工具中检索更多信息。例如,您可以进行网络搜索,或者您可以使用 API 从 Slack 频道或您的电子邮件帐户检索其他信息。
多代理 RAG 系统
正如您所猜测的,单代理系统也有其局限性,因为它仅限于一个代理,集推理、检索和答案生成于一体。因此,将多个代理链接到多代理 RAG 应用程序中是有益的。
例如,您可以让一个主代理协调多个专门检索代理之间的信息检索。一个代理可以从专有的内部数据源检索信息。另一个代理可以专门从您的个人帐户(例如电子邮件或聊天)检索信息。另一个代理还可以专门从网络搜索中检索公开信息。
Agentic RAG 与 普通RAG
虽然 RAG 的基本概念(发送查询、检索信息和生成响应)保持不变,但工具的使用对其进行了概括,使其更加灵活和强大。
可以这样想:普通(原始)RAG 就像在图书馆(智能手机出现之前)回答特定问题。另一方面,Agentic RAG 就像手中拿着一部智能手机,上面有网络浏览器、计算器、电子邮件等。
从原始 RAG 到代理 RAG 的转变使得这些系统能够产生更准确的响应、自主执行任务并更好地与人类合作。代理 RAG 的优势主要在于提高了检索到的附加信息的质量。通过添加具有工具使用权限的代理,检索代理可以将查询路由到专门的知识源。此外,代理的推理能力使检索到的上下文在用于进一步处理之前能够进行一层验证。因此,代理 RAG 管道可以带来更稳健、更准确的响应。
Agentic RAG 的局限性
然而,任何事物都有两面性。使用 AI 代理执行子任务意味着要结合 LLM 来完成任务。这带来了在任何应用程序中使用 LLM 的局限性,例如增加延迟和不可靠性。根据 LLM 的推理能力,代理可能无法充分完成任务(甚至根本无法完成)。重要的是要结合适当的故障模式,以帮助 AI 代理在无法完成任务时摆脱困境。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。