AI 网关代理 RAG 检索:Dify 轻松对接外部知识库的新实践

作者:赵源筱、王灏廷

Dify 是一款开源的 AI 应用开发平台,旨在帮助开发者和非技术人员快速构建和运营基于生成式 AI 的应用。截至目前,Dify 开源 Star 数量已经突破 11 万,具有庞大的用户群体,已成为构建生成式 AI 应用的热门选择之一。

然而,随着 Dify 在实际生产实践中持续落地,根据云上客户以及社区反馈,其内置的 RAG 引擎逐渐暴露出复杂文本分块处理能力低、检索功能薄弱、配置不够简洁智能等问题,这些问题直接导致 Dify 内置 RAG 的召回质量不理想,进而影响了大模型生成内容的准确性与可靠性,难以满足企业级生产环境对高精度知识检索的需求。

为解决上述云上客户以及社区用户反馈的问题,Higress AI 网关通过提供关键桥梁作用,支持 Dify 应用便捷对接业界成熟的 RAG 引擎。通过 AI 网关将 Dify 的高效编排能力与专业 RAG 引擎的检索效能结合,企业可在保留现有 Dify 应用资产的同时,有效规避其内置 RAG 的局限,显著提升知识驱动型 AI 应用的生产环境表现。

Dify 内置 RAG 引擎的局限

通过分析 Dify 开源社区近几个月的 Issue,同时结合云上客户以及内部的 Dify 生产实践,尽管目前 Dify 提供了开箱即用的内置 RAG 引擎,但在实际落地中,依然会遇到一些问题,其中被云上以及社区客户反馈比较多的问题包括:

  • 复杂文档处理能力不足:对含图片、图表、PDF 等非结构化文档的解析与分块能力较弱,信息提取精度有限。
  • 检索功能薄弱:内置检索策略在复杂查询或大型知识库场景下,召回效果和相关性排序表现欠佳,导致关键信息遗漏或排序不当。
  • 配置不够简洁智能:分块策略、参数调整等配置项繁多,缺乏自适应优化,用户需较高技术门槛才能调优,易用性不足。

这些问题导致 Dify 内置 RAG 引擎和业界被广泛认可的高质量 RAG 引擎相比,仍存在一定的提升空间。从开源视角来看,Dify 内置 RAG 能力的提升,是一项需要持续迭代和优化的过程。

通过 AI 网关帮助 Dify 应用“开挂”

目前,市面上的 RAG 引擎层出不穷,但易用性和运行效果上也良莠不齐,想要构建一套优秀的 RAG 引擎,并不仅仅是向量化、向量存储与向量匹配那么简单,还需要优质的内容理解与处理算法以及检索优化策略,并且持续不断的调优。

好在市面上已经逐渐涌现了许多优秀的 RAG 引擎,逐渐得到越来越多的开发者认可。例如阿里云百炼知识库以其配置简洁、开箱即用的特性,加之以底层持续调优,其 RAG 效果也得到越来越多企业用户的认可;以深度文档理解能力著称的 RagFlow,作为一款开源的专业 RAG 引擎,得到许多对数据存储有安全和隐私性要求用户的青睐,目前能够通过阿里云 SAE 一键部署高可用的 RagFlow 实例,极大降低自部署和运维的成本。

因此,快速打通更专业更优质的 RAG 引擎,现阶段也不失为一个更优解。

为了突破 Dify 内置知识库的限制,Higress AI 网关支持 Dify 应用快速对接外部优质 RAG 引擎,以更高质量的 RAG 能力替代其原生功能,从而实现让用户在使用 Dify 强大的 Workflow、Agent 编排能力同时,获得更专业的文本处理与信息检索体验。

根据用户对检索结果处理方式的不同需求,Higress AI 网关提供了两种灵活的集成方案:

  • 方案一:RAG 检索代理。Higress AI 网关仅做检索并返回给用户,由用户自主处理检索结果,并更新到 Context 中。适用于场景相对复杂,用户对信息整合有自定义诉求的场景。

  • 方案二:自动检索注入。在调用 LLM 的链路中,Higress AI 网关自动执行 RAG 检索结果并将接入注入到 Context 中。适用于场景相对简单,用户只关注 LLM 调用结果,无信息自主处理的场景。

方案一:RAG 检索代理

基于 Dify 外部知识库扩展功能,通过 Higress AI 网关代理,能够实现在 Dify 知识库中创建并连接 RagFlow 以及百炼知识库。对于 Workflow,可以使用知识检索节点选择对应外部知识库获取检索结果;对于 Agent,可以直接选择对应外部知识库实现检索。详细介绍请见 AI RAG 检索代理 [ 1] 。

image

这种方式专门针对 Dify 应用设计,更符合 Dify 的标准用法,通过 Dify 知识库扩展的能力实现了对外部知识库的访问,同时能够便捷的通过 Dify 内置的观测能力观察知识检索节点的输入输出信息。

image

方案二:自动检索注入

Dify 应用访问 LLM 时,使用 Higress AI 网关的 Model API 代理,Higress AI 网关在发起 LLM 调用前,自动执行 RAG 检索并把结果写入到调用模型的 Context 中。其中,Context 的写入方式包括:追加新的系统提示词;添加到用户指定的 Prompt 模版位置中。详细介绍请见 AI 检索增强生成(加强版) [ 2] 。

image

这种方式能够实现对应用开发者透明,无需手动实现复杂的知识库检索步骤,只需直接调用模型即可自动获得开箱即用的 RAG 能力。此外,该方式同样适用于 Spring AI Alibaba、N8N 等不同平台或框架。

image

实操指南与效果展示

接下来,本文将分别以使用 RAG 检索代理方案打通 Dify 与百炼知识库、使用自动检索注入方案打通 Dify 与 RagFlow 为例,详细介绍上述两种方案的操作方式,并展示实际效果。

实践案例一:Dify 知识检索节点访问百炼知识库

本节将以 Dify 应用打通已经存在的百炼知识库为例,介绍 RAG 检索代理方案的操作方式与实际效果。

  1. AI 网关创建百炼服务、自定义 Agent API 路由,作为 Dify 外部知识库 API。

a. AI 网关创建百炼检索服务。

image

b. 创建自定义 Agent API。点击 Agent API-创建 Agent API,域名和 Base Path 可按需自定义,协议选择自定义,如下图所示。

image

c. 创建 Agent API 路由。进入已经创建的 Agent API,点击创建路由,注意需要确保路径后缀为/retrieval,服务选择前述步骤创建的百炼服务。

image

  1. AI 网关配置插件。

a. 获取百炼 API KEY。登录阿里云百炼平台 API Key [ 3] 并获取 API Key。

b. 配置插件。在网关实例控制台,点击插件-安装插件-AI,选择 AI RAG 检索代理插件,点击安装并配置规则,设置启用并点击保存后,插件即可生效,如下图所示。

image

  1. Dify 创建百炼知识库。

a. Dify 知识库创建外部 API。在 Dify 控制台,点击知识库-外部知识库 API-添加外部知识库 API,配置示例如下图所示。

image

b. 获取知识库 ID。前往百炼知识库控制台,选择待检索的知识库并获取 ID,如下图所示。

image

c. 配置知识库信息。在 Dify 控制台,点击知识库-连接外部知识库,配置示例如下图所示。

image

  1. 验证检索连通性。在 Dify 知识库页面点击上述步骤创建的知识库,在召回测试输入源文本进行验证,能够根据召回设置返回文本分块,即说明实现连通。接下来就可以在 Workflow 和 Agent 中通过访问已创建好的知识库进行百炼 RAG 检索。

image

image

实践案例二:模型调用前自动检索 RagFlow

接下来,本节以 Dify 应用打通已经存在的 RagFlow 知识库为例,介绍自动检索注入方案的操作方式与实际效果。

  1. 部署 RagFlow 、创建知识库并上传知识。对于企业级场景,推荐使用阿里云 SAE 一键部署高可用版本 RagFlow 服务,降低部署和运维成本,详情请见 RAGFlow 社区版-Serverless 部署 [ 4] 。

  2. 在 AI 网关创建 AI 服务和文本生成场景 Model API,让 Dify 应用通过调用该 API 访问模型。使用 AI 网关代理 Dify 模型流量操作方式可参考Dify 性能瓶颈?Higress AI 网关为它注入「高可用之魂」!。

  3. AI 网关插件配置。

a. AI 网关创建 RagFlow 服务,同时获取 RagFlow 服务的 FQDN 和 Port。

image

b. 获取 RagFlow API Key。进入 RAGFlow 控制台,点击右上角用户头像 -> 左侧选择 API -> API KEY,获取 API Key。

image

c. 获取 RagFlow 知识库 ID。在 RAGFlow 知识库页面,点击对应知识库,网页 url 中的 id 即为知识库 ID。

image

d. 配置网关插件。在网关实例控制台,点击插件-安装插件-AI,选择 AI 检索增强生成(加强版) 插件,点击安装并配置规则,配置到对应的生效范围,将前述步骤获取的参数添入到指定参数位置,配置示意如下图所示。

image

  1. 调试并验证效果。在 AI 网关实例控制台,点击插件作用生效的 Model API 并调试,验证添加自动检索能力之后的模型返回结果。验证无误后,在 Dify 中通过访问该 API 进行模型访问,即可具备打通 RagFlow 知识库的 RAG 能力。

image

总结与展望

由于 Dify 内置 RAG 引擎在生产实践中的效果局限,许多 Dify 应用开发者期望能便捷的为 Dify 系统打通更多外部知识库,丰富 RAG 系统的选型。Higress AI 网关提供了快速打通外部 RAG 引擎的方案,将 Dify 的高效编排能力与专业 RAG 引擎的检索效能结合。通过帮助 Dify 应用“开外挂”,主要带来以下增益:

  1. 效果跃升:通过集成 RAGFlow、百炼知识库等专业引擎,显著提升知识分块质量与检索准确性。

  2. 无缝增强:配置化实现,无需改造 Dify 应用代码即可获得高阶 RAG 能力,0 开发成本。

  3. 灵活适配:支持开源引擎私有化部署或 SaaS 化服务的 RAG 引擎选型,满足多样化场景需求。

目前,该能力已经上线至阿里云云原生 AI 网关 [ 5] 中,除此以外,Higress AI 网关还提供了安全、高可用治理等其他丰富能力,提升 Dify 应用安全性和可用性。在 RAG 方面, Higress AI 网关将持续深化 RAG 能力,在多模态、生态扩展、场景扩展等方面持续探索,帮助 Dify 等 AI 应用从“可用”走向“高精度、高可靠”的企业级知识中枢。

相关链接:

[1] AI RAG 检索代理

https://help.aliyun.com/zh/api-gateway/ai-gateway/user-guide/ai-retrieval-agent

[2] AI 检索增强生成(加强版)

https://help.aliyun.com/zh/api-gateway/ai-gateway/user-guide/ai-retrieval-enhanced-generation-enhanced-version

[3] API Key

https://bailian.console.aliyun.com/?tab=model#/api-key

[4] RAGFlow 社区版-Serverless 部署

https://saenext.console.aliyun.com/cn-hangzhou/scene-market/market/detail/service-611f1d5343924329a69e?tab=document&name=RAGFlow%E7%A4%BE%E5%8C%BA%E7%89%88-Serverless%E9%83%A8%E7%BD%B2&dataSource=computeNest

[5] 阿里云云原生 AI 网关

https://www.aliyun.com/product/apigate


🔥🔥拥抱 AI 原生!

8月29日深圳,企业实践工作坊火热报名中!

阿里云诚挚邀请您参加【AI 原生,智构未来——AI 原生架构与企业实践】工作坊,从开发范式到工程化实践,全链路解析 AI 原生架构奥秘,与 AI 先行者共探增长新机遇。

⬇️ 点击此处,立即了解完整议程!

相关推荐

推荐一款好用的刷题工具

为了帮助正在准备求职季的开发者提升备战效率,阿里云特别推出“通义灵码陪你备战求职季”活动,精心挑选百道历史校招技术面试/笔试题,借助通义灵码智能问答、代码智能生成、代码优化等核心功能,帮助开发者更加准确地了解程序员职业所需的核心技能,加强对问题解决思维和解题能力的练习。

阿里巴巴云原生的博客 1385

通义灵码 Visual Studio 下载安装指南(附安装包)

本安装步骤适用于 Windows 10 及以上操作系统中安装和使用通义灵码。

阿里巴巴云原生的博客 4438

决策模型 Jev 可以直接上生产?用实验和公式理解 logit 调优与训练要领

本文的前半部分转载并整理自 Hamel Husain 与 Antaripa Saha 合著的《How To Use Decision Models for Evals》。后半部分是作者的一些洞见和见解。

阿里巴巴云原生的博客 68

阿里云智能体白皮书开源进展

![1](https://img2024.cnblogs.com/blog/1411156/202611/1411156-20261113183315580-502702075.png)![2](https://img2024.cnblogs.com/blog/1411156/202611/1411156-20261113183334678-741777744.png)![3](https://img2024.cnblogs.com/blog/1411156/202611/1411156-20261

阿里巴巴云原生的博客 17

万联智策基于 AgentCore 构建数字员工团队,800+智能体规模化落地

1 个智能 Leader,带领 4 个专家级智能“员工”,配套约 800 个随时可调用的 AI 数字员工,这样一个 AI 团队能帮企业做什么事?

阿里巴巴云原生的博客 198

关于 DeepSeek 的 SuperAgent,以及我们的实践

DeepSeek 的 SuperAgent 发布之后,行业内的普遍观点是 Agent 的设计基本收敛,对于我们也是一样,本文除介绍 DeepSeek SuperAgent 设计之外,会重点谈谈我们类似 SuperAgent 的技术和产品化探索。

阿里巴巴云原生的博客 105

生产更可信,订阅更耐用丨Higress 社区进展报告

阿里巴巴云原生的博客 147

让 Agent 成为企业生产力丨Alibaba Cloud AgentCore 企业智能体构建与治理沙龙·杭州站精彩回顾 & PPT 下载

近日,让 Agent 成为企业生产力丨Alibaba Cloud AgentCore 企业智能体构建与治理沙龙·杭州站圆满落幕。本场活动吸引了 100+ 名技术从业者深度参与,深度分享了企业 Agent 趋势、AgentCore 构建与治理、Agent 观测与优化、STAROps 智能运维及 AI 网关等相关议题,并设置了动手实操环节。

阿里巴巴云原生的博客 190

如何用 STAROps Elasticsearch 智能助手看穿“搜索变慢”

某电商平台的商品搜索服务使用一台 6 个数据节点的 Elasticsearch 实例。周五北京时间 20:00 起,业务陆续反馈搜索变慢。业务监控中的搜索接口 P99 从平时约 200 ms 升到 2s 以上,部分请求超时。值班工程师打开控制台:集群状态为 Green,没有未分配分片,集群平均 CPU 约 40%,乍看不像资源已经吃紧。

阿里巴巴云原生的博客 350

满帮基于阿里云 AgentCore 打造生产级 SRE 稳定性数字人

满帮基于阿里云 AgentCore 构建“稳定性数字人”:满帮提供业务知识、专业工具与处置流程,AgentCore 提供智能体运行、协作和治理支撑。数字人已在核心链路的巡检与根因分析中得到应用,受控处置能力也在持续建设,让满帮积累的稳定性能力能够在具体任务中得到复用。

阿里巴巴云原生的博客 278

稳定复现超 70% 的缺陷,报警到自动修复的 Agent 流水线实践

本文将分享我们在 PolarDB-X 团队做的一些工程实践:让 Agent 从一条报警或工单出发,自主完成排查、复现、修复和验证,再把结果交给研发评审。

阿里巴巴云原生的博客 313

从“自证清白”到“因果链条”:智能体如何重塑运维排障效率

STAROps 做全域关联分析,把范围从「五个团队依次自证清白」收拢到一条具体链路;证据指向对象存储后,OSS Agent 接手,基于真实配置、访问日志和用量数据往下挖,给出根因和支撑它的证据链。你面对的始终是一个对话框:路由归它管,说清现象、拍板方案归你。

阿里巴巴云原生的博客 148

TechTalk丨从能买奶茶到能进企业,Agent 绕不开同一组问题

史明伟所在的 Alibaba Cloud AgentCore 是企业级 Agent 构建和治理平台,为 Agent 在业务场景下的规模化落地提供基础设施,所以这场对话,他和 Datawhale 主持人从个人助理一路聊到企业 Agent:权限该怎么一步步放开?进了企业,账号打通、数据权限、沙箱隔离又会带来哪些新问题?没有强技术团队的企业,该从哪里起步?

阿里巴巴云原生的博客 220

AgentCore + Codex 构建生产级 Agent 的原理与实践

本文章演示 AgentCore[1]的自定义代码/镜像能力,目的是展示如何基于自定义的 Harness 框架(Codex) 结合 AgentCore 提供的身份、模型、工具、技能、凭证 、观测评估等能力实现一个端到端的 Agent 应用,内容包含两个部分,技术方案和实践教程,文末附相关源码和本次的测试数据,可以根据需要自行查阅。

阿里巴巴云原生的博客 193

让复杂任务由团队完成:阿里云 AgentCore 多 Agent 协作架构及实践

Alibaba Cloud AgentCore 以身份、通信、团队和任务为基础,让专业 Agent 与人类成员共同参与业务协作。企业可以按职责组合知识、工具、Skill 和模型,用任务系统持续追踪工作,再结合 AgentLoop 评估效果、优化配置。

阿里巴巴云原生的博客 383

易点天下:AI 驱动 IT 运维组织提效的实践

易点天下作为一家专注品牌全球化的营销科技公司,由智能营销、全域增长、智能变现三大引擎驱动。公司旗下拥有“整合营销服务”与“广告平台业务”两大业务线。

阿里巴巴云原生的博客 307

阿里云可观测 2026 年 10 月产品动态

阿里云可观测 2026 年 10 月产品动态

阿里巴巴云原生的博客 212

用 Nacos 3.3.0 ARD 让 Agent 按任务发现工具和 Skill

如今,工作中用 Agent 帮忙已经越来越常见。研发同学用 Coding Agent 写代码、补测试、排查问题,业务同学用 Work Agent 整理资料、分析表格、制作演示文稿。不少过去需要自己一步步操作的事情,现在可以把需求交给 Agent,让它协助完成。

阿里巴巴云原生的博客 328

HiRoute 新版本发布:结合自己的真实工作选择最佳模型

HiRoute[1]是一个开源、运行在本地的 Agent 智能路由引擎。你继续用 Codex、Claude Code、Qoder、Pi、OpenCode、Hermes、DeepSeek Harness 等熟悉的 Agent,由 HiRoute 判断每一步交给哪个模型。

阿里巴巴云原生的博客 394

用户说 App“下不了单”:用 Session Replay 看清流程卡在哪一步

Session Replay(会话回放)将采集到的页面变化重建为可回看的过程。研发可以沿着这次会话,查看操作前后的界面变化,先确认流程停在了哪里,再结合当时的事件、日志和代码检查原因。

阿里巴巴云原生的博客 56

欢迎报名丨Alibaba Cloud AgentCore 企业智能体构建与治理八城巡回沙龙 · 杭州站开启

欢迎报名丨Alibaba Cloud AgentCore 企业智能体构建与治理八城巡回沙龙 · 杭州站开启

阿里巴巴云原生的博客 158

运维走出控制台:阿里云 AgentCore AI Native 运维实践

UModel 让现场能够被关联,运维数字员工让经验能够被调用,AgentCore Team 让分析能够协作,AgentLoop 让质量能够被检验。这些建设共同服务于一件事:让团队对系统的理解,成为每个人处理问题时都能接上的能力。

阿里巴巴云原生的博客 312

从长程 Agent 到 Super-agent,解锁更多场景

Deepseek Harness 提升了架构的透明度,但也带来了工程上的复杂度。这次开源的dsh-superagent-prototype,是对 Agent “连续实体”能力的工程拆解。

阿里巴巴云原生的博客 242

排查提效 50%:淘大集新核心系统的观测护航之路

供应链运维,缺的不是更多机器,是“一条能把指标、日志、链路串起来的线”。阿里云 ARMS+SLS+云监控2.0+STAROps 重构观测底座。

阿里巴巴云原生的博客 149

概率、插座与 5000 个爱因斯坦:专访阿里云研发副总裁周琦

这次访谈发生在 2026 年云栖大会之后。大会期间,阿里云发布了智能体构建和治理平台 AgentCore,将企业级 Agent 基础设施进一步标准化和托管化。

阿里巴巴云原生的博客 157

Agent 数据飞轮平台的选型和实践

用统一标准判断修改效果,积累覆盖不同路径的测试样本,沿执行记录排查失败,并将典型问题纳入后续回归。而这也是宙斯接入 AgentLoop 要解决的问题。

阿里巴巴云原生的博客 35

Durable Agent 详解:如何让 Agent 在云端长期稳定运行

本文使用一个具体的用户任务示例“向五位客户发送通知邮件”,解释为什么保存聊天记录还不够,再以 AgentScope 构建的 Agent 为例,展开任务状态、持久提交和故障恢复的通用设计,最后结合 Alibaba Cloud AgentCore 已有的 Harness 托管与节点恢复能力,讨论共享状态、可靠调度及 Brain / Hands 分离如何支撑更完整的长期托管服务。

阿里巴巴云原生的博客 338

Qoder × AgentLoop:智能体规模化应用,敏感数据保护如何跟上?

智能体观测与优化平台 AgentLoop 持续分析已采集的 Qoder 审计日志,将发现的风险线索关联到具体会话、工具调用、成员和环境,帮助安全团队回查任务过程、明确需要整改的环节,并复查处理效果。

阿里巴巴云原生的博客 298

完整还原已经服务千家企业的 AIOps Agent 的评测和调优实践

阿里云 STAROps 是一个生产运维 Agent,通过连接多域数据、运维工具与专家经验,从被动响应走向智能自治,7×24 保障业务连续、稳定运行。本文将分享 STAROps 的评测和调优实践。

阿里巴巴云原生的博客 202

阿里云云原生四项 AI 应用工程化实荣获“鼎新杯”优秀案例

第五届“鼎新杯”由中国通信标准化协会主办、中国信息通信研究院承办,自2026年05月正式启动,历时近 5 个月,聚焦国内政企数智化转型领域的创新成果,旨在为行业提供可复制、可推广的实践参考。

阿里巴巴云原生的博客 335
上一篇: 合理选择任务调度的路由策略,可以帮助降本 50%
下一篇: 零代码改造!LoongSuite AI 采集套件观测实战
阿里云云原生
阿里云云原生 企业官方账号 企业官方账号
博客等级 码龄8年 1万+粉丝 3155原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值