如何用 Dify 构建智能知识库？一文讲清 RAG 系统设计要点

于 2025-07-05 08:15:00 发布
阅读量362 收藏 6
点赞数 4
CC 4.0 BY-SA版权
文章标签： 大模型 程序员 人工智能 ai 转行 学习 产品经理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Android_XG/article/details/149116159

RAG（检索增强生成）知识系统是 Dify 的核心组件，它使 AI 应用程序能够检索和利用外部知识。该系统管理从文档提取到知识检索的整个流程，支持不同的索引技术、文档处理方法和检索策略。

架构概述

RAG 知识系统遵循三阶段提取-转换-加载 (ETL) 流程进行文档处理，并结合复杂的检索机制进行知识访问。

RAG 系统架构图

RAG（检索增强生成）知识系统使应用程序能够通过以下方式利用基于文档的知识：

  • 文档提取 ：处理各种文档格式
  • 分块和嵌入 ：将文本转换为矢量表示
  • 知识检索 ：查找与用户查询相关的信息

在这里插入图片描述

数据集管理

数据集结构

数据集是 RAG 知识体系的基本组织单元。每个数据集包含文档，文档被划分为多个段，以便于索引和检索。

在这里插入图片描述

数据集创建

为了创建数据集，系统接受包括名称、描述、索引技术和检索配置在内的参数。

POST /datasets

数据集创建工作流程：

  1. 验证参数
  2. 创建数据集记录
  3. 如果使用高质量索引，请配置嵌入模型
  4. 设置检索配置
  5. 设置权限

索引技术

该系统支持两种主要索引技术：

技术描述向量数据库Embedding 模型用例
high_quality使用嵌入模型将文本转换为向量必需必需更好的语义理解，处理细微的查询
economy使用基于关键字的倒排索引不需要不需要更低的资源占用，精准的关键字匹配

文档形式

文档可以以三种不同的形式进行处理和索引：

形式描述索引方法
text_model直接嵌入的默认文本文档直接嵌入文档内容
qa_model问答对生成问答对并嵌入问题
hierarchical_model （父子模型）带有子段的父块创建具有父块和子块的层次结构

文档处理 Pipeline

文档处理管道遵循提取-转换-加载（ETL）模式：

在这里插入图片描述

提取阶段

提取阶段处理不同的数据源：

  1. 上传文件 ：处理上传的文件，如 PDF、DOCX 等。
  2. Notion 导入 ：从 Notion 页面提取内容
  3. 网站抓取 ：从抓取的网站中提取内容

提取过程将不同的内容源规范化为统一的文本文档格式。

转换阶段

转换阶段处理：

  1. 文本清理 ：根据配置的规则删除多余的空格、URL、电子邮件
  2. 分割（Segmentation） ：根据配置的规则将文档分成块
  3. 格式化 ：根据文档形式（文本、问答、分层）准备索引文本

关键分割参数：

  • 分隔符（Separator） ：用于分割文本的字符序列（默认值： \n\n ）
  • 最大令牌数（Max Tokens） ：每个段的最大令牌数（默认值：1024）
  • 块重叠（Chunk Overlap） ：段之间的标记重叠（默认值：50）

加载阶段

  1. 将片段保存到数据库
  2. 为所有文档创建关键字索引
  3. 为了实现高质量索引，生成嵌入并将其存储在向量数据库中

该过程包括：

  • 为段创建数据库记录
  • 使用配置的嵌入模型生成文本嵌入
  • 建立搜索索引（关键字和/或向量）

检索系统

检索系统负责根据用户查询从索引数据集中查找相关信息。

检索方法

系统支持多种检索方式：

方法描述要求优势
语义搜索（Semantic Search）使用向量相似性来查找语义相关的内容嵌入模型，向量数据库最适合基于含义的查询
关键词搜索（Keyword Search）使用精确关键字匹配关键词索引适合精确的术语搜索
全文搜索（Full-Text Search）使用全文索引技术全文索引平衡精度和召回率
混合搜索（Hybrid Search）结合多种方法所有索引最佳整体表现

检索策略

系统支持两种主要的检索策略：

  1. 单一检索（Single Retrieval） ：使用带有 AI 模型的单一数据集来路由查询
  2. 多重检索（Multiple Retrieval） ：使用可配置的权重和评分在多个数据集中进行搜索

在这里插入图片描述

结果处理

  1. 格式化为文档上下文
  2. 可能使用重新排序模型进行重新排序
  3. 根据相关性阈值进行评分和过滤
  4. 按相关性排序
  5. 准备返回调用应用程序

与工作流集成

RAG 知识系统通过知识检索节点与 Dify 的工作流系统集成：

图片

知识检索节点：

  1. 从工作流中获取查询输入
  2. 配置检索参数
  3. 调用数据集检索系统
  4. 将格式化的知识返回到工作流

API 集成

服务 API

RAG 知识系统公开了 RESTful API 以与客户端应用程序集成：

接口Method描述
/datasetsPOST创建新数据集
/datasetsGET列出可用数据集
/datasets/{dataset_id}GET获取数据集详细信息
/datasets/{dataset_id}POST更新数据集设置
/datasets/{dataset_id}DELETE删除数据集
/datasets/{dataset_id}/document/create-by-textPOST从文本创建文档
/datasets/{dataset_id}/document/create-by-filePOST从文件创建文档
/datasets/{dataset_id}/documents/{document_id}/update-by-textPOST通过文本更新文档

控制台 API

对于内部控制台使用，存在其他端点：

接口Method描述
/console/datasets多种方式控制台的数据集管理
/console/datasets/{dataset_id}/documents多种方式文档管理
/console/datasets/{dataset_id}/documents/{document_id}/segments多种方式段管理

速率限制和配额

该系统实施速率限制和配额执行，特别是在云部署中：

知识检索速率限制

对知识检索操作强制实施速率限制

# Simplified rate limiting logic
knowledge_rate_limit = FeatureService.get_knowledge_rate_limit(tenant_id)
if knowledge_rate_limit.enabled:
    current_time = int(time.time() * 1000)
    key = f"rate_limit_{tenant_id}"
    redis_client.zadd(key, {current_time: current_time})
    redis_client.zremrangebyscore(key, 0, current_time - 60000)
    request_count = redis_client.zcard(key)
    if request_count > knowledge_rate_limit.limit:
        # Add rate limit record and return error

资源限制

对各种资源实施限制：

资源描述执行点
向量空间限制嵌入存储在文档创建/索引期间
Documents限制文档数量文档上传期间
知识率限制检索频率在知识检索过程中

总结

RAG 知识系统是 Dify 中用于知识索引和检索的综合解决方案。它提供了灵活的文档处理、索引技术和检索策略选项，使其能够适应各种用例。该系统的模块化架构允许与工作流和对话系统等其他组件无缝集成。

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
在这里插入图片描述

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：

在这里插入图片描述

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！

大模型全套学习资料领取

这里我整理了一份AI大模型入门到进阶全套学习包，包含学习路线+实战案例+视频+书籍PDF+面试题+DeepSeek部署包和技巧，需要的小伙伴文在下方免费领取哦，真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段
在这里插入图片描述
在这里插入图片描述

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

四、LLM面试题

在这里插入图片描述
在这里插入图片描述

五、AI产品经理面试题

在这里插入图片描述

六、deepseek部署包+技巧大全

在这里插入图片描述

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~
在这里插入图片描述

【DeepSeek R1构建本地RAG知识库】Dify调优优化
少说，多做
02-27 1764
在AI技术快速迭代的当下，检索增强生成（RAG）已成为解决大模型幻觉、知识更新滞后等痛点的核心方案。DeepSeek R1作为国产高性能开源大模型，结合Dify这一低代码AI应用开发平台，能够快速搭建安全可控的本地化知识库系统。本文将从零开始，详解如何通过DeepSeek R1实现本地知识检索增强，并借助Dify的灵活配置完成Prompt工程优化、响应质量调优及系统性能提升。
深入 Dify 源码，洞察 Dify RAG 切片机制实现细节
易迟的专栏
08-06 4300
最近测试时发现 Dify 的 RAG 分片效果一般，不管是使用之前深入 Dify 源码，洞察 Dify RAG 核心机制中有调研过的默认解析还是 Unstructured 解析。因此调研比较了大量的开源框架实现了特定格式的结构化解析方案，并与 Dify 现有解析流程进行了适配。为了保证文件的解析能真正发挥出效果，需要保证预处理中其他环节也遵循前面的结构化方案进行处理，其中重要的一块就是文本的分片机制。深入了解 Dify 的实现细节后整理相关内容在这边，方便对 Dify RAG 实现机制感兴趣的同学。
Dify中的RAG和知识库
NLP工程化
07-11 6050
向量检索优势：复杂语义的文本查找，相近语义理解，多语言理解，多模态理解，容错性。传统关键词搜索优势：精确匹配，少量字符的匹配，倾向低频词汇的匹配。向量检索和关键词检索在检索领域各有其优势。混合检索通过多个检索系统的组合，实现了多个检索技术之间的互补。
一文彻底搞懂大模型 - Dify（Agent + RAG）
2401_86435672的博客
10-09 3148
该平台结合了后端即服务（Backend as Service, BaaS）和LLMOps的理念，为开发者提供了。
开启智能体和知识库探索之旅：Dify知识库搭建RAG
瓦罗兰特顶级C位的博客
05-13 952
当下让大模型掌握企业的知识和流程，成为企业AI应用的首选，今天我们介绍一下用Dify搭建一个简单RAG知识库，基于Prompts+ Embedding+Rerank混合方案，实现更高准确率。
从零开始学 Dify- RAG 知识库系统设计详解
pythonhy的博客
05-13 768
RAG（检索增强生成）知识系统是 Dify 的核心组件，它使 AI 应用程序能够检索和利用外部知识。该系统管理从文档提取到知识检索的整个流程，支持不同的索引技术、文档处理方法和检索策略。
Dify智能体：知识库图像检索与展示.yml
05-09
Dify智能体作为一款先进的技术产品，其核心功能体现在知识库图像检索与展示方面。在当前数字化浪潮推动下，智能体技术已经成为处理大规模数据、提升信息检索效率的关键工具。Dify智能体在此基础上，特别针对图像数据...
Dify智能体：知识库检索工作流.yml
04-25
Dify智能体的知识库检索工作流.yml文件是一份旨在定义和优化知识检索流程的YAML格式文件，通过这种方式，Dify智能体可以更加高效地从其知识库中检索出相关信息。YAML（YAML Ain't Markup Language）是一种数据序列化...
用dify搭建基于知识图谱的RAG系统Demo课件材料
03-31
用dify搭建基于知识图谱的RAG系统Demo课件材料
有手就会之使用Dify构建RAG聊天应用(基于私有知识库和搜索引擎)
笑笑布丁的博客
09-02 1827
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。通俗点说，通过手机点击创建ai应用，而不用写代码了。官网链接阅读本文之前，假设读者已经了解llm、prompt、chatglm、git、github、docker、rag流程、向量数据(embedding)的相关知识，假如没有，可以先学习这些知识。
Dify 中的 RAG 技术与企业级案例应用实战
musicml的博客
07-15 3494
▼最近直播超级多，预约保你有收获今晚直播：《LangChain 开发框架剖析》—1—RAG 的基本架构RAG（Retrieval-Augmented Generation）技术是一种集成检索与生成双重能力的知识增强方案，旨在应对复杂多变的信息查询和生成挑战。在如今的大模型时代背景下，RAG 巧妙地引入外部数据源，比如：本地知识库或企业信息库，为 AI 大模型赋予了更强大的检索和生成实力，从而显著提...
RAG与知识库搭建，手把手教你构建RAG系统
qkh1234567的博客
11-13 4306
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
Dify 解析-RAG
CCbleach的专栏
02-10 2101
Dify 是一个流行的开源大模型应用开发平台。其核心理念是 "Do It For You"。Dify 内置了构建 LLM 应用所需的关键技术栈，包括插件、代理/反向代理、数据库/缓存、实验训练和可观测（Open Telemetry）。Dify 通过 RAG 技术，实现了对外部知识的高效利用，极大地提升了大模型生成内容的质量和相关性。RAG 架构中的知识库管理、检索引擎、提示词管理和模型推理服务等组件相互配合，共同构成了一个完整的 RAG 系统。
一文彻底搞懂大模型 - Dify（Agent + RAG），看这一篇就够了!
最新发布
kaka0722ww的博客
06-16 850
Dify 是一个用于构建 AI 应用程序的开源平台。 Dify融合了后端即服务（Backend as Service）和LLMOps理念。它支持多种大型语言模型，如Claude3、OpenAI等，并与多个模型供应商合作，确保开发者能根据需求选择最适合的模型。 Dify通过提供强大的数据集管理功能、可视化的Prompt编排以及应用运营工具，大大降低了AI应用开发的复杂度。
Dify案例解析：如何高效整合知识库与Ragflow？
2401_84204413的博客
03-06 4187
关于ragflow 安装比较复杂，大家可以去开源github上查看它的安装，本次就不带大家安装了。项目开源地址：https://github.com/infiniflow/ragflow项目文档: https://ragflow.io/docs/dev/目前这个项目用到的组件比较多，用到Elasticsearch、Kibana、MySQL、MinIO、Redis、RAGFlow等，大家可以参考官方文档部署好应用程序。这里我们需要注意的几点。
Dify知识库-RAG流程解析
一次次探索代码无限可能的旅程，专注于前端、后端、服务器及AI大模型的分享和交流。与我一起踏上这段无尽的技术之旅吧！
11-20 2029
代码目录：api/core/rag/index_processor/processor/paragraph_index_processor.py。代码目录：api/core/rag/index_processor/processor/paragraph_index_processor.py。根据文件后缀名调用不同的文档解析器提取文档内容，根据不同的文本格式，调用不同的类，去处理文本，最终会返回提取的文本内容。代码目录：api/core/rag/extractor/extract_processor.py。
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
2301_81888214的博客
02-13 827
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
基于Dify构建RAG知识库
03-11
### 使用Dify框架构建RAG知识库 构建基于检索增强生成（RAG）的知识库涉及多个方面，包括数据收集、索引创建以及模型训练等过程。当采用Dify框架来实现这一目标时，可以遵循特定的方法论。 #### 数据准备与预处理 为了建立有效的RAG系统，在开始阶段需准备好高质量的数据集作为基础。这些数据应该经过清洗和标注以便于后续操作[^1]。 ```python import dify.preprocessing as dp data = [...] # 原始文档集合 cleaned_data = dp.clean_text(data) # 清洗文本去除噪声 annotated_data = dp.annotate(cleaned_data, labels=['knowledge', 'faq']) # 添加标签用于区分不同类型的条目 ``` #### 创建向量索引 利用Dify提供的工具将清理后的文本转换成向量表示形式，并存储在一个高效的搜索引擎中以支持快速查询匹配。 ```python from dify.indexing import VectorIndexer indexer = VectorIndexer() vector_store = indexer.create_index(annotated_data) ``` #### 集成LLM进行推理服务 最后一步是集成大型语言模型(LLMs)，通过调用API接口或者本地部署的方式让其能够访问之前建立好的知识库来进行问答交互或其他自然语言处理任务。 ```python from dify.llm_integration import LLMService llm_service = LLMService(model_name="anything_llm", index=vector_store) response = llm_service.generate_response(question="What is the capital of France?") print(response) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值