（保姆级教程）大公司都在用的RAG优化方案，手把手教你避开99%的坑！

原创于 2025-11-06 14:00:52 发布 · 667 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #人工智能 #大数据 #python #搜索引擎 #开发语言

本篇将从向量嵌入模型配置、文档切片优化和检索召回以及提示词兜底四个方面进行讲解。

整个RAG流程：

今天的话会有Dify来演示，这个支持本地化部署，也是各大企业部署的首选。

注意：网页端对网络有要求，记得自行解决哦~

一、dify基础设置

1.点击右侧头像的设置，选择模型供应商按钮，第一次进入是空的，这个时候我们点击发现更多：

2.跳转到这个页面选择模型去选择安装。我这次选的是智谱AI和通义千问模型：

3.安装后返回，就可以看到安装好的大模型，这时候点击设置，点击跳转去获取api key，没有api key是没有办法使用大模型的：

4.获取完api填写完之后，加载完之后你就可以看到这边显示绿色✅：

二、文档分割处理

1.创建知识库：

点击上方的知识库，创新知识库：

2.知识上传：

选择你的知识库文档，点击上传：

3.分段设置：

目前这个文档数据清洗干净，数据结构化且场景简单，所以选择通用模式。

当文档过长，需求多颗粒度需求问答、技术文档或复杂内容时可以考虑父子分段。但是这个就是费钱、信息冗余、检索复杂度提高、还可能存在边界问题。

这边的话需要设置的有几个点：

①分段标识符：这个的话就是上一次清洗完的文档中的分隔符；

②分段最大长度：选择你之前文档处理的分段最大字数。我们这边填2000.

③ 分段重叠长度：这个主要用于防止连续段落被硬生生切开导致语义断裂。我们这次的文档资料处理的很干净，就可以不启用。

④ 文档预处理规则：这边的建议不勾选，特别是在文档本身格式很好的情况下，避免误删重要内容。

4.设置索引：

这边索引有两种方式，建议选高质量模式！

高质量模式下，嵌入模型将文本块转换为数值向量，能够高效压缩和存储大量文本信息。这允许在用户查询和文本之间实现更精确的匹配。

经济性模式下，不会消耗任何 token，但是它牺牲了检索的精度，每个块使用 10 个关键词进行检索。

Embedding 模型就是咱们最开始配置的模型，根据你的需求选择。

高质量索引方法提供三种检索设置：向量检索、全文检索和混合检索。

① 向量检索：

将用户的问题向量化以生成查询向量，通过向量相似性匹配检索；

适用于通用的资料以及语言复杂的内容；

② 全文检索：

传统关键词匹配、索引文档中的所有术语；

适用于专有名词多、术语库、组织内部特定名词、AI未学过的特定语料；

③ 混合检索（权重设置）：

同时执行全文关键词搜索和向量搜索两种模式。它包括一个重新排序步骤，根据用户的查询从两种搜索结果中选择最佳匹配结果。

④混合检索（Rerank 模型）：

TopK：用于筛选与用户问题相似度最高的文本片段，默认返回3个；

分数阈值：用于设置文本片段筛选的相似度阈值。只有超过此分数的片段才会被检索。默认值为 0.5。值越高，检索到的片段越少。

TopKe和分数阈值仅在Rerank（重排序）模型下生效。

重排序模型将根据候选文档列表与用户问题语义匹配度进行重新排序，从而改进语义排序的结果；对初步的结果进行二次精准排序。

5.大模型处理：

设置好后，点击提交并保存，Dify会将你的文档切片并进行嵌入模型处理。

当文档的状态变成标绿可用，说明我们的文档就向量化好了。

三、召回测试

Dify自带召回测试，我们直接在文档的下发的召回测试监测我们的设置是否OK。

输入问题，查看知识库返回的片段是否相关。这里我们可以根据测试的结果，动态调整Top K和分数阈值，找到最优设置参数。

四、查询优化

查询优化的原理是由于用户的提问可能千奇百怪，而知识库依赖精准的提问，所以我们需要先让AI优化一下用户的问题。

1.创建工作流

在工作室中，点击创建空白应用，创建工作流

2.添加工作流节点

正常的工作逻辑如下：

现在的话我们想通过AI来提高用户问题的专业性，在输入问题和知识库检索中间添加大语言模型节点，让AI基于用户原问题生成更完整、专业的“优化问题”。

我们通过两个方面优化补全输入问题：

① 给问题升维，对问题进行升维抽象，给出这个问题在更高维度上的提问方法；

② 细化问题，对问题进行细节优化，给出这个问题可能遗漏的描述。

注意：

这个步骤需要测试，有些文档增加了查询优化之后，反而是画蛇添足，影响知识库检索。

提示词兜底

我们在知识库检索完之后，需要把检索的知识给到大模型，给大模型一些兜底的策略，让大模型减少幻觉。

一些常见的容易让大模型产生幻觉的情况：

未找回答案，知识库返回的标签为空；
答案冗余/无效，有时候知识库召回了无关的答案，需要进行判断；
召回答案残缺，由于知识库不全、知识遗漏或者本身知识不全等情况导致召回内容不足以解决用户问题；
包含图片链接。以markdown标记的图片为问题的支持资料，确保提取答案前后的图片表达式确保他们可以正常显示；

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

在这里插入图片描述

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

在这里插入图片描述

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等
在这里插入图片描述

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【`保证100%免费`】

在这里插入图片描述

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用，大模型作为其中的重要组成部分，正逐渐成为推动人工智能发展的重要引擎。大模型以其强大的数据处理和模式识别能力，广泛应用于自然语言处理、计算机视觉、智能推荐等领域，为各行各业带来了革命性的改变和机遇。

在这里插入图片描述

适合人群

在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。