程序员必学的RAG知识库系统搭建全流程详解

最新推荐文章于 2025-11-24 18:29:32 发布

原创最新推荐文章于 2025-11-24 18:29:32 发布 · 1k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #数据库 #搜索引擎 #大数据 #chatgpt

这两天自己搭建了一个完整的RAG知识库系统，学到不少的知识的，包括知识库构建流程和智能检索流程，现对过程做一次总结。

构建这个RAG知识库系统的目的，将我所有零散的笔记和资料自动对接到该知识库系统，并能有一个统一入口，检索我个人所有学习、工作的笔记和资料。对于个人的学习非常方便。

知识的构建流程又包含很多步骤要完成。包括：文件解析 → 文本提取 → 文本清洗 → 文本分块 → 向量化 → 生成摘要 → 存储到向量数据库。每一步的质量都对最终的检索效果产生比较大影响。

特别是文本分块的策略和使用的文本嵌入模型，那更是多种多样，针对不同的语言场景、专业领域的内容，采用文本分块策略和使用的嵌入模型都不一样。

文本分块策略要采用智能分块，比如：使用使用 LangChain 的RecursiveCharacterTextSplitter。智能分析内容并优化拆分逻辑，可过滤冗余信息并保持语义完整性。不要采用按句子直接拆分。

我将文本分块的结果生成知识种子（什么是知识种子，后续会讲到）。通过知识种子，可以对文本分块的结果进行优化，包括对分块的结果进行增、删、改。

知识构建中，文本分块是最重要的一个环节，直接影响到后续的检索结果，要好好思考和设计。

中文就推荐采用BGE序列模型，比如： BAAI/bge-base-zh-v1.5 (默认, 768维, 经过中文优化)。

智能检索结果的准确性是对用户感知最大的，也是最直接的。整个流程也比较复杂，包括：查询预处理 → 查询扩展 → 向量化 → 相似度检索 → 重排序 → 构建上下文 → LLM生成答案 → 返回答案+引用。

每个步骤又包含很多内容。比如：为了查询更多、更高质量的内容，我们需要对查询问题进行扩展，通常我们使用同义词扩展、上下文扩展、意图分析、生成式扩展等。

同时，结合关键词检索和向量检索的优点，采用混合检索。有些内容不仅只是检索知识库，还希望进行联网搜索，以增强检索的结果。联网搜索有涉及多搜索引擎查询等等。

使用重排序模型（如BGE-reranker模型）对检索结果进行重新排序，获取最相关TOPN结果。同时，最好还要对相似度结果进行过滤，比如采用余弦相似度检索，设置一个余弦值最低阈值，从而过滤掉低质量的结果，及时最后过滤所有的都无所谓，宁缺毋滥。

构建上下文涉及到构建一个优质的提示词，对LLM生成的质量非常关键，可能微小的改进对结果生成差距都会比较大。

基于以上的思考，我完整的实现了一个RAG知识库系统。

所谓，看再多资料和书籍，还不如动手做一遍，边做边学，边学边实践，所谓学中干，干中学。

先来看看效果，后面会详细展开具体的实现细节和技术选型。

整体的产品界面

很多功能还没有实现，优先实现一个框架和核心功能，打造MVP。

本次主要介绍，RAG知识库系统实现效果。

知识库系统的配置界面。

左边是构建的知识库集合。

右边上半部分是知识库的配置。

包括文本输入、文件导入、网页链接三种方式上传知识，然后通过文本切分，生成对应的知识种子。

下半部分是知识库生成的种子。

如：上传了一个pdf文件和一个网站。文档的解析和url解析方案非常多，很容易就能实现。

点击某个知识库分组，可以对上传的知识生成的种子进行预览，并对生成的种子的结果进行增、删、改，以提高种子质量，增强后续的检索结果。

同时，还可以预览和下载源文件。如果是网站，可以链接到对应的原始文章。

检索生成

接下来看看实际检索效果吧。

使用知识库和联网检索。优先使用知识库，如果没有结果，才会使用联网搜索。

从实现的结果看，不仅给出详细的解答，还引入对应的知识库和对应的种子。

知识库名字易读性还比较差哈，应该是用URL的标题才比较好，这个改进很容易，当前不影响结果哈。

再问一个实时性的问题。

很明显，这个问题RAG是无法回答的，直接调用联网搜索结果。

但是，无论怎样，向量数据库查询都会返回结果，只是质量比较差，需要进一步的重排序和相似度阈值判断，过滤掉相似度低的结果。

大家可能看到，我的整体交互形式，跟其他传统的AI助手不一样。

我采用的是画布形式，灵感来自flowith，比较有创意。可以在任何一个节点上继续提问。

说到画布交互形式，给大家再介绍一个对我来说比较好用的功能，模型对比模式。

让多个顶级AI模型并行回复你的问题，然后总结两个模型的回答质量，以辅助决策。

比如：我问“什么是RAG”

DeepSeek V3.1和Qwen 3.2，同时给出结果。

并最终，对比两个模型的生成结果，并给出总结。

最后，

构建这个知识库系统的目的，计划将我的所有笔记和博客资料、自己收藏的好的资料、博客文章等所有资料，自动统一对接到知识库系统，能有一个统一入口进行检索查询，对于个人学习非常方便。

比如：调用有道笔记接口，定期获取最新的笔记文章，导入到知识库中。

比如：定期爬取“新智元”等顶级的自媒体，最新有关AI智能体的文章，导入到知识库中。

下一篇文章，我会详细说明，我这个知识库系统的实现逻辑和方案选型。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

在这里插入图片描述

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

在这里插入图片描述

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等
在这里插入图片描述

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【`保证100%免费`】

在这里插入图片描述

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用，大模型作为其中的重要组成部分，正逐渐成为推动人工智能发展的重要引擎。大模型以其强大的数据处理和模式识别能力，广泛应用于自然语言处理、计算机视觉、智能推荐等领域，为各行各业带来了革命性的改变和机遇。

在这里插入图片描述

适合人群

在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。