RAG本地部署时遇到的一些问题和心得

2025年7月1日更新：用了一段时间谷歌的notebookLLM，便捷性准确性高效性，我原称之为目前notebookLLM地表最强RAG工具，仅仅是个人用户免费使用，其他的RAG工具都可以退下了。

--------------------------以下是原文-------------------------------

本文在我部署RAG知识库时，所遇到的一些情况，稍微整理一下思路，非专业人员，可能有误。

RAG系统是一种结合了信息检索和文本生成能力的AI架构。它的核心思想是，当需要生成文本时，不是仅仅依赖预训练模型自身的知识，而是先从外部知识库中检索相关信息，然后将检索到的信息作为上下文，辅助模型生成更准确、更丰富的文本。

说人话：就是把你的资料上传到一个库，作为一个外部知识库，通过某些开源工具的检索方式，输出资料的片段给大模型，大模型先读取你的片段再回答问题。

操作过程：用户上传文档→用户在开源工具里把文档按token分割成更小的块→存储分块，建立向量数据库，文本块转换成向量表示，实现语义检索。

模型过程：接收用户提出的问题→提取问题里关键字，在数据库中检索相关的文本块→对检索到的文本块进行重新排序，选出与查询最相关的文本块→将重新排序后的文本块进行整合→利用整合后的上下文，生成最终的回复。

网上随便搜出来几分钟的速搭教程，基本上教学都是教操作过程，一般傻瓜跟着操作也能部署，比较容易遇到分块或索引过程中出现错误，可能会需要换开源工具或者换embedding模型。而真正使用知识库，99%用户会遇到的问题是查询时，发现检索到的信息可能过于宽泛或过于狭窄，与实际需求不符的情况。一般RAG卖课付费的内容，也是在解决这些问题。

以下都是针对查询过程（Query Process）遇到的困境和痛点。

如，在模型提取关键字，去向量数据库里查询块，到重排序块返回，这一步容易出现：检索器搜索不到关键词，找不到正确的块

或是，模型将排序后的文本块进行整合，形成更连贯的上下文，这一步出现：整合后的上下文存在逻辑错误或信息冗余，返回小说的第30章和70章的片段，模型把他们拼一块，强行解释了因果