葵花宝典之「知识库」调优秘籍！RAG优化指南！

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/147520905

什么是RAG

RAG全称是Retrieval-Augmented Generation，即检索增强生成，它结合了检索和生成的能力，为文本序列生成任务引入外部知识。 RAG 将传统的语言生成模型与大规模的外部知识库相结合，使模型在生成响应或文本时可以动态地从这些知识库中检索相关信息。

简单点说就是，RAG给模型加了个外挂，让模型能够具备获取额外知识的能力！如下图所示：

什么是知识库

顾名思义，就是存储知识的数据库，我们可以把专用的知识放在知识库中，供大模型回答的时候进行参考。

不同于传统的数据库，知识库其实更像是一种检索系统，它不要求百分之百精确，只要能返回与查询词最相关的TopK条结果就行。其常用的方法就是倒排检索、向量检索等方法进行相似性检索。

由于知识库采用的是相似性检索，那么必然会出现结果不符合预期的情况，比如算法认为最相似的结果实际上并不相似。所以，如何对知识库进行调优进行显得非常重要，将能够显著提升大模型回答问题的质量。

下面我们一起来看一看知识库都有哪些调优方法吧！

分段设置

将内容上传至知识库后，接下来需要对内容进行分段与数据清洗。该阶段是内容的预处理与数据结构化过程，长文本将会被划分为多个内容分段。

在Dify或者其他知识库产品中，上传文档之后，一般可以进行分段设置，如下图所示：

「分段标识符」是用于分割文本的字符，一般来说，如果你的数据集是由特殊符号进行链接的内容，那么可以自定义「分段分隔符」，不然分割出来的段落可能会不全或者包含其他信息，影响检索的效果。下面是不同「分段标识符」的效果：

「分段最大长度」是每一段最大的token数，指定分段内的文本字符数最大上限，超出该长度时将强制分段。默认值为 500 Tokens，分段长度的最大上限为 4000 Tokens；

「分段重叠长度」是前后两段重叠的token长度，指的是在对数据进行分段时，段与段之间存在一定的重叠部分。这种重叠可以帮助提高信息的保留和分析的准确性，提升召回效果。建议设置为分段长度 Tokens 数的 10-25%；

索引方式

索引方式指的是知识库如何进行相似度检索，正如搜索引擎通过高效的索引算法匹配与用户问题最相关的网页内容，索引方式是否合理将直接影响 LLM 对知识库内容的检索效率以及回答的准确性。

目前常见的索引方式包括倒排索引和向量检索，下面是这两种方式的区别：

倒排索引是通过关键词匹配的方式进行检索，能够精准的命中关键词，但是缺少语义相关的信息。

向量检索则是通过Embedding模型将切分的段落转换为向量，然后构建图索引（常见的是HNSW），进行相似性检索，但是不能确保一定命中关键词。

举个例子：

知识库中有下面几个词：

哈士奇
边牧
柴犬

如果用户提问「目前知识库中有些哪狗」，使用倒排检索则会返回空结果，因为知识库中没有「狗」对应的关键词。而如果使用向量检索，则会返回所有结果，因为无论是哈士奇、边牧、还是柴犬，本质上都是「狗」。

所以，不同的索引方式也会影响知识库的检索质量。

在Dify中，包含了「高质量」、「经济」两种索引类型。

其中「高质量」索引方式同时包含了：向量检索、全文检索、混合检索。

向量检索刚才已经说过了，主要是进行语义检索，能够更加匹配语义相关的信息。

全文检索则是倒排索引，它能够索引文档中的所有词汇，从而允许用户查询任意词汇，并返回包含这些词汇的文本段，也就是说返回的结果中一定包含了查询的关键词。

而混合检索则是向量检索和全文检索的混合，也是目前比较推荐的方式，同时包含了语义匹配和关键词匹配。在混合检索中，会使用「倒排索引」和「向量检索」分别得到n个结果，然后再使用「ReRank模型」将倒排索引和向量检索的结果合并起来，重新打分，重新排序，最终再将新的结果返回给用户，如下图所示：

如果你对关键词命中率比较关心，那么推荐使用「倒排索引」。

如果你对语义匹配率比较关心，那么推荐使用「向量检索」。

如果你对关键词命中率和语义匹配率都比较关心，那么推荐使用「混合检索」。

Embedding模型

在上面「索引方式」一节中可以看到，向量检索是先通过Embedding模型把段落转换为向量，然后再进行检索。

因此，Embedding模型的质量则直接影响检索的效果。

举个例子，假如一个Embedding模型只在动物数据集上进行了训练，它虽然能够识别出来「哈士奇」、「边牧」、「柴犬」都是狗，但是却不一定能够识别出来「程序猿」是人。

同样，假如一个Embedding模型在小说数据集上进行了训练，它虽然能够很好的理解小说中的人物关系，但却不一定能够识别excel表格中各种财务报表。

因此，如果在使用向量检索的时候发现返回的结果相关性没那么强，那么就需要考虑更换Emebedding模型，或者在自己的数据集上微调Embedding模型了。

Rerank模型

和Embedding模型一样，如果使用了上面说的「混合检索」，那么Rerank模型也会影响到最终返回结果的质量。具体原因和Embedding模型类似。

当你发现「向量检索」本身返回的结果没问题，但是在使用了「混合检索」之后，结果却变差了，那么可以考虑更换Rerank模型。

分数阈值

在使用「向量检索」或者「混合检索」的时候，如果召回结果中包含了一些低质量的结果，那么很有可能会影响大模型的判断，因此，可以通过设置分数阈值把低质量的结果丢弃掉。

它的原理是在得到结果之后，会判断每一条结果和查询词的分数，如果低于设置的阈值，则就丢弃掉：

数据集制作

无论是分段方式、索引方式、Embedding模型还是Rerank模型，本质上都是在数据集上进行处理，如果数据集本身就包含了大量的脏数据，那么无论怎么处理，效果都不会怎么好。所以数据集的制作也是构建一个高质量知识库的关键一步。

比如，如果你的Excel表格中，如果你的每个单元格内容都很长，那么可以考虑拆表，否则在构建知识库的时候会把本是属于一段的内容给拆分成多段，而且拆分的为止也无法控制。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述