Dify知识库分段与数据清洗实战：优化LLM检索效率与回答精准性指南

1 分段

由于LLM的上下文窗口有限，无法一次性处理和传输整个知识库的内容，因此需对文档 中的长文本分段为内容块。即便部分大模型已支持上传完整的文档文件，但实验表明，检索效率依然弱于检索单个内容分段。

LLM能否精准回答出知识库中内容，关键在知识库对内容块的检索与召回效果。类似在手册中查找关键章节即可快速得到答案，而无需逐字逐句分析整个文档。

经分段后，知识库能基于用户问题，采用分段 TopK 召回模式，召回与问题高度相关的内容块，补全关键信息从而提高回答精准性。

进行问题与内容块的语义匹配时，合理分段大小很关键，能帮助模型准确找到与问题最相关内容，减少噪音信息。

Dify 提供 “通用分段” 和 “父子分段” 两种分段模式，分别适应不同类型的文档结构和应用场景，满足不同的知识库检索和召回的效率与准确性要求。

2 清洗

为保证文本召回效果，通常需在将数据录入知识库之前便对其进行清理。如文本内容中存在无意义字符或空行，可能影响问题回复质量，需清洗。

LLM收到用户问题后，能否精准回答知识库中内容，取决知识库对内容块的检索和召回效果。匹配与问题相关度高的文本分段对 AI 应用生成准确且全面的回应至关重要。

好比智能客服，仅需帮助 LLM 定位至工具手册的关键章节内容块即可快速得到用户问题的答案，而无需重复分析整个文档。在节省分析过程中所耗费的 Tokens 的同时，提高 AI 应用的问答质量。

3 分段模式

知识库支持两种分段模式：通用模式与父子模式。首次创建知识库，推荐父子模式。

选定分段模式并完成知识库的创建后，后续无法变更。

知识库内新增的文档也将遵循同样的分段模式。

3.1 通用模式