别再怪大模型了！RAG效果差的真正原因找到了，90%的人都忽略了这一步，太扎心！-优快云博客

在应用检索增强生成（RAG）时，有一项极易被忽视但对系统性能起着决定性作用的关键技术，那就是文本分块。

从本质上来说，文本分块是将文档、转录文本、技术手册这类大容量信息，切分为更易处理的小片段的过程。这些片段随后可被人工智能系统进行处理、向量化嵌入和检索调用。

在与大语言模型及其上下文窗口限制打交道的过程中，我深刻体会到：无论是构建检索增强生成流程、语义搜索系统，还是文档处理应用，掌握并运用高效的文本分块策略都是从业者的必修课。

文本分块的重要性

文本分块的价值绝不仅限于简单的信息整理，它从根本上决定了人工智能系统理解与检索信息的能力。

大语言模型与检索增强生成流程之所以离不开文本分块，源于其固有的上下文窗口限制和算力约束。

在我处理大篇幅文档的实践中发现，如果缺少合理的分块处理，系统很容易丢失关键的上下文关联，在检索阶段也难以精准定位相关信息。而高效的文本分块能够生成语义连贯的文本片段，与用户的查询模式和意图精准匹配，从而直接提升检索的精准度。

根据我的实践经验，科学的分块策略能在保障文本逻辑连贯性的同时，让每个片段都具备充足的上下文信息以支持高质量向量化嵌入，进而显著增强系统的语义搜索能力。这种处理方式能让嵌入模型捕捉到文本中微妙的语义关联，在检索阶段实现更精准的相似度匹配。

反之，劣质的分块策略会给整个人工智能流程带来连锁性的负面影响。随意的文本切割会割裂概念之间的关键联系，导致系统生成的回复不完整甚至产生误导。分块尺寸过大时，检索系统难以定位到具体的相关段落；分块尺寸过小时，片段又往往缺乏足够的上下文信息来支撑准确理解。这些问题最终会降低用户满意度，损害系统的可靠性。

文本分块在检索增强生成流程中占据着核心地位，是连接原始文档导入与有效知识检索的关键桥梁。在端到端的检索增强生成流程中，文本分块通常发生在文档预处理之后、嵌入向量生成之前。分块处理的结果会直接输入到嵌入环节，每个文本块都会被转化为能够表征其语义的向量形式。

检索增强生成（RAG）流程

分块、嵌入和检索这三个环节紧密耦合、相互影响，任一环节的表现都依赖于另外两个环节的效果。

在我的实践中，结构合理的文本块能让嵌入模型生成信息更丰富的向量表示，进而在用户发起查询时，为检索系统输出更精准的结果。这种协同效应意味着，分块技术的优化往往能推动整个流程的性能实现可量化的提升。

当然，也有一些新兴技术路线正在挑战这种传统的流程顺序。例如后置分块技术，它会先对完整文档进行嵌入处理，仅在接收到用户查询时才执行分块操作，并将结果缓存以加快后续访问速度。这种方式可以避免对那些可能永远不会被查询的文档进行预处理，同时支持基于查询需求的定制化分块，但缺点是首次查询会产生延迟，且需要额外的基础设施支持。

与之类似，延迟分块技术会将细粒度的文本分割推迟到检索阶段。系统不会预先为大量小文本块生成嵌入向量，而是先存储文档或章节这类粗粒度的向量表示，在接收到查询请求后再进行动态分割。这种方法既能保留更完整的上下文信息，又能降低前期的处理成本，但同样存在首次查询延迟和基础设施投入增加的问题。

无论采用哪种技术路线，分块策略的设计都必须适配目标语言模型的上下文窗口——也就是模型单次可处理和理解的最大文本长度。

文档分块的核心原理

在了解了文本分块的定义及其在流程中的定位后，接下来我们来探讨指导高效分块策略设计的核心原则。掌握这些基础原理，是在各类人工智能与检索增强生成应用中灵活运用分块技术的前提。

文本分块的必要性源于语言模型有限的上下文窗口。其核心目标是：在模型的上下文窗口限制内，生成既具备独立语义价值，又能整体保留文档结构与核心意图的文本片段。

但上下文窗口并非唯一的考量因素。在我设计分块策略时，主要遵循以下三大核心原则：

语义连贯性：每个文本块都应将相关联的概念整合在一起，保持信息的逻辑流畅性。
上下文完整性：单个文本块脱离原始文档后，仍需包含足够的背景信息以确保语义完整。
计算效率优化：文本块的尺寸需要在语义丰富度和处理效率之间找到平衡，确保系统能够快速处理，同时不超出内存与token数量的限制。

这三大原则相辅相成，让文本块既能被模型高效利用，又能为检索流程提供有力支撑。有了这个基础，接下来我们就来详细介绍实践中最常用的几种分块策略。

文本分块策略

文本分块策略体系丰富多样，不同的方法针对不同的内容类型、应用场景和性能需求进行了针对性优化。

如下图所示，我们为您梳理了主流分块方法的全景图，后续章节将对这些方法展开深入解析。

这份全面的概览清晰呈现了分块技术从简单的规则驱动方法，向复杂的人工智能驱动技术演进的脉络。每种方法都针对特定的应用场景和性能需求，展现出独特的优势。

分块方法

接下来，我们深入剖析目前应用最广泛的几类分块策略。每种方法都有其独特的优势、局限性和适用场景。理解这些差异，能让我们摆脱“一刀切”的思维定式，为具体项目精准匹配最合适的分块方案。我们先从最基础的方法讲起——固定尺寸分块。

1. 固定尺寸分块

固定尺寸分块是最简单的分块方法。它基于字符、单词或token数量来分割文本，完全不考虑文本的语义和结构。

基于字符的分块：按照固定的字符数量分割文本。这种方法适用于轻量级处理场景，但很容易在句子或单词的中间位置进行切割，破坏语义完整性。
基于单词的分块：以固定的单词数量作为分割依据。相比字符分块更符合自然语言的表达习惯，但仍存在割裂句子语义的风险。
基于token的分块：采用与目标模型一致的token化规则（例如OpenAI的tokenizer）。这种方式能确保分块结果与模型的上下文窗口完全兼容，但token的分割边界往往与语义边界并不重合。

固定尺寸分块的最大优势在于计算效率高——速度快、效果可预测且易于实现。其缺点是通常会忽略文本的语义结构，可能降低检索的准确性。在我的实践中，当项目对简单性和处理速度的要求高于语义精准度，且文档结构无关紧要时，我会选择这种方法。为了提升效果，我通常会在文本块之间设置重叠区域，以保留边界处的上下文信息。

2. 基于句子的分块

为了弥补固定尺寸分块的部分缺陷，一种改进方案是基于句子的分块。这种方法尊重自然语言的边界，通常以句号、问号这类标点符号作为分割标志。

该方法能保证文本的可读性，确保每个分块都是语义自洽的单元。与固定尺寸分块相比，生成的文本片段更易于人类和模型理解。但由于句子长度本身参差不齐，分块的尺寸会出现较大波动，且不一定能捕捉到文本深层的语义关联。

我发现，基于句子的分块方法非常适合依赖自然语言流畅性的应用场景，例如机器翻译、情感分析或文本摘要任务。但当文档的结构比简单的句子层级更复杂时，递归分块则能提供更灵活的解决方案。

3. 递归分块

递归分块是一种比前两种方法更先进的技术。它会按照预设规则逐层对文本进行分割，直到所有分块的尺寸都符合预设的限制。例如，我会先按章节标题分割，再按段落分割，最后按句子分割。这个过程会持续进行，直到所有文本片段都达到易于处理的尺寸标准。

递归分块的核心优势在于灵活性。通过自上而下的分层切割，这种方法既能保留文档的原生结构，又能确保分块结果适配模型的上下文窗口。但缺点是实现过程相对复杂，且最终效果高度依赖原始文档的结构化程度。

在处理技术手册这类具有清晰层级结构的文档时，递归分块是我最常用的方法之一。

4. 语义分块

如果说递归分块的核心是“结构”，那么语义分块的核心就是“语义”。这种方法会基于文本的概念边界进行分割，而非局限于表面的结构特征。

语义分块是一种语义感知型技术，它利用文本嵌入向量或语义相似度来识别主题的转换节点，从而确定分块边界。相较于固定尺寸分块的机械切割，语义分块的划分依据是文本的实际含义。

实现语义分块的一种典型思路是：先将文本拆分为独立句子，然后计算句子之间的语义相似度（例如基于嵌入向量的余弦相似度），当相似度出现显著下降时，便标记为新分块的起始位置。更先进的实现方案会采用聚类算法或有监督的边界检测模型，能更精准地捕捉复杂文档中的主题转换。

这种方法能保证文本块的语义连贯性，确保每个分块都围绕单一的观点或主题展开。常用的技术手段包括嵌入向量相似度计算、聚类分析，以及其他语义距离测算方法，以此来识别文本中自然的语义断点。

语义分块的最大优势是精准度高——生成的文本块与用户的检索意图高度契合。其主要缺点是计算成本高，因为在预处理阶段就需要对文本进行嵌入处理。在我的实践中，当准确率的优先级高于处理速度时（例如面向法律或医疗领域的专业检索增强生成系统），我会优先选择语义分块技术。

5. 滑动窗口分块

与强调语义连贯性的语义分块不同，滑动窗口分块更注重文本的连续性。它通过在文本上滑动一个固定尺寸的窗口，生成具有重叠区域的文本块。例如，我设置一个包含500个token的窗口，滑动步长为250个token，那么每个新生成的文本块都会与前一个文本块有一半的内容重叠。

这种重叠设计能够有效保留跨分块边界的上下文信息，降低关键信息在分割时丢失的风险。但缺点是会产生冗余数据——重叠区域会增加存储成本和计算开销。滑动窗口分块特别适用于聊天记录、播客转录文本这类非结构化文本的处理。

在实际部署该策略时，我通常会设置**20%_{50%的文本重叠率**，以此来保障边界处的上下文连贯性，这种设置在处理技术文档和对话文本时尤为有效。在LangChain等主流框架中，200}400个token的分块尺寸是常见的默认配置，具体数值可根据模型的上下文窗口限制和文档类型进行调整。我建议在上下文完整性优先于存储效率的应用场景中，采用这种分块方法。

6. 层级分块与上下文增强分块

当单纯的连续性不足以满足需求，且需要严格保留文档结构时，层级分块和上下文增强分块就能发挥其独特价值。

层级分块会完整保留文档的层级结构，从章节到句子逐层拆分。它不会生成扁平的文本块列表，而是构建一个与原始文档结构对应的树形结构。每个文本块都与其上层和下层的块形成父子关系。例如，一个章节包含多个段落（父节点→子节点），每个段落又包含多个句子。

在检索阶段，这种层级结构支持灵活的上下文导航。如果某个查询匹配到了句子级别的文本块，系统可以向上追溯，调取其所属段落甚至整个章节的信息作为补充上下文；反之，如果是一个宽泛的查询匹配到了章节级别的文本块，系统可以向下钻取，定位到最相关的段落或句子。这种多粒度的检索方式同时提升了系统的查准率和查全率，因为模型可以根据需求灵活调整返回内容的范围。

上下文增强分块则更进一步，它会为文本块添加标题、时间戳、来源引用等元数据信息。这些附加信息能为检索系统提供关键的区分信号。例如，两篇文档可能包含几乎完全相同的句子，但通过其所属的章节标题或时间戳，就能判断出哪一个与用户的查询更相关。元数据还能帮助用户追溯答案的来源，这一点在受监管或合规性要求高的领域尤为重要。

层级分块和上下文增强分块的核心优势是高准确率和高灵活性。但缺点是会增加预处理和检索逻辑的复杂度——系统需要处理文本块之间的关联关系，而非将其视为独立单元。我推荐在法律合同、财务报告、技术规范这类对结构完整性和可追溯性有严格要求的领域，采用这两种分块方法。

7. 主题分块与模态专属分块

并非所有文档都具备严格的层级结构，此时主题分块或模态专属分块就能提供更灵活的内容分组方案。

主题分块会基于主题对文本进行聚类分组，常用的技术包括潜在狄利克雷分布（LDA）主题建模算法，或基于嵌入向量的聚类方法，以此来识别文本的语义边界。

与固定尺寸或结构驱动的分块方法不同，主题分块的目标是将同一主题的所有内容整合在一个文本块中。这种方法非常适合处理研究报告、长篇文章这类包含多个主题的长文本。由于每个文本块都聚焦于单一主题，检索结果会更贴合用户的查询意图，大幅降低无关信息的干扰。

模态专属分块则会根据不同的内容类型调整分块策略，确保信息分割方式与载体的结构特性相匹配。例如：

文本类内容：采用基于句子或语义的分块方法，保证段落的连贯性和查询相关性。
表格类内容：按行或逻辑分组进行分割，保留数据之间的关联意义。
图像类内容：按区域分割或对图像说明文字进行嵌入处理，为检索提供局部化的上下文信息。

元数据在模态专属分块中扮演着尤为重要的角色。例如，为表格行数据附加列标题、将图像说明与对应图像区域关联、为转录文本添加说话人标签和时间戳，这些操作都能帮助检索系统更精准地定位目标文本块，并正确解读其语义。这种增强处理不仅能提升检索精准度，还能增强用户对结果的信任感，因为检索结果会附带解释其相关性的上下文信号。

我建议在构建多模态检索流程，或处理不适合采用纯文本分块策略的非传统文档时，优先考虑模态专属分块方法。它能确保每种类型的内容都以最优的方式被表征，从而最大化检索质量和可用性。

8. 智能体驱动分块与人工智能动态分块

除了上述基于规则和语义的分块方法，智能体驱动分块和人工智能动态分块这两类前沿技术，正在不断拓展分块技术的边界。

人工智能动态分块直接利用大语言模型来确定文本的分块边界，而非依赖预设的规则。大语言模型会对文档进行全局扫描，识别出自然的语义断点，并自适应地调整分块尺寸。

对于信息密度高的文本段落，模型会将其切分为更小的文本块；对于信息密度低的段落，则会进行合并。这种方式能生成语义连贯的文本块，完整覆盖单个概念，从而提升检索准确率。该方法适用于处理法律合同、合规手册、研究论文这类高价值的复杂文档——在这些场景中，检索精准度的优先级远高于处理吞吐量和成本。

智能体驱动分块则在此基础上更进一步，它引入了更高层级的推理能力。与单纯让大语言模型分割文本不同，智能体驱动分块会由人工智能智能体先对文档和用户意图进行综合评估，再决定具体的分块策略。

智能体可以针对文档的不同部分灵活选用不同的分块方法。例如，在处理一份医疗报告时，智能体可以按“患者病史、实验室检查结果、医生诊断意见”的结构进行分割，同时对叙事性描述部分采用语义分块技术。智能体还可以为特定文本块添加时间戳、诊断编码、医生身份标识等元数据信息。

从这个角度来说，智能体驱动分块相当于一个编排层：智能体会根据具体文档的特性，动态选择或组合不同的分块方法，而非对整个文档套用单一的分块策略。这种方式能实现高度定制化和上下文感知的分块效果，但代价是更高的复杂度和计算成本。

这两种方法都属于前沿技术，功能强大，但解决的问题各有侧重。人工智能动态分块侧重于在文档导入阶段生成语义对齐的分块边界；智能体驱动分块则侧重于为每一份独特的文档，智能地选择和组合最优的分块策略。这两种方法都与前文提到的延迟分块技术相关——延迟分块技术为长上下文模型提供支持，先对完整文档进行嵌入处理，再在嵌入层面对文档进行分块。

这两种前沿方法能生成高度自适应、语义感知的文本块。但同时也存在显著的短板：人工智能动态分块成本高昂且处理速度较慢；智能体驱动分块则会增加额外的系统复杂度和基础设施投入。人工智能动态分块最适合需要实时生成高质量语义分块的场景；而智能体驱动分块则在文档类型多样、需要策略级推理来适配分块方案的场景中优势显著。

注意事项

选定分块策略后，接下来需要关注具体的实施细节。分块尺寸、重叠区域管理、token计数这类实际问题，会直接影响系统的最终性能。分块尺寸过大，可能超出模型的上下文窗口限制；尺寸过小，则会导致文本块丢失核心语义。

兼容性是另一个关键考量因素。不同的模型和嵌入方案有其专属的token化规则和上下文窗口限制，因此在设计分块流程时，必须充分考虑这些差异。

在基础设施层面，内存管理和计算效率同样不容忽视：重叠区域会增加数据冗余，递归分块和语义分块这类方法则会带来额外的计算开销。分块扩展、元数据增强这类后处理步骤，虽然能帮助恢复上下文信息，但也会增加系统的复杂度。

在掌握了这些实施基础后，如何衡量分块策略的实际效果就变得至关重要。

性能评估与优化方案

分块策略的有效性不能只停留在理论层面，必须通过明确的指标进行量化衡量。

例如，上下文查准率用于衡量检索到的文本块中与查询相关的比例；上下文查全率则用于衡量知识库中所有相关文本块被成功检索的比例。

这两个指标结合在一起，可以清晰地反映出分块策略是否能帮助检索器精准定位所需信息。

与此密切相关的是上下文相关性指标，它侧重于评估检索到的文本块与用户意图的匹配程度，在调整top-K值这类检索参数时特别实用。

此外，还有一些针对分块技术的专属指标。例如，分块利用率用于衡量模型在生成回复时，实际使用的文本块内容占比；如果利用率偏低，说明文本块的划分可能过于宽泛或包含过多无关信息。

与之相对，分块溯源性用于评估系统能否准确识别出对最终回复有贡献的文本块。这些针对分块的评估指标，能帮助我们验证文本块是否不仅被成功检索，还能被模型有效利用。

优化在分块策略的落地过程中同样扮演着核心角色，其本质是在速度与准确率之间找到平衡。通过实验调整分块尺寸、重叠率和检索参数，能够同时提升系统的计算效率和语义丰富度。此外，A/B测试是获取客观反馈的必要手段，而持续迭代优化则能确保分块策略不断完善，而非停滞不前。

虽然性能调优能提升通用系统的表现，但在领域化应用场景中，分块技术还面临着独特的挑战。

应用场景

不同行业对分块策略有着差异化的需求。在金融领域，年报、监管文件这类文档通常信息密度高且专业性强，因此分块策略必须能完整保留数值表格、标题和脚注这类关键信息。法律和技术文档也存在类似的需求——准确率和结构完整性是不可妥协的核心目标，这使得层级分块和上下文增强分块这类方法在这些领域极具价值。

医疗文档和多模态文档则带来了新的挑战。一份患者病历可能同时包含临床记录、实验室检查数据和影像资料；一份多模态文档则可能整合了文本、图表和音频转录内容。在这些场景中，模态专属分块策略能确保每种类型的数据都以最优方式被分割，同时维持不同模态内容之间的语义对齐。

无论应用于哪个领域，遵循一套标准化的最佳实践，都能让分块策略更可靠、更易于维护。

最佳实践

选择合适的分块策略需要综合考量多方面因素：内容类型、查询复杂度、可用资源和模型的上下文窗口大小。在我的实践中，很少会对所有场景套用同一种分块方法，而是会根据系统的具体需求灵活调整。

持续迭代优化是保障系统长期成功的核心。分块策略的有效性需要通过持续测试来验证，利用真实的用户查询验证结果，并根据反馈及时调整方案。交叉验证则能帮助我们确保优化效果不是偶然现象，而是能在不同应用场景中稳定复现。

分块技术视为一个持续演进的系统。完善的文档记录、常态化的测试和持续的维护，能有效防止系统性能退化，确保检索流程在数据和模型不断更新的情况下，始终保持稳健运行。

文本分块看似只是一个预处理环节的细节，但正如您在本指南中所了解到的，它从根本上决定了检索增强生成系统的性能表现。从固定尺寸分块、基于句子的分块这类基础方法，到语义分块、智能体驱动分块、人工智能动态分块这类先进技术，每种方法都在简单性、准确率、效率和适应性之间做出了不同的权衡。

不存在适用于所有场景的“万能分块方法”。最合适的分块策略，取决于内容类型、语言模型的能力和应用的核心目标。遵循语义连贯性、上下文完整性和计算效率优化这三大原则，设计出的文本块能够有效提升检索精准度、优化系统性能，并确保生成结果更可信。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述