看懂 Embedding 分块，Naive Chunking 与 Late Chunking 的巅峰对决

原创于 2025-11-27 10:34:18 发布 · 285 阅读

CC 4.0 BY-SA版权

文章标签：

在当今的大语言模型（LLM）应用架构中，检索增强生成（RAG）已成为解决模型幻觉和知识时效性问题的核心方案。而在 RAG 的流水线中，如何将长文档转化为计算机可理解的向量（Embeddings），是决定检索准确率的基石。这一过程中，分块（Chunking）策略的选择往往被忽视，却至关重要。

接下来将探讨两种截然不同的分块范式：传统的朴素分块（Naive Chunking）与革新性的后期分块（Late Chunking），揭示它们在处理长文本上下文时的本质差异。

朴素分块（Naive Chunking）

“朴素分块”是目前大多数 RAG 系统默认采用的处理方式。它的逻辑非常直观，如同在流水线上切分蛋糕：

先切分，后处理：给定一个长文档，系统首先会依据固定的字符数或 Token 数量，将其物理切割成若干个独立的片段（Chunk 1, Chunk 2, … Chunk N）。
独立嵌入：切分后的每一个片段被视为一个独立的个体，分别输入到嵌入模型（Embedding Model）中。
生成向量：模型对每个片段进行编码，通过池化层（Pooling）生成对应的向量表示。

这种方法的优势在于简单且并行处理效率高，但它带来了一个致命的缺陷：独立同分布（i.i.d.）的假设谬误。

在朴素分块中，每个片段在进入模型时都丢失了其在原文中的上下文信息。例如，如果文档的第一段提到了“马斯克”，而第二段开头是一个代词“他”，当这两段被切分开并独立输入模型时，模型在处理第二段的“他”时，根本不知道这个代词指代的是“马斯克”。

这种切分导致生成的嵌入向量是“独立的”（i.i.d. embeddings），它们失去了跨片段的语义关联，导致检索时经常出现“断章取义”的错误。

后期分块（Late Chunking）

为了解决语义断裂的问题，“后期分块”技术应运而生。它的核心理念是“先理解整体，再进行切分”，其流程与朴素分块截然相反：

先处理，后切分：长文档并不急于被切断，而是作为一个整体（或在模型的最大上下文窗口内）直接输入到嵌入模型中。
全文本注意力机制：在 Transformer 架构的模型内部，注意力机制（Self-Attention）会计算文档中每一个 Token 与其他所有 Token 之间的关联。这意味着，即使是位于文档后半部分的词，也能“看见”并关联到文档开头的关键信息。
基于边界的池化：当模型生成了包含丰富上下文信息的 Token 级嵌入（Token Embeddings）后，系统才根据预设的边界标记，将这些已经包含了全局信息的 Token 归类到对应的块（Chunk）中。
生成向量：对这些归类好的 Token 进行池化，生成最终的块嵌入。

后期分块生成的向量被称为“条件嵌入”（Conditional Embeddings）。这是因为每个分块的向量表示不仅取决于该分块内的文字，还有条件地依赖于其前后的文本环境。

回到刚才的例子，在后期分块模式下，当模型处理第二段的“他”时，由于是在全文档的上下文中进行的，模型已经通过注意力机制捕获了前文“马斯克”的信息。因此，即使最终将这两段分开存储，第二段的向量表示中依然隐含了“这是关于马斯克的内容”这一语义特征。

从技术原理的深层来看，这两者的区别在于信息的流动范围：

• 朴素分块人为地设立了语义屏障。Token 之间的相互作用仅限于狭窄的切片内部，边界处的语义被生硬截断。

• 后期分块则拆除了这些屏障。它利用 Transformer 的双向注意力特性，让语义流淌在整个文档中。虽然最终的输出形式依然是分块的向量（为了适应向量数据库的存储和检索），但这些向量的“内涵”已经发生了质变。

从朴素分块向后期分块的演进，代表了嵌入技术从“机械式处理”向“深度语义理解”的跨越。

虽然后期分块在处理超长文本时可能会面临显存占用和推理成本的挑战，但它有效地解决了代词指代不明、上下文缺失以及语义歧义等 RAG 系统的顽疾。对于追求高精度检索和深度问答的应用场景而言，采用后期分块策略，让每一个切片都拥有全局视野，是提升系统智能水平的关键一步。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇