RAG 常见分块策略全解析：一文了解7种分块方法【附代码】

最新推荐文章于 2025-10-09 11:30:00 发布
原创 最新推荐文章于 2025-10-09 11:30:00 发布 · 1.1k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #python

在这里插入图片描述

引言

在检索增强生成（RAG）系统中，分块策略是决定系统性能的基石。本文基于 2023 - 2025 年最新研究成果，深度剖析 12 种分块方法的实现原理，并通过 Python 代码演示其应用场景。

大家好，我是大 F，深耕AI算法十余年，互联网大厂技术岗。
知行合一，不写水文，喜欢可关注，分享AI算法干货、技术心得。
欢迎关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！

【大模型篇】更多阅读：
【大模型篇】万字长文从OpenAI到DeepSeek：大模型发展趋势及原理解读
【大模型篇】目前主流 AI 大模型体系全解析：架构、特点与应用
【大模型篇 】 Grok-3 与 DeepSeek 的技术架构与性能分析
【大模型篇】速读版DeepSeek核心技术解密：与 GPT-4、Claude、LLaMA 技术路线差异对比分析

一、为什么需要分块？

1.1 上下文窗口限制

RAG 模型中的检索部分会从文档库中检索与用户查询相关的文本块，这些文本块将作为上下文输入到生成模型中。然而，生成模型（如大型语言模型，LLM）的上下文窗口是有限的，这意味着它能够处理的输入文本长度是有限制的。例如，许多 LLM 的上下文窗口最多只能容纳 2048 个令牌（tokens）。如果检索到的文本块过大，超出了这个限制，就无法完整地输入到生成模型中，从而可能导致生成的响应不准确或不完整。通过将文档分块，可以确保每个块的大小都在生成模型的上下文窗口范围内，从而使模型能够有效地处理和生成高质量的响应。

大型语言模型（LLM）存在严格的 Token 限制：

  • GPT - 4：32K Token
  • Claude 3：200K Token
  • Gemini 1.5：1M Token

尽管上下文窗口持续扩大，但处理 100 页以上的文档仍需要分块机制。以 1M Token 的 Gemini 1.5 为例：

  • 单 Token ≈ 0.75 个英文单词
  • 1M Token ≈ 75 万单词 ≈ 750 页 A4 纸
    实际业务文档往往超过这个规模（如企业知识库、医疗档案）。

1.2 块大小对检索精度的影响

  • 当文档被分块后，每个块都包含了相对独立和完整的信息单元。这使得检索系统能够更精确地定

最低0.47元/天 解锁文章
RAG 常见分块策略全解析：从原理到代码实践（2025 深度版）
大F子的智能小课
03-10 443
然而，生成模型（如大型语言模型，LLM）的上下文窗口是有限的，这意味着它能够处理的输入文本长度是有限制的。如果检索到的文本块过大，超出了这个限制，就无法完整地输入到生成模型中，从而可能导致生成的响应不准确或不完整。通过将文档分块，可以确保每个块的大小都在生成模型的上下文窗口范围内，从而使模型能够有效地处理和生成高质量的响应。例如，在一个包含多个主题的长文档中，分块可以将不同主题的内容分割开来，使得检索系统能够针对特定主题进行更精确的检索。在检索增强生成（RAG）系统中，分块策略是决定系统性能的基石。
【Dify(v1.x) 核心源码深入解析】RAG黑科技：一文吃透Models与Rerank模块的底层逻辑
09-02 175
《深入解析Dify RAG：从向量化到精排序的智能优化》一文深度剖析了Dify开源项目中RAG（检索增强生成）技术的两大核心模块。Models模块通过Embedding模型将文档转化为AI可理解的向量，并利用Document模型实现结构化存储，其创新的缓存机制可大幅提升处理效率。Rerank模块则采用双引擎策略（模型重排序+简单排序），通过去重处理、专业模型调用和结果重包装三步骤，从海量初检结果中筛选出最优答案。文章通过清晰的Mermaid流程图和实战代码示例，揭示了AI知识库精准应答的核心技术原理，为开发
RAG专栏：分块策略
m0_37145844的博客
03-26 1133
文档数据（Documents）经过解析后，通过分块技术将信息内容划分为适当大小的文档片段（chunks），从而使 RAG 系统能够高效处理和精准检索这些片段信息。分块的本质在于依据一定逻辑或语义原则，将较长文本拆解为更小的单元。分块策略有多种，各有侧重，选择适合特定场景的分块策略是提升 RAG 系统召回率的关键。
【深度好文】从零开始构建RAG系统：9种文本分块策略全面解析（代码示例）
最新发布
m0_48891301的博客
10-09 814
【深度好文】从零开始构建RAG系统：9种文本分块策略全面解析（代码示例）
一文搞懂AI大模型学习路线：核心知识点 + 实战路径全解析
Android_XG的博客
07-18 837
一文搞懂AI大模型学习路线：核心知识点 + 实战路径全解析
RAG分块策略：主流方法（递归、jina-seg）+前沿推荐（Meta-chunking、Late chunking）
2401_85373691的博客
12-12 1590
LangChain 还预定义了其他编程语言（如 Go、C++、Java）等的分割符列表，方便用户快速定义新的文本切块类。如果需要处理未提供的文本格式，可以参照已有的类实现。
小白也能懂｜RAG中的5种分块方式及其适用场景总结
2401_85375186的博客
06-23 1127
RAG通过结合检索与生成技术，依赖其高效检索算法、多模态融合能力及系统级优化，解决了基础大模型在企业内部应用的局限性，例如通过RAG技术对接企业内部知识库，支持知识动态更新与实时交互，显著降低了大模型的幻觉风险，无需微调训练模型，低成本适配企业垂直领域的应用场景，在数据安全与可控性方面，可加入权限控制逻辑，确保敏感信息仅在授权范围内使用，同时通过引用标注实现可追溯性。
略论图像的分块读写策略
clever101的专栏
07-14 5341
                                朱金灿 在图像处理系统中一般采取分块读写的办法，因为一般不可能一下子开辟一个大内存把整幅图像读进来。分块读取的道理一般大家都懂，不过如何分块里面却是有学问的。下面谈谈我的看法。 在大图像处理中磁盘I/O一般是效率的主要瓶颈。因此如何分块的着眼点应该是如何减少磁盘I/O。一般的图像处理系统采取将块分成256*256或者5
开源AI新协议！AI Agent与前端交互的轻量级协议，轻松构建交互式AI应用！
bugyinyin的博客
06-04 1330
AI Agent 的兴起让前端交互需求激增，但传统开发中，连接Agent后端与前端需大量定制代码，效率低下。 在 MCP（模型上下文协议）、A2A（Agent-to-Agent 通信协议）之后，AI Agent 的生态正在走向一个更完整的方向：AG-UI 协议横空出世，专为 Agent 与前端应用的通信交互而设计。
一文读懂RAG系统中的分块策略：从基础原理到企业落地
qq_35354529的博客
09-16 1704
RAG系统的分块策略是提升检索精度与生成质量的关键因素。文章分析了预分块和后分块的适用场景，并详细介绍了8种分块方法：固定大小分块、递归分块、基于文档分块等基础策略，以及语义分块、LLM分块、智能代理分块等高级策略。不同策略各有优劣，需根据文档类型、查询需求及成本限制进行选择。合理的分块能优化检索效率、保障生成内容完整性，是RAG系统落地的"隐形生命线"。
【RAG实战】一文搞懂RAG五大分块策略
m0_66287144的博客
08-04 617
本文深入探讨了RAG（检索增强生成）中的五大分块策略，强调分块是提升检索效果的关键环节。文章首先介绍了RAG基本流程和分块的重要性，指出分块需平衡长度限制与语义相关性。随后详细解析了五种分块方法：固定大小分块（按token数量切分）、语义分块（基于内容连贯性）、递归分块（结合分隔符与长度）、文档结构分块（利用文本层级）以及基于LLM的分块（效果优但成本高）。最后强调实践中需灵活组合策略，才能优化检索精度与生成质量。全文为理解RAG分块技术提供了清晰框架。
RAG系列：一文吃透 RAG7大核心概念，通俗易懂
持之以恒
07-01 1291
RAG相关知识点简述
RAG常见13种分块策略大总结（一览表）
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
03-09 928
分块策略在RAG中至关重要，目的是提高效率、相关性和上下文保持。分块能减少计算开销，增加检索相关信息的可能性，同时保持信息完整性。但也存在风险，如上下文丢失、冗余和不一致性。选择策略需考虑文档类型（结构化 vs 非结构化）、查询复杂性、资源可用性和期望结果（速度 vs 准确性 vs 上下文）。以下是13种独特分块策略的详细描述，按策略名称、描述、优点、缺点和实施建议。
RAG的5种文本分块策略#Text Splitting
热门推荐
shadowcz007的博客
01-16 1万+
你是否曾经尝试将一段很长的文本输入ChatGPT，却被告知文本太长了？或者你是否试图让你的应用程序具有更好的长期记忆，但效果还不够好？提高大语言模型性能的一个有效的策略是将大型数据分割成较小的部分。这个过程被称为分割或分块（Text Splitting）。在这个教程中，介绍了文本分割的5种方法。我阅读后做了些精简，分享给大家，原文可以文末查看原链接。Text Splitting文本分割的方法方法...
RAG之文本分块策略
qq_30921029的博客
06-11 1097
rag系统在构建向量库时，调用embedding模型之前需要考虑如何将原始文本做分块，好的分块策略可以帮助我们优化从向量库被召回的内容的准确性。
【IPFS——区块链】分块的策略
欢乐的马小纪的博客
03-23 952
The chunker option, '-s', specifies the chunking strategy that dictateshow to break files into blocks. Blocks with same content can be deduplicated. The default is a fixed block size of 256 * 1024 byt...
详解RAG五种分块策略（一）RAG分块应用中普遍存在的问题
Androiddddd的博客
06-23 1063
RAG通过结合检索与生成技术，依赖其高效检索算法、多模态融合能力及系统级优化，解决了基础大模型在企业内部应用的局限性，例如通过RAG技术对接企业内部知识库，支持，显著风险，无需微调训练模型，的应用场景，在数据安全与可控性方面，可加入权限控制逻辑，确保敏感信息仅在授权范围内使用，同时通过引用标注实现可追溯性。但是在RAG应用工程化过程中，特别在金融、医疗等高风险领域，分块策略是RAG系统的核心环节，。我们先简单回顾一个RAG工作流程（图片来源：DailyDoseofDS）
开源版MetaQuery来了！OpenUni用1.1B参数媲美BLIP3-o-8B，数据代码完全开源
m0_59235699的博客
06-26 1079
随着 GPT-4o 展现出令人印象深刻的多模态能力，将视觉理解和图像生成统一到单一模型中已成为 AI 领域的研究趋势（如MetaQuery 和 BLIP3-o ）
大模型——RAG中的分块策略
03-12 2178
分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。
RAG代码分块方法
08-08
在 RAG（Retrieval-Augmented Generation）系统中，文本分块（Text Chunking）是关键的预处理步骤，其目的是将长文本分割为具有语义连贯性的片段，以便后续的检索与生成任务更高效、准确地进行。以下是一些常见的文本分块方法及其代码实现： ### 固定长度分块（Fixed-Length Chunking） 这种方法将文本按照固定数量的字符或 token 进行分割，是最基础的分块策略。虽然实现简单，但可能会破坏语义完整性。 ```python from langchain.text_splitter import CharacterTextSplitter # 创建固定长度分块器 fixed_splitter = CharacterTextSplitter( separator="\n", # 分隔符 chunk_size=1000, # 每个分块的字符数 chunk_overlap=200, # 重叠字符数 length_function=len, # 长度计算方式 ) # 分块 fixed_chunks = fixed_splitter.split_text(long_text) ``` ### 基于句子的分块（Sentence-Based Chunking） 该方法将文本按句子边界进行分割，避免破坏句子结构，适合大多数自然语言处理任务。 ```python from langchain.text_splitter import RecursiveCharacterTextSplitter # 创建基于句子的分块器 sentence_splitter = RecursiveCharacterTextSplitter( separators=["\n\n", "\n", "。", "！", "？", "，", " ", ""], # 分割符优先级 chunk_size=1000, chunk_overlap=200, ) # 分块 sentence_chunks = sentence_splitter.split_text(long_text) ``` ### 语义感知分块（Semantic Chunking） 语义分块通过计算文本片段之间的语义相似性来决定分块位置，确保每个分块在语义上保持一致性。可以使用 Sentence Transformers 等模型来获取文本 embedding。 ```python from langchain.text_splitter import SentenceTransformersTokenTextSplitter # 创建基于语义的分块器 semantic_splitter = SentenceTransformersTokenTextSplitter( model_name="all-MiniLM-L6-v2", # 指定embedding模型 threshold_strategy="percentile", # 百分位策略 threshold=0.95, # 95%分位数作为阈值 window_size=3 # 滑动窗口大小 ) # 分块 semantic_chunks = semantic_splitter.split_text(long_text) ``` ### 基于滑动窗口和相似度的分块 这种方法通过滑动窗口计算相邻文本片段的 embedding 相似度，当相似度低于设定阈值时进行分块。适用于长文档的语义分割。 ```python from sentence_transformers import SentenceTransformer import numpy as np from sklearn.metrics.pairwise import cosine_similarity # 加载预训练的embedding模型 model = SentenceTransformer('all-MiniLM-L6-v2') # 将文本按句子拆分 sentences = long_text.split("。") embeddings = model.encode(sentences) # 设置阈值 threshold = 0.7 current_chunk = [] chunks = [] # 遍历句子并计算相似度 for i in range(len(embeddings) - 1): sim = cosine_similarity([embeddings[i]], [embeddings[i+1]])[0][0] if sim > threshold: current_chunk.append(sentences[i]) else: current_chunk.append(sentences[i]) chunks.append("。".join(current_chunk)) current_chunk = [] if current_chunk: chunks.append("。".join(current_chunk)) ``` ### 自适应分块（Adaptive Chunking） 自适应分块结合了多种策略，根据文本内容动态调整分块大小和位置，通常用于处理结构复杂的文档。 ```python from langchain.text_splitter import TokenTextSplitter # 创建基于token的自适应分块器 adaptive_splitter = TokenTextSplitter( chunk_size=200, # 每个分块的token数 chunk_overlap=50 # 重叠token数 ) # 分块 adaptive_chunks = adaptive_splitter.split_text(long_text) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大F的智能小课

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值