小白也能看懂的RAG分块策略：21种方法+进阶技巧一文讲透

检索增强生成（Retrieval-Augmented Generation，简称 RAG）是很多 AI 工程师“又爱又恨”的一项技术。理论上，它听起来很简单：
“从自定义数据中检索出上下文，让 LLM 基于这些内容生成答案。”

但在实践中，你可能会陷入这样的循环：

• 调整分块方式
• 更换嵌入模型
• 替换检索器
• 微调排序器
• 重写 prompts

🔁 最后，模型仍然告诉你：“我不知道。”甚至还信誓旦旦地生成一堆幻觉内容。

其中有一个看似不起眼却影响巨大的环节：Chunking（分块）。数据格式不同、结构不同、用途不同，对应的分块方式也不同。

❗选错了方法，模型要么抓不到重点，要么直接跑偏。

1️⃣ 朴素分块（Naive Chunking）

📌按每个换行符拆分文本。

适用场景：

• 笔记、FAQ、聊天记录、逐行内容独立的转录文本

⚠️ 如果每行太长，容易超出 LLM Token 限制；太短，可能缺失上下文。

2️⃣ 固定窗口分块（Fixed-size Chunking）

📌按字符数或词数平均拆分，即使切断语义也无所谓。

适用场景：

• 无结构的大型文本，如扫描件、杂乱转录、纯文本数据

3️⃣ 滑动窗口分块（Sliding Window Chunking）

📌与固定窗口类似，但每个块有一定重叠。

适用场景：

• 思路连贯的长句文本，如散文、报告、论文
• 无格式的自由文本

⚖️权衡 token 重复 vs 上下文连续性

4️⃣ 基于句子的分块

📌在句号、问号、感叹号后拆分。

适用场景：

• 博客、技术文档、摘要等每句表达独立思想的文本
• 用于后续更复杂分块的初步预处理

5️⃣ 基于段落的分块

📌每个段落一个块（通常以双换行分隔）。

适用场景：

• 结构清晰但缺少标题的文本
• 用关键词判断段落主题切换时

6️⃣ 基于页面的分块

📌一页就是一个 chunk。

适用场景：

• PDF、幻灯片、扫描文档等分页内容
• 需要引用页码的检索系统

7️⃣ 结构化分块

📌按照结构标记（如 HTML 标签、日志时间戳、JSON 字段）进行拆分。

适用场景：

• 处理日志、JSON、HTML、CSV 等结构化数据

8️⃣ 基于文档结构的分块

📌根据标题、小节等自然结构划分。

适用场景：

• 有明确标题的文档，如教材、文章、报告、论文
• 适用于构建多级结构或分层检索系统

9️⃣ 关键词分块

📌在特定关键词处拆分，如“问题：”、“主题：”、“注意事项”等。

适用场景：

• 无结构文档中，用关键词来标记主题切换点

🔟 实体分块（NER）

📌使用命名实体识别提取实体，并将相关内容聚集成块。

适用场景：

• 法律合同、新闻稿、剧本、案例研究等强调“人/地/物”的文档

1️⃣1️⃣ 基于 Token 分块

📌按 token 数量拆分（使用 tokenizer）。

适用场景：

• 无结构文本 + token 限制严格的模型环境

✅ 可结合句子分块避免切断句子

1️⃣2️⃣ 基于主题的分块

📌先按小单位拆分，再用主题建模（如 LDA、聚类）分组。

适用场景：

• 包含多个主题但无明显标记的文档
• 需要保持语义一致性的分块

1️⃣3️⃣ 表格感知分块

📌识别并独立处理表格（按行、列或整体）。

适用场景：

• 含结构化表格内容的报告、财务文档等

1️⃣4️⃣ 内容感知分块

📌根据内容类型调整策略（表格保留、段落合并、列表识别）。

适用场景：

• 混合格式文档（图文混排、表格+正文）

1️⃣5️⃣ 上下文增强分块

📌在分块前由 LLM 添加上下文或摘要。

适用场景：

• 复杂文档（如财报、合同）
• 知识库内容量适中，能整体放入 LLM 处理时

1️⃣6️⃣ 语义分块

📌利用嵌入相似度将话题相关内容归组。

适用场景：

• 多主题长文档，简单方法无效时使用

💡 聚焦“讲的是一件事”而非“放在哪段”

1️⃣7️⃣ 递归分块

📌先粗后细，逐层递归拆分直到满足长度要求。

适用场景：

• 内容长度波动大，如对话、采访、发言稿等

1️⃣8️⃣ 基于嵌入的分块

📌先嵌入每句话，再按相似度动态聚合。

适用场景：

• 完全无结构文本
• 滑动窗口等方法效果差时可尝试

1️⃣9️⃣ 基于 LLM 的分块（Agentic Chunking）

📌让大模型自己判断如何拆分。

适用场景：

• 内容复杂到需要“人类判断”的情况

💸 计算成本高，需谨慎使用

2️⃣0️⃣ 分层分块（Hierarchical Chunking）

📌划分多层级，如“章节 ➝ 小节 ➝ 段落”，保留上下文结构。

适用场景：

• 教材、手册、研究论文等有层级结构的内容
• 适合“先看大纲，再看细节”的用户体验需求

2️⃣1️⃣ 模态感知分块（Modality-Aware）

📌将不同类型的内容（如文字、图片、表格）分开处理。

🎁附加策略：混合分块（Hybrid Chunking）

📌融合多种方法、嵌入、启发式规则或 LLM，打造更稳健的分块系统。

适用场景：

• 没有一种方法适配你的数据时
• 多种文档类型共存时

✅总结

选择合适的 Chunking 策略，不只是技术细节，而是决定 RAG 系统成败的核心变量。

🚀 掌握这 21 种策略，能让你的 LLM 系统更聪明、更稳健、更可靠。

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！

在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。

希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！

01 教学内容

• 从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！

• 大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

02适学人群

应届毕业生‌： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

vx扫描下方二维码即可

本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！

03 入门到进阶学习路线图

大模型学习路线图，整体分为5个大的阶段：

04 视频和书籍PDF合集

从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）

05 行业报告+白皮书合集

收集70+报告与白皮书，了解行业最新动态！

06 90+份面试题/经验

AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）

07 deepseek部署包+技巧大全

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发