【值得收藏】RAG核心技术：一文掌握5种文本分块策略，从入门到精通

最新推荐文章于 2025-09-04 20:05:40 发布
原创 最新推荐文章于 2025-09-04 20:05:40 发布 · 810 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法 #产品经理 #学习 #程序员 #ai #大模型

RAG 是将附加文档存储为嵌入向量，将传入的查询计算向量与这些向量进行匹配，并将最相似的信息与查询一起提供给LLM的过程。

由于附加文档可能非常大，流程的步骤1还需要分块，将大文档分成较小/方便管理的文本块，RAG的分块策略主要有五种，分别是固定大小分块、语义分块、递归分块、基于文档结构的分块、基于LLM的分块。

  • 固定大小的分块

固定大小的分块是最直观和直接的方法，根据预定数量的字符、单词或标记将文本分成统一的段。

由于直接分割会破坏语义，因此在实际使用时在两个连续块之间保持一些重叠。还有一个问题，固定大小分块通常会打断句子或者语境。因此，重要的信息很可能会分散到不同的块中。

  • 语义分块

根据句子、段落或主题部分等有意义的单位对文档进行细分，为每个片段创建嵌入，如果多个文本段的嵌入向量具有较高的余弦相似度，一直持续到余弦相似度显著下降，则这些段就形成了一个文本块。

与固定大小的块不同，这保持了语言的自然流畅并保留了完整的想法。由于每个块都更加丰富、完整，它提高了检索准确性，进而使 LLM 产生更加连贯和相关的响应。

由于依赖于一个阈值来确定余弦相似度是否显著下降，而这个阈值在不同文档之间差异可能很大。

  • 递归分块

根据固有分隔符（如段落或章节）进行分块。接下来，如果每个块的大小超出了预定义的块大小限制，则将其拆分成更小的块。但是，如果块符合块大小限制，则不再进行进一步拆分。

在这里插入图片描述

与固定大小的块不同，这种方法还保持了语言的自然流畅性并保留了完整的语境。然而，在实施和计算复杂性方面存在一些额外的开销。

  • 基于文档结构的分块

它利用文档的固有结构（如标题、章节或段落）来定义块边界，它就通过与文档的逻辑部分对齐来保持结构完整性。

在这里插入图片描述

基于文档结构的分块应用的前提条件是假设文档具有清晰的结构，但事实可能并非如此。此外，文本块的长度可能会有所不同，可能会超出模型token的限制。当出现这些问题时通常使用递归拆分进行合并。

  • 基于LLM的分块

基于LLM的分块可以按照 LLM 生成语义上孤立且有意义的块，这种方法将确保较高的语义准确性，因为 LLM 可以理解超越简单启发式方法的上下文和含义。

唯一的问题是，基于LLM的分块是这里讨论的五种技术中计算要求最高的分块技术，另外还需要考虑 LLM 的上下文窗口通常是有限的。

  • 总结

总之，每种文本分块技术都有其自身的优势和劣势。分块策略的选择将很大程度上取决于内容的性质、嵌入模型的功能、计算资源等具体情况。我在实际应用中发现语义分块在多数情况下效果很好，但你在使用语义分块时效果就有可能不理想。

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
在这里插入图片描述

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
在这里插入图片描述

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！

在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。

图片

希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！

01 教学内容

图片

  • 从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！

  • 大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

02适学人群

应届毕业生‌： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

image.png

vx扫描下方二维码即可
在这里插入图片描述

本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！

03 入门到进阶学习路线图

大模型学习路线图，整体分为5个大的阶段：
图片

04 视频和书籍PDF合集

图片

从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）

图片

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）
图片

05 行业报告+白皮书合集

收集70+报告与白皮书，了解行业最新动态！
图片

06 90+份面试题/经验

AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）图片
在这里插入图片描述

07 deepseek部署包+技巧大全

在这里插入图片描述

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

RAG教程1：RAG简述和基本使用
Cachel Wood的博客
08-28 451
本文介绍了如何配置LangChain开发环境，主要包括以下内容：1）在.env文件中设置API密钥和基础URL；2）安装必要的Python依赖包（如langchain、chromadb等）；3）列出当前环境已安装的依赖包及其版本信息。文章提供了完整的配置示例代码和详细的依赖列表，帮助开发者快速搭建LangChain开发环境。
【速通RAG实战：索引】5.RAG分块策略与Embedding技术
RickyIT的专栏
05-08 1943
分块策略：根据文档类型选择策略（固定分块为基线，语义分块为最优）。嵌入模型：参考 MTEB 榜单，结合业务场景测试模型性能。代码仓库Gitee项目。
RAG 入门指南：从零开始构建一个 RAG 系统
mama19971023的博客
08-05 2414
在开始之前，我还是打算再次简要的介绍一下 RAG。在 Meta 的官方 Blog 上有这样一段话：这段话主要讲述了一个新的模型架构，也就是RAG (检索增强生成)的重要性和优势。可以概括为以下几点：1. 构建一个能够进行研究和上下文分析的模型虽然更具挑战性，但对未来的技术进步非常关键；2. 通过在知识密集的下游任务上微调，RAG 可以实现最先进的结果，比现有的最大的预训练序列到序列语言模型还要好；3. 与传统的预训练模型不同，RAG 的内部知识可以轻松地动态更改或补充。
RAG实操教程: langchain+Milvus向量数据库创建你的本地知识库
2401_85782938的博客
06-19 9078
本文主要是 Milvus 向量数据实战总结。LLM 痛点以及解决方案RAG 是什么，为什么选用RAG。langchain文档加载器，chat model文档拆分的注意点，chat model区别。chat 示例代码。
RAG实操教程，LangChain + Llama2 | 创造你的个人LLM
2401_85324918的博客
06-12 1136
本文将逐步指导您创建自己的RAG（检索增强生成）系统，使您能够上传自己的PDF文件并向LLM询问有关PDF的信息。本教程侧重于图中蓝色部分，即暂时不涉及Gradio（想了解已接入Gradio的，请参考官网）。Llama2ChromaDB核心在于Langchain，它是用于开发由语言模型支持的应用程序的框架。LangChain就像胶水一样，有各种接口可以连接LLM模型与其他工具和数据源，不过现在LangChain正在蓬勃发展中，许多文件或API改版很多。以下我使用最简单的方式示范。
RAG简要教程
雨化于画
07-03 724
通过以上步骤，我们实现了一个简单的 RAG 模型，能够回答用户查询并提供详细的、基于外部知识库的信息。这种方法能够显著提升语言模型的性能和实用性。
精选资源
2025 RAG技术大揭秘：5种范式轻松掌握.pdf
02-22
文中详细介绍了一系列关键概念和五大主要范式——Naive RAG、Advanced RAG、Modular RAG、Graph RAG 和最新的 Agentic RAG，解释了每一种范式的技术细节和发展脉络。对于RAG技术的应用，论文探讨了各种工程工具和...
RAG 常见分块策略全解析：一文了解7种分块方法【附代码】
大F子的智能小课
04-17 1165
然而，生成模型（如大型语言模型，LLM）的上下文窗口是有限的，这意味着它能够处理的输入文本长度是有限制的。如果检索到的文本块过大，超出了这个限制，就无法完整地输入到生成模型中，从而可能导致生成的响应不准确或不完整。通过将文档分块，可以确保每个块的大小都在生成模型的上下文窗口范围内，从而使模型能够有效地处理和生成高质量的响应。例如，在一个包含多个主题的长文档中，分块可以将不同主题的内容分割开来，使得检索系统能够针对特定主题进行更精确的检索。在检索增强生成（RAG）系统中，分块策略是决定系统性能的基石。
精选资源
企业级RAG系统从入门到精通案例
11-23
企业级RAG系统是一种结合了检索增强生成（Retrieval-Augmented Generation）技术的智能问答系统。该技术通过引入外部知识库（如文档集合），使得语言模型在回答问题时能够引用相关的文档内容，从而提高问答的准确性...
RAG专栏：分块策略
m0_37145844的博客
03-26 1150
文档数据（Documents）经过解析后，通过分块技术将信息内容划分为适当大小的文档片段（chunks），从而使 RAG 系统能够高效处理和精准检索这些片段信息。分块的本质在于依据一定逻辑或语义原则，将较长文本拆解为更小的单元。分块策略有多种，各有侧重，选择适合特定场景的分块策略是提升 RAG 系统召回率的关键。
RAG入门教程（非常详细），RAG 的优化方案及评估入门到精通，收藏这一篇就够了！
2401_85373898的博客
11-22 1314
组成，并分两步检索，首先将query与摘要匹配过滤掉不相关的文档，并只在相关组内检索第二层文档块。这种方式虽然能够通过。
一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
2401_85375151的博客
07-29 3067
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单实战技巧：【版面分析——富文本txt读取】
TensorFlow相关组件的安装
AAI666666的博客
01-11 3020
TensorFlow相关组件的安装
RAG（检索增强生成）入门教程：从零到一
qq18285的博客
03-09 1309
RAG（Retrieval-Augmented Generation，检索增强生成）是一种通过从外部知识库检索信息来增强大型语言模型（LLM）的技术，从而生成更准确和信息丰富的响应。¹ ² ³简单来说，RAG 就像给 LLM 配备了一个“外脑”，让它在回答问题时可以先查阅资料，再给出答案，从而避免“一本正经地胡说八道”。
RAG入门指南（基础概念/实战避坑/全解析）从零基础到精通，看这篇就够了！
2401_85373898的博客
08-25 1130
RAG（Retrieval-Augmented Generation，检索增强生成）是一种融合了信息检索能力与大语言模型优势的技术框架。简单说，它先从海量外部知识中“挑出”与问题相关的信息，再让大语言模型基于这些信息“写”出自然流畅的回答。知识储备、精准检索、智能生成。当你提出问题时，“检索”环节就像研究员去图书馆查资料，从专业书籍、最新期刊里找出最相关的章节；“生成”环节则像研究员把查到的资料整理成条理清晰的报告，既有原文依据，又用通俗语言表达。
RAG手把手教程，客服场景，让你的客服效率提升300%！
tracy202的博客
08-05 670
摘要：本文探讨了如何利用RAG（检索增强生成）技术构建智能客服系统。通过信息检索与文本生成的结合，RAG能有效解决知识时效性、模型幻觉等问题。方案实施分为三阶段：1）数据预处理，包括知识库构建、文档分块和向量化；2）检索阶段，通过相似度匹配获取相关信息；3）生成阶段，基于检索内容生成回答。文中以DeepSeek+Faiss为例，详细介绍了本地知识库搭建流程，包括PDF文本提取、向量化存储及语义搜索实现，最终构建完整的问答系统并实现结果溯源。
别让噪音毁了你的RAG！从OCR纠错到知识库清洗，企业级降噪方案全公开（收藏级）
最新发布
weixin_58753619的博客
09-04 753
RAG文档处理的原则是找出有效数据，剔除无效数据，而不是为了大而全整一堆没用的数据。
RAG从入门到精通系列1：基础RAG（附大模型教程）
2301_81940605的博客
04-09 805
LLM（Large Language Model，大型语言模型）是一个功能强大的新平台，但它们并不总是使用与我们的任务相关的数据或者是最新的数据进行训练。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值