自然语言处理:第八十四章 Markdown文档如何切分？

最新推荐文章于 2025-04-27 10:09:52 发布
最新推荐文章于 2025-04-27 10:09:52 发布
阅读量1.3k 收藏 26
点赞数 28
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 自然语言处理 人工智能 embedding nlp 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/victor_manches/article/details/144592003

本人项目地址大全：Victor94-king/NLP__ManVictor: 优快云 of ManVictor


写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!


1 概述

在解析(1)使用MinerU将PDF转换为Markdown中我们提到了将各种文档解析为Markdown的好处，本文我们接着上一篇文章处理后的Markdown，讲解如何对Markdown文档进行切分。

在很多文档中，标题都是非常重要的信息，例如企业内部的办理流程，稍微规范点的文档，标题里面都会体现重点信息的。

既然转成了Markdown，标题肯定是保留下来了，本文将首先介绍基于Markdown标题的切分方法，以及另外一种常规的Markdown切分方法。Langchain中对于Markdown文档专用的切分器，其实也只有两类：

  • 普通的Markdown切分方法（Langchain中的MarkdownTextSplitter），效果和使用PyPDFLoader加载解析PDF的效果是一致的
  • 基于标题的切分方法（Langchain中的MarkdownHeaderTextSplitter类），与直觉理解还不太一样，直接-使用langchain的Markdown标题切分类，效果并不好，我们将通过对结果的简单分析，尝试发现问题，并进行优化，下图是经过2次优化后的结果，效果答复提升，最终效果基本上是与基础流程打平了

图片

本文将介绍这两种切分方法，并介绍如何通过对基于标题的切分结果进行简单的数据分析，尝试发现问题并进行解决。

2 效果对比

下图是效果对比，从结果上来看，并没有体现出将PDF使用MinerU转换成Markdown的优势，可能的原因有以下两点：

  • 我们示例所使用的文档，转成Markdown后只有一级标题，标题的层级不够丰富，意味着转Markdown后，标题所能发挥的作用有限
  • 由于最初在使用RAG技术构建企业级文档问答系统之QA抽取构造的测试集是使用PyPDFLoader加载解析PDF并直接切分构造的，从这个角度讲，基础流程是与测试集更加契合的
  • 0.71相比0.72只低了1个点，并没有显著得低，这个结果未必置信

图片

3 核心代码

3.1 基于标题切分

3.1.1 直接使用MarkdownHeaderTextSplitter

这部分完整代码在：

<
最低0.47元/天 解锁文章
在RAG系统中进行表格数据处理的新思路
shengyin714959的博客
07-31 783
Option 3 使用多模态 LLM （如 GPT-4V[14] 、LLaVA[15] 或 FUYU-8b[16]）从图像数据中生成文本摘要，然后将这些文本摘要嵌入向量化，利用这些嵌入向量，可以对图像摘要进行高效检索（retrieve），在检索到的每个图像摘要中，都保留有一个对应的原始图像的引用（reference to the raw image），这属于上文的 (i) 类方法，最后将未经处理的图像数据和文本块传递给多模态 LLM 以便生成答案。） 或使用表格摘要建立索引结构，如图2所示。
使用MarkdownHeaderTextSplitter拆分Markdown文档
scaFHIO的博客
03-20 468
在将完整的段落或文档进行嵌入时，嵌入过程会考虑文本的整体上下文以及句子和短语之间的关系。因此，文档分片通常要考虑保持语句的上下文一致性。Markdown文件正是以层次标题结构化排列，按标题分片是一种直观的方法。
LangChain教程 - RAG - 文档转换与文本切分
花千树的专栏
02-24 1274
LangChain 的文档转换器主要用于将不同格式的文档转换为统一的文本格式，方便后续处理。例如，HTML、Markdown 或其他格式的文档可以通过相应的转换器转化为纯文本。在处理长文本时，通常需要将其拆分为更小的块，以适应模型的输入限制。LangChain 提供了多种文本拆分器，满足不同的拆分需求。通过本篇博客，我们详细介绍了 LangChain 框架中的文档转换器和文本拆分器，并通过一个实际的示例展示了如何使用将 HTML 内容转换为纯文本，并结合对文本进行拆分。
深入了解文档分片：原理、方法与应用​
Free2AI DBMove
04-24 739
在数字化信息爆炸的时代，我们每天都要面对海量的文档数据。从企业的业务报告、合同文件，到科研领域的学术论文、实验数据记录，这些文档的规模和数量不断增长，给存储、处理和检索带来了巨大挑战。文档分片作为一项关键技术，应运而生，它能够有效地应对这些挑战，提升文档处理的效率和灵活性。那么，究竟什么是文档分片？它为何如此重要？在实际应用中又有哪些具体的方法和场景呢？接下来，让我们一起深入探索文档分片的世界。
前端大模型入门：Langchain的不同文本分割器对比和效果展示-教你根据场景选出最合适的方式
分享有趣的、贴近生活的CS知识
10-10 1688
在前端开发大模型应用的时候，处理和分割文本是常见需求，毕竟现在的大模型输入输出都有限-嵌入等也是有token限制的，合理的文本分割能显著提高模型的表现。本文从原理、优缺点和适用场景等多个维度进行分析，帮助你选出最合适当前续期的文本分割器。
探索Markdown文本拆分：基于标题的智能文本分块
akhfuiigabv的博客
12-11 467
如果希望在分块结果中保留原始标题，可以将设置为False本文介绍了如何使用来实现基于Markdown标题的智能文本分块。通过合适的分块策略，我们可以更好地保持文本的上下文完整性。Markdown 语法指南。
使用MarkdownHeaderTextSplitter轻松分割Markdown文档
nseejrukjhad的博客
10-14 677
利用可以有效地按照文档结构分割Markdown文件，为数据处理任务提供便利。希望这篇文章能够帮助你更好地理解和应用这一工具。
智能知识问答-Markdown文本分割器
九品神元师
07-22 233
在处理Markdown文档时，能够根据标题结构进行智能拆分是提高处理效率和准确性的关键。这正是Markdown文本分割器发挥作用的场景。通过这个工具，我们可以基于Markdown的标题层次结构，将文档拆分成结构化的小块，每个块都包含了相应标题下的内容。这样不仅有助于保持文档的语义结构完整，还能便于后续的内容管理和信息提取。
使用MarkdownHeaderTextSplitter按标题拆分Markdown文档
fGVBSAbe的博客
01-21 440
在处理聊天应用或者问答系统时，通常需要将输入文档分块以便于嵌入和向量存储。嵌入整段文本时，嵌入过程会考虑文本的上下文以及句子和短语之间的关系，这使得向量能够反映文本的更广泛含义和主题。然而，当我们处理Markdown文档时，以标题为基础进行分块显得尤为直观，这也是我们使用的关键动机。
掌握Markdown分割：用MarkdownHeaderTextSplitter优化文档处理
dfvcbipanjr的博客
10-09 612
默认情况下，会从输出块的内容中去除标题。如果你想保留标题，可以通过设置Markdown是许多文本处理任务的基础，理解如何有效地分割Markdown文档是增强文本分析能力的重要一步。Langchain 文档Pinecone 的嵌入指南。
自然语言处理:第八十章 RAG分块策略：主流方法（递归、jina-seg）+前沿推荐（Meta-chunking、Late chunking、SLM-SFT）
victor_manches的博客
12-20 787
大多数常用的数据分块方法（chunking）都是基于规则的，采用 fixed chunk size（译者注：将数据或文本按照固定的大小进行数据分块）或 overlap of adjacent chunks（译者注：让相邻的数据块具有重叠内容，确保信息不会丢失。） 等技术。对于具有多个层级结构的文档，可以使用 Langchain 提供的 RecursiveCharacterTextSplitter，这种方法允许将文档按照不同的层级进行分割。
RagFlow文档切块提升
最新发布
qq_41359817的博客
04-27 938
最主要的分块方式就是通用分块、父子块分块、表格分块和Regulation分块，对于扫描件则要复杂的多，使用VL对文档内容转换成Markdown形式。
Java开发者LLM实战——使用LangChain4j构建本地RAG系统.markdown-body pre,.markdown-body pre＞code.hljs{color:#333；backg
2401_85377976的博客
08-01 1243
RAG（Retrieval-Augmented Generation）的核心思想是：将传统的信息检索（IR）技术与现代的生成式大模型（如chatGPT）结合起来。具体来说，RAG模型在生成答案之前，会首先从一个大型的文档库或知识库中检索到若干条相关的文档片段。再将这些检索到的片段作为额外的上下文信息，输入到生成模型中，从而生成更为准确和信息丰富的文本。RAG的工作原理可以分为以下几个步骤：1.接收请求：首先，系统接收到用户的请求（例如提出一个问题）。2.信息****检索（R)
探索Markdown文档拆分：轻松获取结构化数据
ahdfwcevnhrtds的博客
11-14 598
借助，我们可以高效地按照Markdown标题结构来分块文档，为后续数据处理和分析奠定基础。
RAG知识库-LlamaIndex文档切片
漫漫漫漫的博客
03-24 460
在处理文本数据时，我们需要将这些信息转变成向量格式，比如说把1000个文字变成1024维的向量。为了让向量化流程更加精准做，避免内容丢失，我们需要先对文档进行切片，并进行的数据标准化处理。提高向量化质量：通过适当的切片，可以确保每个切片的内容具有一致的格式和上下文。这有助于在转换为向量时保留更多的语义信息，提高向量化表示的质量和准确性。数据处理更高效：处理非常大的文档或长篇文章时，如果不进行切片，处理这些数据将非常耗时且资源密集。文档切片可以将数据分成较小的部分，提高处理速度，并减少内存消耗。
[有效地分割Markdown文档：如何按标题进行文本分割]
ppoojjj的博客
11-26 642
是专为按标题分割Markdown文档而设计的工具。通过指定需要分割的标题层次结构，可以轻松地将文档分割成具有相似上下文的小块。通过本文的学习，相信您已经掌握了如何使用按标题分割Markdown文档。您可以根据需要灵活调整分割策略，以提高文本处理的有效性。
markdown分享
weixin_30900589的博客
09-03 646
markdown分享 一、内置函数的补充 slice：构造一个切片对象，用于列表的切片。 >>> li = ['a','b','c','d','e','f','g'] >>> li[slice(3)] ['a', 'b', 'c'] >>> li[slice(1, 3)] ['b', 'c'] >>> li[slice(1, ...
Rag中的文档切片chunking
sinat_28694519的博客
12-31 1266
在rag整个流程中，文档的切片很重要。它的目的是为了使query更好地匹配chunk，也就是提高召回率。为了实现这个目的，需要考虑两个方面，一是chunk的长度，如果chunk太长，query就不容易匹配到chunk。二是chunk最好是语义相关的内容，也就是chunk里面噪声要小点。第一点，请参考我其他文档，不再赘述。今天主要是将给定chunk size的情况下，如何更好地切片，保证chunk语义的完整性，使其更好地匹配query。
如何使用MarkdownHeaderTextSplitter高效分割Markdown文档
aehrutktrjk的博客
09-11 1462
是LangChain库中的一个强大工具，它可以根据指定的Markdown标题级别来分割文档。这种方法可以保持文档的逻辑结构，使得分割后的内容更加连贯和有意义。是一个强大的工具，可以帮助我们智能地分割Markdown文档。通过合理使用它的各种选项，我们可以在保持文档结构的同时，实现灵活的文本分割。这对于后续的文本嵌入、信息检索等任务都有很大帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值