深入理解 LangChain 文档分割技术

最新推荐文章于 2025-04-16 10:47:22 发布
最新推荐文章于 2025-04-16 10:47:22 发布
阅读量1.2k 收藏 11
点赞数 9
文章标签： langchain 数据库 人工智能 知识图谱 llama 机器学习 程序员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Wufjsjjx/article/details/144194105
版权

引言

在 RAG（检索增强生成）应用中，文档分割是一个至关重要的步骤。合适的分割策略可以显著提高检索的准确性和生成内容的质量。本文将深入探讨 LangChain 中的各种文档分割技术，比较它们的优缺点，并分析适用场景。

LangChain 中的文档分割器概览

LangChain 提供了多种文档分割器，主要包括：

  1. 字符分割器（CharacterTextSplitter）
  2. 递归字符文本分割器（RecursiveCharacterTextSplitter）
  3. 语义文档分割器（SemanticChunker）
  4. 其他专用分割器（如 MarkdownHeaderTextSplitter）

接下来，我们将详细介绍这些分割器的使用方法和特点。

字符分割器（CharacterTextSplitter）

字符分割器是最基本的分割方法，它按照指定的字符数来分割文本。

使用示例

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(
    separator="\n\n",
    chunk_size=1000,
    chunk_overlap=200,
    length_function=len,
)

text = "Your long text here..."
docs = text_splitter.create_documents([text])

特点

  • 简单直接，易于理解和实现
  • 可能会打断语义完整性
  • 适用于结构简单、语义不太复杂的文本

递归字符文本分割器（RecursiveCharacterTextSplitter）

递归字符文本分割器是一种更智能的分割方法，它尝试在特定分隔符处分割文本，以保持更好的语义完整性。

使用示例

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=20,
    length_function=len,
    separators=["\n\n", "\n", " ", ""]
)

text = "Your long text here..."
docs = text_splitter.split_text(text)

特点

  • 尝试在自然断点处分割文本
  • 比简单的字符分割更能保持语义完整性
  • 适用于结构化程度较高的文本，如 Markdown、HTML 等

运行流程

  1. 首先尝试使用第一个分隔符（如 “\n\n”）分割文本
  2. 如果分割后的块仍然过大，则使用下一个分隔符继续分割
  3. 重复此过程，直到达到指定的 chunk_size 或用完所有分隔符

语义文档分割器（SemanticChunker）

语义文档分割器使用语义理解来分割文本，这是一种更高级的分割方法。

使用示例

from langchain.text_splitter import SemanticChunker
from langchain.embeddings import OpenAIEmbeddings

text_splitter = SemanticChunker(
    embeddings=OpenAIEmbeddings()
)

text = "Your long text here..."
docs = text_splitter.split_text(text)

特点

  • 基于语义相似性分割文本
  • 能够更好地保持语义完整性
  • 计算成本较高，处理大量文本时可能效率较低
  • 适用于需要高度语义理解的场景

其他专用分割器

LangChain 还提供了一些针对特定格式的分割器，如 MarkdownHeaderTextSplitter。这些分割器能够识别特定格式的结构，从而实现更精确的分割。

MarkdownHeaderTextSplitter 示例

from langchain.text_splitter import MarkdownHeaderTextSplitter

headers_to_split_on = [
    ("#", "Header 1"),
    ("##", "Header 2"),
    ("###", "Header 3"),
]

markdown_splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on)

markdown_text = "# Header 1\nSome text\n## Header 2\nMore text\n### Header 3\nEven more text"
docs = markdown_splitter.split_text(markdown_text)

分割策略的选择与优化

选择合适的分割策略对 RAG 应用的性能至关重要。以下是一些选择和优化建议：

  1. 文档类型考虑：

    • 对于结构化文档（如 Markdown、HTML），使用 RecursiveCharacterTextSplitter 或专用分割器
    • 对于非结构化文本，可以使用 CharacterTextSplitter 或 SemanticChunker

  2. 性能与准确性平衡：

    • SemanticChunker 提供最好的语义完整性，但计算成本高
    • CharacterTextSplitter 速度最快，但可能影响语义完整性
    • RecursiveCharacterTextSplitter 是一个很好的折中方案

  3. chunk_size 和 chunk_overlap 的调整：

    • chunk_size 过大可能导致检索不精确，过小可能丢失上下文
    • chunk_overlap 有助于保持上下文连贯性，但会增加存储和处理成本

  4. 自定义分割逻辑：

    • 对于特定领域的文档，可能需要开发自定义分割器
    • 考虑使用正则表达式或特定领域的规则来优化分割

结语

文档分割是 RAG 应用中的关键环节，直接影响检索和生成的质量。通过深入理解 LangChain 提供的各种分割技术，并根据具体应用场景选择合适的策略，我们可以显著提升 RAG 系统的整体性能。在实际应用中，建议进行充分的测试和对比，找到最适合您特定需求的分割方法。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI大模型..
关注
使用Python高效处理与分割HTML文档：深入解析HTML段落分割技术及其应用
m0_57781768的博客
09-01 411
HTML段落分割器（HTMLSectionSplitter）是一种结构感知的分割工具，能够识别HTML文档中的段落和标头，并基于这些元素将文档内容分割为多个部分。与传统的按字符或单词分割的方式不同，HTML段落分割器可以根据文档的结构，将相关内容组合在一起，并为每个分割块添加与之相关的元数据信息，如段落标头、层次结构等。在某些高级应用场景中，我们可能需要根据自定义规则来判断段落的分割方式。例如，我们可以通过指定XSLT路径，将特定样式（如字体大小）转换为标头，从而调整分割策略。
【LangChain】Chapter8 - Document Splitting
AustinCyy的博客
01-16 941
《LangChain Chat with Your Data》-Document Splitting
Langchain使用之 - 文本分割Splitter
热门推荐
qiaotl的博客
09-06 1万+
通过实际代码例子介绍如何使用Lanchain的文本分割器对文本进行分割
【RAG入门教程04】Langchian的文档切分
yanqianglifei的专栏
06-09 3016
在 Langchain 中，文档转换器是一种在将文档提供给其他 Langchain 组件之前对其进行处理的工具。通过清理、处理和转换文档，这些工具可确保 LLM 和其他 Langchain 组件以优化其性能的格式接收数据。上一章我们了解了文档加载器，加载完文档之后还需要对文档进行转换。
langchain检索、文本分割、RAG
SO_zxn的博客
03-16 857
langchain 检索 文本分割 RAG
(六)、基于 LangChain 实现大模型应用程序开发 | 基于知识库的个性化问答 (文档分割 Splitting)
weixin_43646592的博客
11-20 2726
基于 LangChain 实现大模型应用程序开发 | 基于知识库的个性化问答 (文档分割 Splitting)
文档太大LLM处理不过来？这10种LangChain分割技术帮你搞定！
2401_85325397的博客
10-19 887
RAG（检索增强生成）是一种创建基于大语言模型（LLM）应用的高效方式。它有助于生成对用户查询的准确回答。为了创建一个基于 RAG 的应用程序，我们需要执行一些操作，例如文档加载、将大文档拆分为多个小块、嵌入、嵌入索引，并将它们存储在向量数据库中。然后根据用户查询，系统从向量数据库中提取相关上下文并传递给提示词以及用户查询。然后 LLM 将用户查询和内容结合起来，生成适当的响应。这是 RAG 系统的整体流程。
【LangChain系列】第二篇：文档拆分简介及实践
2301_81888214的博客
06-05 1266
在上一篇博客中，我们学习了如何使用LangChain的文档加载器将文档加载为标准格式。加载文档后，下一步是将它们拆分为更小的块。
深入理解LangChain：构建高效多文档内容摘要和AI代理系统的终极指南
m0_57781768的博客
06-30 473
LangChain是一个开源框架，用于构建基于大型语言模型（LLM）的应用程序。LLM是基于大量数据预先训练的大型深度学习模型，可以生成对用户查询的响应，例如回答问题或根据基于文本的提示创建图像。LangChain提供各种工具和抽象，以提高模型生成的信息的定制性、准确性和相关性。例如，开发人员可以使用LangChain组件来构建新的提示链或自定义现有模板。LangChain还包括一些组件，可让LLM无需重新训练即可访问新的数据集。
深入理解LangChain的CharacterTextSplitter：高效文本分割技术
ppoojjj的博客
08-11 1805
CharacterTextSplitter是LangChain库中的一个文本分割器，它基于指定的字符序列将文本分割成小块。这种方法简单直接，适用于多种文本处理场景。CharacterTextSplitter是一个简单而强大的工具，适用于多种文本处理任务。它的灵活性使其成为NLP项目中的宝贵资产。然而，对于更复杂的需求，可能需要考虑其他专门的分割器或自定义解决方案。LangChain官方文档Hugging Face Transformers库。
深入了解LangChain核心概念及架构
AWsggdrg的博客
01-06 797
随着LLM的广泛应用，开发者需要更简单和高效的工具来构建复杂的自然语言处理系统，例如多轮对话、检索增强生成（RAG）或工具调用处理流程。LangChain正是为此而生，它提供标准化的接口，使开发者能够轻松整合语言模型、数据存储以及各种特定任务的工具。LangChain包含多个子包，每个子包专注于不同的功能模块，如模型集成、文档加载、检索器和代理等。同时，它通过模块化设计，支持各种第三方工具和服务的无缝集成。
# RAG | Langchain # Langchain RAG：打造Markdown文件的结构化分割解决方案
weixin_45312236的博客
04-15 1万+
【文章简介】在信息技术快速发展的今天，有效处理和分析文本数据变得尤为重要。Markdown文件因其简洁性和可读性，在知识共享和文档编写中扮演着关键角色。然而，传统的文本分割方法未能充分利用Markdown的结构化特性，导致信息提取和知识理解的效率受限。本文提出一种基于Langchain的结构化分割方法，通过MarkdownHeaderTextSplitter工具，按标题层级精确分割文档，保留关键的结构和上下文信息，特别适合报告和教程等结构化文档。
LangChain教程 | langchain 文本拆分器 | Text Splitters全集
HRG520JN的博客
03-28 1万+
一旦加载了文档，您通常会想要转换它们以更好地适应您的应用程序。最简单的例子是，您可能希望将一个长文档分割成更小的块，以便适合模型的上下文窗口。LangChain有许多内置的文档转换器，可以轻松地拆分、组合、过滤和操作文档。当你想处理很长的文本时，有必要将文本分割成块。虽然这听起来很简单，但这里有很多潜在的复杂性。理想情况下，您希望将语义相关的文本片段放在一起。“语义相关”的含义可能取决于文本的类型。示例展示了几个方法来做到这一点。将文本分成语义上有意义的小块（通常是句子）。
langchain框架-文档分割器详解（官方库）
最新发布
wend的博客
04-16 1141
LangChain 提供了许多内置的文档转换器，使得拆分、组合、过滤和其他操作文档变得简单。当您想处理长文本时，有必要将文本拆分成块。尽管这听起来很简单，但这里有很多潜在的复杂性。理想情况下，您希望将语义相关的文本片段放在一起。“语义相关”意味着什么可能取决于文本的类型。将文本拆分成小的、语义上有意义的块（通常是句子）。开始将这些小块组合成一个更大的块，直到达到某个大小（通过某个函数来衡量）。
LangChain核心模块 Retrieval——文本分割
weixin_43787408的博客
03-24 1829
是一个“结构感知”分块器，它在元素级别拆分文本，并为每个与任何给定块“相关”的标题添加元数据。这样做的效果是尝试将所有段落（然后是句子，然后是单词）尽可能长时间地放在一起，因为这些通常看起来是语义相关性最强的文本片段。“语义相关”的含义可能取决于文本的类型。在较高层次上，它会分成句子，然后分成 3 个句子为一组，然后合并嵌入空间中相似的句子。检索的关键部分时仅获取文档的相关部分，主要任务之一是将大文档分割为更小的块。最简单的例子是，将长文档分割成更小的块，以适合模型的上下文窗口。
langchain文本分割器
大多_C的博客
05-23 693
当处理长篇文本时，将文本分割成较小的块可以更好地处理和分析。
智能知识问答-递归字符文本分割器
九品神元师
07-22 677
指定一个块长度和一组分隔符（默认的字符列表是["\n\n", "\n", " ", ""]），根据分隔符的优先顺序对文本进行预分隔，然后将小块进行合并，将大块进行递归拆分，直到获得所需的块大小，最终这些块的大小并不完全相同，但它们仍然会逼近指定的块长度。
实操：通过LangChain尝试不同的分块策略
qianggezhishen的专栏
11-19 1272
在开发检索增强生成（Retrieval-Augmented Generation, RAG）应用的过程中，处理文档的分块（Chunking）无疑是最为复杂的任务之一。分块究竟是什么？它指的是将信息切割并整理成易于处理或富有意义小组的行为，这些小组随后可以被送入我们的语言模型中进行处理。虽然这个概念乍听之下似乎简单直白，但实际上，其执行的细节才是成功的关键。根据文本的具体特征，你可能需要在将文本输入到语言模型之前，采取不同的策略来进行分块。在本文中，我们将探讨不同分块策略对同一数据集的影响。
开源模型应用落地-LangChain实用小技巧-文档分割器-自定义文档分割器（十三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-29 1万+
使用自定义分割器，更好地管理和处理文本数据
rag加载分割文档的方式
04-03
<think>好的，我现在需要帮助用户了解如何通过RAG模型加载和分割文档。首先，用户的问题是关于RAG模型中加载和分割文档的方法教程，我需要结合提供的引用内容来回答这个问题。 首先，我应该回顾用户提供的引用内容。引用[1]提到LangChain中的文档加载器有三种方法：加载、加载并分割、延迟加载。引用[2]和[3]讨论了使用LangChain处理PDF文档以及文档切割技术。引用[4]则提到了加载文档、切割、向量化等步骤，并给出了代码示例中的部分方法。 接下来，我需要确定回答的结构。用户需要的是步骤性的教程，所以可能需要分步骤讲解加载和分割的过程，并结合实际代码示例。同时，根据用户的系统级指令，需要正确使用LaTeX格式，生成相关问题，并在引用处添加标识。 首先，加载文档部分。根据引用[1]和[2]，文档加载器可以从不同数据源加载，比如PDF。需要说明使用LangChain的文档加载器，比如PyPDFLoader。这里可能需要代码示例，如加载PDF文档。 然后是分割文档。引用[1]提到使用文本分割器，如加载并分割方法。引用[3]详细讨论了文档切割技术，可能涉及递归分割或特定分割器如RecursiveCharacterTextSplitter。需要解释分割的必要性，比如处理大文档，并给出分割的代码示例，比如设置块大小和重叠。 接下来，结合RAG流程。根据引用[4]，分割后的文档需要进行向量化存储，并在检索时使用。可能需要提到向量数据库如Chroma，以及如何整合到RAG系统中。 此外，需要注意用户提到的格式要求：行内数学公式用$...$，独立公式用$$...$$，但当前问题可能不需要数学公式，但如果有相关参数，比如块大小或重叠，可以用行内公式表示，如chunk_size=1000，chunk_overlap=200。 最后，生成相关问题。根据用户提供的示例，可能需要询问优化分割的方法、处理不同格式文档、分割参数的影响等。 现在需要检查是否有遗漏的引用内容，比如引用[4]中的MultiQueryRetriever和MMR，这部分可能在分割后的步骤中使用，但用户当前的问题集中在加载和分割，所以可能不需要深入。但可以提到分割后的处理流程，如向量化和检索。 总结回答结构： 1. 文档加载方法：使用LangChain的文档加载器，如PyPDFLoader，代码示例。 2. 文档分割技术：使用文本分割器，如RecursiveCharacterTextSplitter，参数设置，代码示例。 3. 结合RAG流程：分割后的向量化存储和检索。 4. 相关问题：分割优化、处理不同格式、参数影响等。 确保代码示例正确，并符合用户的格式要求，如使用正确的语法和高亮。同时，引用标识要正确添加，如加载方法引用[1]，分割引用[1][3]，RAG流程引用[4]。 可能还需要注意术语的一致性，比如“分割”和“切割”在引用中的不同表述，但用户的问题使用“分割”，所以统一用分割。 最后，检查是否符合所有系统级指令，特别是LaTeX格式和引用标识的正确使用。</think>### RAG模型加载与分割文档方法教程 在RAG（检索增强生成）模型中，文档加载与分割是构建高效问答系统的关键步骤。以下是基于LangChain库的具体实现方法： --- #### 一、文档加载方法 1. **使用文档加载器** LangChain提供多种文档加载器，例如处理PDF文件的`PyPDFLoader`。通过配置数据源，可将文档内容加载为结构化数据。 ```python from langchain.document_loaders import PyPDFLoader # 加载PDF文档 loader = PyPDFLoader("example.pdf") documents = loader.load() # 返回包含文本和元数据的文档对象[^1] ``` 2. **延迟加载优化** 对于大型数据集，可使用`Lazy Load`模式按需加载数据，减少内存占用[^1]。 --- #### 二、文档分割技术 1. **文本分割器的作用** 大型文档需分割为较小片段（如$1000$字符/段），便于后续向量化和检索。常用`RecursiveCharacterTextSplitter`实现递归分割[^3]。 2. **代码实现示例** ```python from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, # 每段长度 chunk_overlap=200, # 段间重叠字符 separators=["\n\n", "\n", " "] # 按段落、换行符分割 ) splits = text_splitter.split_documents(documents) # 执行分割[^3] ``` 3. **分割策略优化** - **语义完整性**：避免在句子中间分割，保留上下文。 - **重叠设计**：通过`chunk_overlap`参数保留相邻片段的重叠部分，提升检索连贯性[^4]。 --- #### 三、整合到RAG流程 1. **向量化与存储** 分割后的文本需转换为向量并存入数据库（如Chroma），支持后续相似性检索： ```python from langchain.vectorstores import Chroma from langchain.embeddings import OpenAIEmbeddings vector_db = Chroma.from_documents( splits, OpenAIEmbeddings() # 使用嵌入模型 ) ``` 2. **检索增强生成** 结合检索器（如`MultiQueryRetriever`）与大模型生成答案： ```python retriever = vector_db.as_retriever(search_kwargs={"k": 3}) # 检索Top 3片段 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值