RAG训练前必备：Python文本切割方法与LangChain实践

最新推荐文章于 2025-10-10 17:31:11 发布

原创最新推荐文章于 2025-10-10 17:31:11 发布 · 1.1k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#python #langchain #人工智能 #自然语言处理 #AI大模型 #AI #算法

https://python.langchain.com/api_reference/text_splitters/index.html

一、为什么文本切割影响RAG效果

在Retrieval-Augmented Generation（检索增强生成）系统中，文本切割质量直接影响：

检索阶段的上下文相关性
生成阶段的语义连贯性
系统处理长文本的效率

不合理的切割会导致：

关键信息被分割在不同chunk中
语义不完整的上下文片段
噪声数据影响embedding质量

二、LangChain文本切割器核心方案

1. 基础字符切割

from langchain_text_splitters import CharacterTextSplitter

splitter = CharacterTextSplitter(
    separator="\n",  # 按换行分割
    chunk_size=500,   # 单块最大字符数
    chunk_overlap=50  # 块间重叠字符
)

2. 递归语义切割（推荐）

from langchain_text_splitters import RecursiveCharacterTextSplitter

recursive_splitter = RecursiveCharacterTextSplitter(
    chunk_size=300,
    chunk_overlap=30,
    separators=["\n\n", "\n", "。", "？", "！", "；"] # 优先级递减的分隔符
)

3. Token精准切割（适配LLM）

from langchain_text_splitters import TokenTextSplitter

token_splitter = TokenTextSplitter(
    encoding_name="cl100k_base",  # GPT系列编码
    chunk_size=200,               # 最大token数
    chunk_overlap=20
)

4. 文档结构感知切割

from langchain_text_splitters import MarkdownHeaderTextSplitter

markdown_splitter = MarkdownHeaderTextSplitter(
    headers_to_split_on=[("#", "Header1")]
)

三、关键参数优化策略

参数	推荐值	作用原理
chunk_size	300-1000	平衡上下文完整性与检索效率
chunk_overlap	10%-20%	保持段落间语义连贯
separators	层级化设置	优先使用自然语义分隔符

四、领域文本切割最佳实践

法律文档处理

legal_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=80,  # 提高重叠保证条款完整性
    separators=["\n\nArticle", "\nSection", "\n\n", "\n"]
)

技术文档处理

tech_splitter = MarkdownHeaderTextSplitter(
    headers_to_split_on=[
        ("#", "H1"),
        ("##", "H2"),
        ("###", "H3")
    ]
)

下面是一个切割markdown后导入csv文件的操作

import csv  
import os  
from typing import Iterable, Any
from langchain_text_splitters import ExperimentalMarkdownSyntaxTextSplitter  

def write_csv(content: Iterable[Iterable[Any]], filename: str = "output.csv") -> str:  
    """将给定内容写入CSV文件"""  
    with open(filename, 'w', newline='') as file:  
        writer = csv.writer(file, delimiter=',')  
        writer.writerow(['index', 'content'])  
        writer.writerows(content)  
    return filename

headers_to_split_on = [  
    ("#", "1"),  
    ("##", "2"),  
    ("###", "3"),  
    ("####", "4"),  
    ("#####", "5"),  
]  
splitter = ExperimentalMarkdownSyntaxTextSplitter(  
    headers_to_split_on=headers_to_split_on  
)  
chunks = splitter.split_text(md_text)  
csv_filepath = write_csv(  
    [[list(chunk.metadata.values())[-1], chunk.page_content.replace("\n", "")] for chunk in chunks if  
     len(chunk.metadata.values()) > 0]  
)