深入解析：如何使用递归字符分割器分割文本

最新推荐文章于 2025-11-30 19:25:58 发布

原创最新推荐文章于 2025-11-30 19:25:58 发布 · 378 阅读

CC 4.0 BY-SA版权

文章标签：

## 引言

在处理大文本时，将其分割为适合处理的小块是提高分析效率的关键。本文将介绍如何使用递归字符分割器（`RecursiveCharacterTextSplitter`）来递归地按字符分割文本。这种方法通过逐步减少块的大小，保持文本的语义完整性。

## 主要内容

### 什么是递归字符分割器？

递归字符分割器是一个用于逐步分割文本的工具。它按提供的字符列表进行分割，直到块达到指定的大小。默认的字符列表是 `["\n\n", "\n", " ", ""]`，这意味着它会优先保持段落、句子和词语的完整。

### 参数设置

在使用递归字符分割器时，有几个重要的参数需要注意：

- **chunk_size**: 定义每个块的最大字符数。
- **chunk_overlap**: 定义块之间的重叠大小，以尽可能减少信息损失。
- **length_function**: 用于确定块大小的函数。
- **is_separator_regex**: 指定分隔符列表是否应被解释为正则表达式。

### 处理无词界文本

对于像中文、日语、泰语等没有明确词界的语言，可以修改分隔符列表以避免分割词语。例如，可以添加全角标点符号和零宽度字符来保持词语的完整性。

## 代码示例

以下是一个如何使用递归字符分割器的示例代码：

```python
# 使用API代理服务提高访问稳定性
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载示例文档
with open("state_of_the_union.txt") as f:
    state_of_the_union = f.read()

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=20,
    length_function=len,
    is_separator_regex=False,
)

# 创建文档块
texts = text_splitter.create_documents([state_of_the_union])
print(texts[0])
print(texts[1])

在调整分隔符列表时，可以如下设置：

text_splitter = RecursiveCharacterTextSplitter(
    separators=[
        "\n\n", "\n", " ", ".",
        ",", "\u200b",  # 零宽度空格
        "\uff0c", "\u3001",  # 全角逗号和顿号
        "\uff0e", "\u3002",  # 全角句号和句号
        "",
    ],
    # 其他参数
)