12、长文档处理与成本优化技术

长文档处理与成本优化技术

1. 并行处理的局限性与链方法的优化

并行处理虽然在数据处理中具有一定优势，但也存在局限性。当数据段数量过多时，会导致计算压力增大和资源竞争。每个数据段都需要处理能力，在系统性能开始下降之前，有效执行的并行操作数量是有限的。此外，如果管理不当，并行处理可能会在各数据段之间保持连贯上下文方面带来挑战。

为了增强链方法，可以集成向量存储。通过存储已处理数据段的向量表示，系统在处理后续数据段时可以快速参考之前的数据段，减少处理冗余并进一步优化成本。

2. 使用Langchain处理长文档

2.1 准备工作

以2022年亚马逊股东信为例，假设已将股东信转换为文本格式并存储在本地路径。可以使用以下代码读取信件：

with open(path_to_shareholder_letter, "r") as file:
    letter = file.read()

2.2 文本分割

使用 RecursiveCharacterTextSplitter 进行文本分割，可配置块大小和重叠量：

from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(
    separators=["\n\n", "\n"