spaCy Layout: 处理 PDF 和 Word 文档的详细指南

spaCy Layout: 处理 PDF 和 Word 文档的详细指南

1. 项目介绍

spaCy Layout 是一个开源插件，它整合了 Docling 工具，为 spaCy 的自然语言处理管道带来了对 PDF、Word 文档和其他格式的结构化处理能力。通过该插件，输出的数据以文本格式呈现，并创建了 spaCy 的 Doc 对象，使得可以访问到如章节或标题等标记的文本跨度，以及将表格数据转换为 pandas.DataFrame。

2. 项目快速启动

首先，确保您的环境中安装了 Python 3.10 或更高版本。然后，通过以下步骤快速启动 spaCy Layout：

# 安装 spaCy Layout
pip install spacy-layout

# 初始化 spaCy 的 nlp 对象
nlp = spacy.blank("en")

# 创建 spaCy Layout 对象
layout = spaCyLayout(nlp)

# 处理一个 PDF 文档
doc = layout("./example.pdf")

# 打印文档文本内容
print(doc.text)

确保将 ./example.pdf 替换为您需要处理的 PDF 文件的路径。

3. 应用案例和最佳实践

以下是使用 spaCy Layout 的一些应用案例和最佳实践：

处理文档并创建 Doc 对象

# 处理文档并创建 spaCy Doc 对象
doc = layout("./example.pdf")

# 打印文档布局信息
print(doc._.layout)

# 打印文档中的表格数据
for table in doc._.tables:
    print(table._.data)

自定义表格显示

您可以通过提供一个 display_table 回调来自定义表格的显示方式：

def display_table(df: pd.DataFrame) -> str:
    return f"表格包含列: {', '.join(df.columns.tolist())}"

layout = spaCyLayout(nlp, display_table=display_table)

序列化文档对象

处理完文档后，可以使用 spaCy 的二进制格式序列化 Doc 对象，以避免重新运行资源密集型的转换：

from spacy.tokens import DocBin

# 处理文档
docs = layout.pipe(["one.pdf", "two.pdf", "three.pdf"])

# 创建并保存 DocBin 对象
doc_bin = DocBin(docs=docs, store_user_data=True)
doc_bin.to_disk("./docs.spacy")

# 读取序列化的文档
doc_bin = DocBin().from_disk("./docs.spacy")
docs = list(doc_bin.get_docs(nlp.vocab))

4. 典型生态项目

spaCy Layout 可以与 spaCy 的其他插件和模型配合使用，例如：

• 使用 en_core_web_trf 模型进行词性标注和依存关系分析。
• 结合规则匹配进行命名实体识别。
• 在信息提取任务中使用表格数据。

通过上述步骤，您应该能够开始使用 spaCy Layout 来处理 PDF 和 Word 文档，并将其集成到您的工作流程中。