使用Dedoc与LangChain进行文档加载的实践指南-优快云博客

## 技术背景介绍

在现代应用中，处理多种格式的文档是常见需求，而Dedoc提供了一个强大的解决方案。Dedoc是一个开源库/服务，能够从多种格式的文件中提取文本、表格、附件以及文档结构（如标题、列表项等）。支持的文件格式包括DOCX、XLSX、PPTX、EML、HTML、PDF以及图像等。结合LangChain，我们可以非常方便地将Dedoc作为文档加载器进行使用。

## 核心原理解析

Dedoc主要通过文件格式识别和解析技术来提取文档内容。在结合LangChain时，Dedoc通过不同的加载器类将文件转换为可处理的文档对象。DedocFileLoader负责常规文档格式，DedocPDFLoader专门处理PDF文件，而DedocAPIFileLoader则允许通过API服务进行远程处理。

## 代码实现演示

下面是如何使用Dedoc结合LangChain加载文档的代码示例：

### 安装依赖包

首先需要安装Dedoc和LangChain的相关包：

```bash
%pip install --quiet "dedoc[torch]"

使用DedocFileLoader加载文档

from langchain_community.document_loaders import DedocFileLoader

# 实例化Loader，加载本地文件
loader = DedocFileLoader("./example_data/state_of_the_union.txt")

# 加载文件内容
docs = loader.load()

print(docs[0].page_content[:100])

使用DedocAPIFileLoader进行远程文档加载

运行Dedoc Docker服务：

docker pull dedocproject/dedoc
docker run -p 1231:1231

然后使用DedocAPIFileLoader进行加载：

from langchain_community.document_loaders import DedocAPIFileLoader

# 使用API进行远程加载
loader = DedocAPIFileLoader(
    "./example_data/state_of_the_union.txt",
    url="http://localhost:1231"
)

docs = loader.load()

print(docs[0].page_content[:100])