一文搞懂Langchain Document Loader（一）

---

theme: orange

前言

像 GPT-3 这样的语言模型已经在大量数据上进行了训练，包括数百 GB 和数十亿个单词。因此，它们具有扎实的知识基础，使它们在历史和科学等领域表现出色。然而，这些模型确实有局限性。一旦它们在训练中达到了某个程度，除非可以访问互联网，否则它们无法吸收任何新信息。此外，它们无法访问私人和企业文件中的大量数据。

要解决这个问题，理解“索引”的概念至关重要。这些索引有助于将文档结构化，以便于 LLMs 的使用。LangChain 提供了四种创建索引的工具 ：

• 文档加载器(Document Loaders)
• 文本拆分器 (Text Splitters)
• 向量存储 (Vector Stores)
• 检索器(Retrievers)。

本指南旨在深入解释 LangChain 文档加载器( Document Loaders)，使您能够充分利用它们在您的 LLM 应用程序中。)。顾名思义，文档加载器负责从不同的来源加载文档。它们是多功能的工具，可以处理各种数据格式，并将它们转换成语言模型可以轻松处理的标准结构。

了解 LangChain 文档加载器

首先要了解的概念是 Langchain 称之为文档(Document)的东西。文档非常简单，它有两个字段：

• page_content(字符串)：文档的原始文本
• metadata(字典)：关于文本的任何元数据的键/值存储(源 URL、作者等)
• 我们来看一个最基本的文档加载器(TextLoader)，它打开一个文本文件并将文本加载到文档中。

```python class TextLoader(BaseLoader): """Load text files."""

def __init__(
    self,
    file_path: str,
    encoding: Optional[str] = None,
    autodetect_encoding: bool = False,
):
    """Initialize with file path."""
    self.file_path = file_path
    self.encoding = encoding
    self.autodetect_encoding = autodetect_encoding

def load(self) -> List[Document]:
    """Load from file path."""
    text = ""
    try:
        with open(self.file_path, encoding=self.encoding) as f:
            text = f.read()
    except UnicodeDecodeError as e:
        # code to handle Decoding errors
    except Exception as e:
        raise RuntimeError(f"Error loading {self.file_path}") from e

    metadata = {"source": self.file_path}
    return [Document(page_content=text, metadata=metadata)]

```

TextLoader 将文档的 page_content 设置为文件的文本，metadata 存储“source”文件路径。

随着数据来源变得更加复杂，你会发现需要更多的逻辑来创建这些文档。归根结底，我们的核心目标是将数据转换为这种标准格式，以便在我们的索引系统中进一步处理。

LangChain 中有三种主要类型的文档加载器：Transform(转换)、Public Datasets/Services(公共数据集/服务)、Proprietary Datasets/Services(专有数据集/服务)。