使用AirbyteLoader将数据流导入LangChain文档的完整指南-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142385927

引言

在现代开发中，将数据从各种来源集成到数据仓库或数据湖中是一个常见的任务。Airbyte作为一个强大的数据集成平台，提供了广泛的ELT连接器。本文将介绍如何利用AirbyteLoader将数据流导入LangChain文档中，并提供实用的代码示例和解决方案。

主要内容

安装

要使用AirbyteLoader，需要先安装langchain-airbyte集成包：

% pip install -qU langchain-airbyte

注意：

airbyte库目前不支持Pydantic v2，请降级到Pydantic v1。
该包需要Python 3.10或更高版本。

加载文档

AirbyteLoader默认从流中加载任何结构化数据，并输出为YAML格式的文档。

from langchain_airbyte import AirbyteLoader

loader = AirbyteLoader(
    source="source-faker",
    stream="users",
    config={"count": 10},
)
docs = loader.load()
print(docs[0].page_content[:500])

自定义文档格式

你还可以指定自定义提示模板来格式化文档：

from langchain_core.prompts import PromptTemplate

loader_templated = AirbyteLoader(
    source="source-faker",
    stream="users",
    config={"count": 10},
    template=PromptTemplate.from_template(
        "My name is {name} and I am {height} meters tall."
    ),
)
docs_templated = loader_templated.load()
print(docs_templated[0].page_content)

懒加载文档

对于大数据集，使用lazy_load()方法可以实现更高效的内存管理。

import time

loader = AirbyteLoader(
    source="source-faker",
    stream="users",
    config={"count": 3},
    template=PromptTemplate.from_template(
        "My name is {name} and I am {height} meters tall."
    ),
)

start_time = time.time()
my_iterator = loader.lazy_load()
print(f"Just calling lazy load is quick! This took {time.time() - start_time:.4f} seconds")

for doc in my_iterator:
    print(doc.page_content)

异步懒加载

AirbyteLoader还支持异步懒加载：

loader = AirbyteLoader(
    source="source-faker",
    stream="users",
    config={"count": 3},
    template=PromptTemplate.from_template(
        "My name is {name} and I am {height} meters tall."
    ),
)

my_async_iterator = loader.alazy_load()

async for doc in my_async_iterator:
    print(doc.page_content)