如何使用 Airbyte 为数据仓库加载 Gong 数据-优快云博客

在数据集成的道路上，Airbyte 可谓是一位强大的助手，尤其是在处理 ELT 管道时。今天，我们将深入探讨如何使用 Airbyte 将 Gong 数据加载到数据仓库中，帮助大家更高效地处理数据。这波操作可以说是相当丝滑。

技术背景介绍

Airbyte 是一个开源的数据集成平台，支持将 API、数据库和文件的数据提取并加载到数据仓库和数据湖中。它凭借最大的 ELT 连接器目录在业界享有声誉。虽然 Airbyte 提供了多种连接器，但今天我们聚焦于使用 Gong 连接器。

原理深度解析

说白了，使用 Airbyte Gong 连接器，我们能够将 Gong 平台上的数据作为文档加载到仓库中。默认情况下，这些数据被作为元数据存储，文档的文本部分为空。您需要通过变换读入的文档来构建文档的文本部分。

实战代码演示

老铁们，直接上代码。首先，安装 airbyte-source-gong Python 包：

%pip install --upgrade --quiet airbyte-source-gong

接下来，构建配置对象，这个 JSON 对象用于 Gong API 的认证：

{
  "access_key": "<access key name>",
  "access_key_secret": "<access key secret>",
  "start_date": "<date from which to start retrieving records from in ISO format, e.g. 2020-10-20T00:00:00Z>"
}

然后，使用 AirbyteGongLoader 加载数据：

from langchain_community.document_loaders.airbyte import AirbyteGongLoader

config = {
    # 你的 Gong 配置参数
}

loader = AirbyteGongLoader(
    config=config, stream_name="calls"
)

# 加载文档
docs = loader.load()

# 或者使用懒加载
docs_iterator = loader.lazy_load()

如果你需要定制化处理记录，可以继承基本加载器并实现 _handle_records 方法：

from langchain_core.documents import Document

def handle_record(record, id):
    return Document(page_content=record.data["title"], metadata=record.data)

loader = AirbyteGongLoader(
    config=config, record_handler=handle_record, stream_name="calls"
)
docs = loader.load()

优化建议分享

对于那些数据量庞大且频繁更新的源，可以使用增量加载功能，只获取新记录。这样可以更高效地处理数据流：

last_state = loader.last_state  # 安全存储

incremental_loader = AirbyteGongLoader(
    config=config, stream_name="calls", state=last_state
)

new_docs = incremental_loader.load()