Airbyte项目中使用Airflow Operator实现数据同步任务调度-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00568/article/details/148375064

Airbyte项目中使用Airflow Operator实现数据同步任务调度

airbyte Data integration platform for ELT pipelines from APIs, databases & files to warehouses & lakes. 项目地址: https://gitcode.com/gh_mirrors/ai/airbyte

前言

在现代数据工程实践中，任务调度系统与数据集成工具的结合使用已成为标准架构模式。本文将详细介绍如何在Airbyte项目中利用Apache Airflow的Airbyte Operator来编排数据同步任务，帮助数据工程师构建更加健壮的数据管道。

技术背景

Airbyte简介

Airbyte是一个开源的ELT(Extract, Load, Transform)平台，支持从各种数据源提取数据并加载到目标数据仓库或数据库中。其特点是提供丰富的连接器生态系统和简单的配置界面。

Apache Airflow简介

Apache Airflow是一个开源的工作流自动化调度和监控平台，采用Python代码定义工作流(DAG)，具有强大的任务调度和执行能力。

为什么需要集成两者

将Airbyte与Airflow集成可以带来以下优势：

利用Airflow强大的调度能力
将数据同步任务纳入统一的工作流管理
实现更复杂的依赖关系和错误处理机制

环境准备

系统要求

Docker环境(包含docker-compose)
基本的Python开发环境

服务部署

部署Airbyte：
- 建议初次使用者先完成基础教程
- 将连接的同步频率设置为"手动"，由Airflow控制触发
部署Apache Airflow：
- 建议使用官方Docker部署方案
- 安装必要的Python包：apache-airflow-providers-airbyte

核心实现步骤

1. 配置Airflow与Airbyte的连接

在Airflow UI中创建HTTP连接，指向Airbyte API服务：

访问Airflow UI的连接管理页面
创建新连接，类型选择HTTP
配置参数：
- Host: http://localhost:8001 (默认Airbyte API地址)
- 其他参数保持默认

2. 获取Airbyte连接ID

在Airbyte UI中：

导航到目标连接页面
从浏览器地址栏获取连接ID
- 格式类似：1e3b5a72-7bfd-4808-a13c-204505490110

3. 创建基础DAG示例

创建Python文件dag_airbyte_example.py并放置在Airflow的/dags目录下：

from airflow import DAG
from airflow.utils.dates import days_ago
from airflow.providers.airbyte.operators.airbyte import AirbyteTriggerSyncOperator

with DAG(dag_id='trigger_airbyte_job_example',
         default_args={'owner': 'airflow'},
         schedule_interval='@daily',
         start_date=days_ago(1)
    ) as dag:

    money_to_json = AirbyteTriggerSyncOperator(
        task_id='airbyte_money_json_example',
        airbyte_conn_id='airbyte_conn_example',
        connection_id='1e3b5a72-7bfd-4808-a13c-204505490110',
        asynchronous=False,
        timeout=3600,
        wait_seconds=3
    )

参数详解

airbyte_conn_id: 在Airflow中配置的HTTP连接名称
connection_id: Airbyte中的连接ID
asynchronous: 同步/异步模式开关
timeout: 任务超时时间(秒)
wait_seconds: 状态检查间隔(秒)

高级用法：异步模式

对于资源受限的Airflow环境，可以使用异步模式降低负载：

from airflow import DAG
from airflow.utils.dates import days_ago
from airflow.providers.airbyte.operators.airbyte import AirbyteTriggerSyncOperator
from airflow.providers.airbyte.sensors.airbyte import AirbyteJobSensor

with DAG(dag_id='airbyte_trigger_job_example_async',
         default_args={'owner': 'airflow'},
         schedule_interval='@daily',
         start_date=days_ago(1)
    ) as dag:

    async_money_to_json = AirbyteTriggerSyncOperator(
        task_id='airbyte_async_money_json_example',
        airbyte_conn_id='airbyte_conn_example',
        connection_id='1e3b5a72-7bfd-4808-a13c-204505490110',
        asynchronous=True,
    )

    airbyte_sensor = AirbyteJobSensor(
        task_id='airbyte_sensor_money_json_example',
        airbyte_conn_id='airbyte_conn_example',
        airbyte_job_id=async_money_to_json.output
    )

    async_money_to_json >> airbyte_sensor

异步模式特点：