Airflow 中文文档教程

最新推荐文章于 2025-04-01 11:02:27 发布

原创最新推荐文章于 2025-04-01 11:02:27 发布 · 1.1k 阅读

12 ·

CC 4.0 BY-SA版权

Airflow 中文文档教程

项目地址:https://gitcode.com/gh_mirrors/ai/airflow-doc-zh

1. 项目介绍

Apache Airflow 是一个开源的工作流管理平台，用于编排和调度复杂的数据工程任务。它允许用户通过 Python 脚本定义工作流，并使用 DAG（有向无环图）来表示任务之间的依赖关系。Airflow 提供了丰富的功能，如任务调度、监控、日志记录和错误处理，使其成为数据工程师和数据科学家的理想工具。

2. 项目快速启动

安装 Airflow

首先，确保你已经安装了 Python 和 pip。然后，使用以下命令安装 Airflow：

pip install apache-airflow

初始化数据库

安装完成后，初始化 Airflow 的数据库：

airflow db init

启动 Web 服务器

启动 Airflow 的 Web 服务器：

airflow webserver --port 8080

启动调度器

在另一个终端窗口中，启动 Airflow 的调度器：

airflow scheduler

创建并运行一个简单的 DAG

在 airflow/dags 目录下创建一个新的 Python 文件 example_dag.py，内容如下：

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2023, 1, 1),
}

dag = DAG(
    'example_dag',
    default_args=default_args,
    description='A simple tutorial DAG',
    schedule_interval='@daily',
)

t1 = BashOperator(
    task_id='print_date',
    bash_command='date',
    dag=dag,
)

t2 = BashOperator(
    task_id='sleep',
    bash_command='sleep 5',
    dag=dag,
)

t1 >> t2

保存文件后，访问 http://localhost:8080，在 Airflow 的 Web 界面中启用并运行这个 DAG。