大数据调度平台 Airflow（二）：Airflow 架构及原理

Airflow 架构及原理

一、Airflow 架构

Airflow 我们可以构建 Workflow 工作流，工作流使用 DAG 有向无环图来表示，DAG 指定了任务之间的关系，如下图：

Airflow 架构图如下：

Airflow 在运行时有很多守护进程，这些进程提供了 airflow 全部功能，守护进程包括如下：

• webserver：

WebServer 服务器可以接收 HTTP 请求，用于提供用户界面的操作窗口，主要负责中止、恢复、触发任务；监控任务；断点续跑任务；查询任务状态、详细日志等。

• Scheduler:

调度器，负责周期性调度处理工作流，并将工作流中的任务提交给 Executor 执行。

• Executor:

执行器，负责运行 task 任务，在默认本地模式下（单机 airflow）会运行在调度器 Scheduler 中并负责所有任务的处理。但是在 airflow 集群模式下的执行器 Executor 有很多类型，负责将任务 task 实例推送给 Workers 节点执行。

在 Airflow 中执行器有很多种选择，最关键的