Nick

MacOS 安装 Airflow 1.10.7一、下载 Airflow 1.10.7 源码二、解压三、安装 cython 以及 freetds安装依赖一、下载 Airflow 1.10.7 源码GitHub 仓库 https://github.com/apache/airflow1.10.7 源码 https://github.com/apache/airflow/archive/1.10.7.zippython 版本 3.7二、解压三、安装 cython 以及 freetdscython

Airflow 简介及原理Airflow 一个用于编排复杂计算工作流和数据处理流水线的开源工具，通常可以解决一些复杂超长 Cron 脚本任务或者大数据的批量处理任务。其工作流的设计是基于有向无环图 (Directed Acyclical Graphs, DAG) ，用于设置任务依赖关系和时间调度。简单来说，在编写工作流时，尽量考虑如何将一个大型的任务拆分为多个可独立执行的原子任务，再将这些任...