Airflow详细搭建过程(亲测+总结)
官网:Apache airflow
Airflow是社区创建的一个平台,用于以编程方式编写,安排和监视工作流。
半个月前搭了一次,现在做一个记录,不逼逼,开始搭建了,全程多图:
环境准备
系统: cent os 7
conda版本: 4.8.2
airflow版本 1.10.11
开始搭建
我这边会用一个conda创建一个apache airflow的环境:
conda create -n airflow_env python=3.7
切换到当前的这个环境:
conda activate airflow_env
搭建airflow
搭建airflow的话,官网有一套详细的文档Airflow 搭建
接下来就按照这个方式来
# airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow
# install from pypi using pip
pip install apache-airflow
# initialize the database
airflow initdb
# start the w

本文详述了在Cent OS 7环境下,使用conda搭建Airflow 1.10.11的过程,包括环境准备、元数据存储切换到MySQL、配置Airflow以解决时间差和单线程问题。通过修改源码和配置文件,成功解决了Airflow的三大问题,实现了多线程调度和正确的时间显示。
最低0.47元/天 解锁文章
1775

被折叠的 条评论
为什么被折叠?



