Airflow详细搭建过程(亲测 + 总结)

本文详述了在Cent OS 7环境下,使用conda搭建Airflow 1.10.11的过程,包括环境准备、元数据存储切换到MySQL、配置Airflow以解决时间差和单线程问题。通过修改源码和配置文件,成功解决了Airflow的三大问题,实现了多线程调度和正确的时间显示。

Airflow详细搭建过程(亲测+总结)

官网:Apache airflow
Airflow是社区创建的一个平台,用于以编程方式编写,安排和监视工作流。
半个月前搭了一次,现在做一个记录,不逼逼,开始搭建了,全程多图:

环境准备

系统: cent os 7
conda版本: 4.8.2
airflow版本 1.10.11

开始搭建

我这边会用一个conda创建一个apache airflow的环境:

conda create -n airflow_env python=3.7

切换到当前的这个环境:

conda activate airflow_env

搭建airflow

搭建airflow的话,官网有一套详细的文档Airflow 搭建
接下来就按照这个方式来

# airflow needs a home, ~/airflow is the default,
# but you can lay foundation somewhere else if you prefer
# (optional)
export AIRFLOW_HOME=~/airflow

# install from pypi using pip
pip install apache-airflow

# initialize the database
airflow initdb

# start the w
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值