airflow 安装,部署,填坑

本文详细介绍了如何在Ubuntu 16.04上安装和部署Airflow,包括在线使用pip安装1.8或1.9版本,解决可能出现的依赖问题,以及离线安装的方法。此外,还涵盖了设置$AIRFLOW_HOME环境变量,初始化数据库,以及配置MySQL+LocalExecutor的生产环境部署。最后,提到了后续将分享CeleryExecutor+redis的配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

阅读本文大约需要 8 分钟。

上一篇文章已经介绍过 airflow ,相信需要的人早已上网搜索相关资料,已经开始动手干了,没错,就是干,喜欢一件事件,请立即付诸行动,不要拖,时间一长,就凉了。

Python 的包管理工具 pip 是一个非常优秀的工具,Python 相关的库都可以使用 pip 安装,airflow 也不例外。废话不多说,直接上操作步骤。

截止目前 2018年8月14日 ,airflow 最新稳定版本为1.8 ,apache-airflow 的最新稳定版本为1.9,其实都是 airflow,使用起来是一样的,只是版本本区别而已,官方指导的安装也是 apache-airflow。
airflow 1.8 使用本地时区。
airflow 1.9 使用 UTC 时区。(后面会介绍如何修改)
以 ubuntu 16.04为例,其他 linux 操作系统类似。

前提条件

python 环境下 执行 导入 ssl,sqlite3不报错,如下所示:
image.png

按照经验,出现 import ssl 报错的可能性大一些,如果导入 ssl 报错,则执行以下命令安装 libssl-dev,并重新安装 python 即可。

$sudo apt-get install libssl-dev
$sudo apt-get install libssl-dev
$./configure --prefix=yourpath && make test && make && make install

在线安装

联网环境下,安装软件变更非常简单,无需考虑依赖包,pip 会自动为你解决。

  1. 安装airflow 1.8
    “`python
    pip install airflow
2. 安装airflow 1.9
 ```python
pip install apache-airflow[all]

这里说明一下,也可以直接 pip install apache-airflow,后面加上 all 的话,所有关于 airflow 的包都会安装,现在谁的电脑也不缺那几十 M 的存储,建议都安装,省得想用某些功能时再次安装。
上述第 2 种安装 airflow 1.9的过程中有可能出现以下错误:

  1. mysqlclient 安装错误
Traceback (most recent call 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值