airflow安装

本文记录了在Mac和Linux环境下安装Airflow的过程,包括设置环境变量、使用pip安装、初始化数据库和启动webserver。在Linux服务器上遇到权限问题,导致初始化目录错误。通过对Airflow配置文件的排查,发现环境变量未被正确读取,通过修改配置文件解决了问题,成功在指定路径启动Airflow服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这个是官方的安装教程:https://pythonhosted.org/airflow/installation.html


我也是按照这个流程进行安装:

1、export $AIRFLOW_HOME=指定路径/airflow //设置环境变量

2、sudo pip install airflow //下载了一系列依赖的python包放在了python的site-packages下

3、sudo airflow initdb //这条命令会创建airflow文件夹,默认会放在~/airflow,也可指定路径,如步骤1

4、airflow webserver -p 8080//启动服务

通过http://0.0.0.0:8080就可以查看airflow的web了

我在本地(mac)的安装很顺利,在服务器(linux)安装遇到了一系列问题
以下是我在服务器安装过程中遇到的问题

执行airflow webserver -p 8080的时候报了这个错

Traceback (most recent call last):

  File "/usr/local/bin/airflow", line 15, in <module>

    args.func(args)

  File "/usr/local/lib/python2.7/site-packages/airflow/bin/cli.py", line 385, in webserver

    'airflow.www.app:cached_app()'])

  File "/usr/local/lib/python2.7/subprocess.py", line 710, in __init__

    errread, errwrite)

  File "/usr/local/lib/python2.7/subprocess.py", line 1335, in _execute_child

    raise child_exception

OSError: [Errno 2] No such file or directory


我在服务器上并没有root权限,但是可以使用sudo命令
我发现在执行sudo airflow initdb这条命令的时候,airflow文件夹并没有创建在我指定的路径下,而是放在了/root下,虽然我在/etc/profile设置了export $AIRFLOW_HOME=/data/software/airflow,因为权限问题我无法查看/root/airflow文件夹,所以无法建立dags,启动失败估计也是权限的原因gg了


通过查看python/site-packages/airflow/configuration.py文件



从源码可以看到应该是先找环境变量,找不到的时候使用默认路径,虽然我设置了环境变量,在echo $AIRFLOW_HOME的时候也确实是:/指定路径/airflow,但是将configuration.py中的AIRFLOW_HOME打印出来却是:/root/airflow
这里有两个疑点,到底为什么我也还没搞清楚,有待进一步追查

1、是为什么os.environ没有找到AIRFLOW_HOME

2、是为什么使用默认路径~/airflow时,该文件夹被建在了root目录下,我不是我的用户目录,我直接使用airflow initdb的时候又会提示had trouble creating a directory
 

最终我的解决方式很暴力
我将上图中AIRFLOW_HOME=expand_env_var('~/airflow')改成了AIRFLOW_HOME=expand_env_var('指定路径/airflow')

在执行sudo airflow initdb,终于在我指定目录下成功生成airflow文件夹,最后启动服务也不再报错了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值