这个是官方的安装教程:https://pythonhosted.org/airflow/installation.html
我也是按照这个流程进行安装:
1、export $AIRFLOW_HOME=指定路径/airflow //设置环境变量
2、sudo pip install airflow //下载了一系列依赖的python包放在了python的site-packages下
3、sudo airflow initdb //这条命令会创建airflow文件夹,默认会放在~/airflow,也可指定路径,如步骤1
4、airflow webserver -p 8080//启动服务
通过http://0.0.0.0:8080就可以查看airflow的web了
我在本地(mac)的安装很顺利,在服务器(linux)安装遇到了一系列问题
以下是我在服务器安装过程中遇到的问题
执行airflow webserver -p 8080的时候报了这个错
Traceback (most recent call last):
File "/usr/local/bin/airflow", line 15, in <module>
args.func(args)
File "/usr/local/lib/python2.7/site-packages/airflow/bin/cli.py", line 385, in webserver
'airflow.www.app:cached_app()'])
File "/usr/local/lib/python2.7/subprocess.py", line 710, in __init__
errread, errwrite)
File "/usr/local/lib/python2.7/subprocess.py", line 1335, in _execute_child
raise child_exception
OSError: [Errno 2] No such file or directory
我在服务器上并没有root权限,但是可以使用sudo命令
我发现在执行sudo airflow initdb这条命令的时候,airflow文件夹并没有创建在我指定的路径下,而是放在了/root下,虽然我在/etc/profile设置了export $AIRFLOW_HOME=/data/software/airflow,因为权限问题我无法查看/root/airflow文件夹,所以无法建立dags,启动失败估计也是权限的原因gg了
通过查看python/site-packages/airflow/configuration.py文件
从源码可以看到应该是先找环境变量,找不到的时候使用默认路径,虽然我设置了环境变量,在echo $AIRFLOW_HOME的时候也确实是:/指定路径/airflow,但是将configuration.py中的AIRFLOW_HOME打印出来却是:/root/airflow
这里有两个疑点,到底为什么我也还没搞清楚,有待进一步追查
1、是为什么os.environ没有找到AIRFLOW_HOME
2、是为什么使用默认路径~/airflow时,该文件夹被建在了root目录下,我不是我的用户目录,我直接使用airflow initdb的时候又会提示had trouble creating a directory
最终我的解决方式很暴力
我将上图中AIRFLOW_HOME=expand_env_var('~/airflow')改成了AIRFLOW_HOME=expand_env_var('指定路径/airflow')
在执行sudo airflow initdb,终于在我指定目录下成功生成airflow文件夹,最后启动服务也不再报错了