airflow安装

最新推荐文章于 2025-06-07 00:51:27 发布

原创最新推荐文章于 2025-06-07 00:51:27 发布 · 4.2k 阅读

CC 4.0 BY-SA版权

本文记录了在Mac和Linux环境下安装Airflow的过程，包括设置环境变量、使用pip安装、初始化数据库和启动webserver。在Linux服务器上遇到权限问题，导致初始化目录错误。通过对Airflow配置文件的排查，发现环境变量未被正确读取，通过修改配置文件解决了问题，成功在指定路径启动Airflow服务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这个是官方的安装教程：https://pythonhosted.org/airflow/installation.html

我也是按照这个流程进行安装：

1、export $AIRFLOW_HOME=指定路径/airflow //设置环境变量

2、sudo pip install airflow //下载了一系列依赖的python包放在了python的site-packages下

3、sudo airflow initdb //这条命令会创建airflow文件夹，默认会放在~/airflow，也可指定路径，如步骤1

4、airflow webserver -p 8080//启动服务

通过http://0.0.0.0:8080就可以查看airflow的web了

我在本地（mac）的安装很顺利，在服务器（linux）安装遇到了一系列问题
以下是我在服务器安装过程中遇到的问题

执行airflow webserver -p 8080的时候报了这个错

Traceback (most recent call last):

File "/usr/local/bin/airflow", line 15, in <module>

args.func(args)

File "/usr/local/lib/python2.7/site-packages/airflow/bin/cli.py", line 385, in webserver

'airflow.www.app:cached_app()'])

File "/usr/local/lib/python2.7/subprocess.py", line 710, in __init__

errread, errwrite)

File "/usr/local/lib/python2.7/subprocess.py", line 1335, in _execute_child

raise child_exception

OSError: [Errno 2] No such file or directory

我在服务器上并没有root权限，但是可以使用sudo命令
我发现在执行sudo airflow initdb这条命令的时候，airflow文件夹并没有创建在我指定的路径下，而是放在了/root下，虽然我在/etc/profile设置了export $AIRFLOW_HOME=/data/software/airflow，因为权限问题我无法查看/root/airflow文件夹，所以无法建立dags，启动失败估计也是权限的原因gg了

通过查看python/site-packages/airflow/configuration.py文件

从源码可以看到应该是先找环境变量，找不到的时候使用默认路径，虽然我设置了环境变量，在echo $AIRFLOW_HOME的时候也确实是：/指定路径/airflow，但是将configuration.py中的AIRFLOW_HOME打印出来却是：/root/airflow
这里有两个疑点，到底为什么我也还没搞清楚，有待进一步追查

1、是为什么os.environ没有找到AIRFLOW_HOME

2、是为什么使用默认路径~/airflow时，该文件夹被建在了root目录下，我不是我的用户目录，我直接使用airflow initdb的时候又会提示had trouble creating a directory

最终我的解决方式很暴力
我将上图中AIRFLOW_HOME=expand_env_var('~/airflow')改成了AIRFLOW_HOME=expand_env_var('指定路径/airflow')

在执行sudo airflow initdb，终于在我指定目录下成功生成airflow文件夹，最后启动服务也不再报错了