Airflow 调度框架安装经验分享单节点

最新推荐文章于 2025-08-28 21:35:28 发布

原创

最新推荐文章于 2025-08-28 21:35:28 发布 · 4.7k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#Airflow

本文详细介绍Airflow的安装步骤，包括依赖包安装、环境变量配置、数据库设置、时区调整及常见问题解决，帮助读者顺利搭建Airflow调度平台。

crontab定时任务不利于平时的监控,决定使用一种新的调度框架

1.安装依赖

# 避免连接密码以明文形式存储
pip3 install cryptography
pip3 install paramiko

#  AttributeError: module 'enum' has no attribute 'IntFlag'
pip3 uninstall enum34

pip3 install celery
pip3 install redis
pip3 install dask
yum install mysql-devel
pip3 install mysqlclient
pip3 install apache-airflow
# 避免产生大量日志
cd /usr/local/lib/python3.7/site-packages/airflow
vim settings.py
# LOGGING_LEVEL = logging.INFO
LOGGING_LEVEL = logging.WARN

2.配置环境变量

# vim /etc/profile
# 指定airflow工作目录,airflow的工作目录默认在当前用户目录下
export AIRFLOW_HOME=/usr/local/airflow
 
# source /etc/profile

3.第一次初始化airflow

airflow initdb

# 查看其生成文件
cd /usr/local/airflow
ls
airflow.cfg  airflow.db  logs  unittests.cfg

4.配置MySQL数据库（创建airflow数据库，并赋予 airflow用户访问该数据库的权限）

CREATE DATABASE airflow;

# 注意这里如果密码不是设置为airflow,需要修改airflow.cfg里面的broker_url,result_backend
grant all PRIVILEGES on airflow.* to airflow@'localhost' identified by 'airflow_123'