Airflow+celery集群部署、踩坑_airflow celery-优快云博客

本文链接：https://blog.youkuaiyun.com/wapecheng/article/details/121775482

本文详细介绍了在CentOS环境下，如何进行Airflow与Celery的集群部署，包括Python环境配置、虚拟环境创建、相关软件包安装、数据库配置、启动流程以及遇到的常见问题和解决方案。重点在于配置远程数据库、Celery的设置以及启动守护进程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.初始环境准备

主机	webserver	scheduler	worker	flower
airflow08	✅	✅	✅	✅
airflow09	❌	❌	✅	❌
airflow10	❌	❌	✅	❌

1.1 python3安装

首先通过yum安装一些编译时所需的依赖包：

yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
yum install libffi-devel -y

下载

[root@airflow10 ~]# cd ~
[root@airflow10 ~]# wget https://www.python.org/ftp/python/3.8.3/Python-3.8.3.tgz
[root@airflow10 ~]# tar -zxvf Python-3.8.3.tgz

进入解压后的目录，按照以下步骤完成编译安装：

[root@airflow10 ~]# cd Python-3.8.3
[root@airflow10 ~]# ./configure --prefix=/usr/local/python3
[root@airflow10 ~]# make && make install

安装完成后，需要配置一下系统环境变量，以便使用Python的命令：

[root@airflow10 ~]# vim /etc/profile
PYTHON_HOME=/usr/local/python3
export PATH=$PATH:$PYTHON_HOME/bin
[root@airflow10 ~]# source /etc/profile

清理一下现在的python3软连接以及pip3软连接（可略过）

rm /usr/bin/python3
ln -s /usr/local/python/bin/python3.8 /usr/bin/python3
rm /usr/bin/pip3
ln -s /usr/local/python/bin/pip3 /usr/bin/pip3

最后验证版本：

[root@airflow10 bin]# pip3 --version
pip 19.2.3 from /usr/local/python3/lib/python3.8/site-packages/pip (python 3.8)
[root@airflow10 bin]# python3
Python 3.8.3 (default, Dec  6 2021, 11:30:12) 
[GCC 7.3.1 20180303 (Red Hat 7.3.1-5)] on linux
Type "help", "copyrig