airflow 配置 CeleryExecutor

阅读本文大概需要 3 分钟

celery 是分布式任务队列，与调度工具 airflow 强强联合，可实现复杂的分布式任务调度，这就是 CeleryExecutor，有了 CeleryExecutor，你可以调度本地或远程机器上的作业，实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor。

操作步骤

CeleryExecutor 需要 Python 环境安装有 celery。

第一步： 安装celery

pip install celery

Celery 需要一个发送和接受消息的传输者 broker。RabbitMQ 和 Redis 官方推荐的生产环境级别的 broker，这里我们选用 Redis，只是因为安装起来非常方便，而 RabbitMQ 的安装需要 再安装 erlang 。

　第二步：安装 redis

先从 https://redis.io/download 下载稳定版本，目前是 redis-4.0.11.tar.gz。

tar -zxvf redis-4.0.11.tar.gz
cd redis-4.0.11
make      #编译
make test  #验证
cp redis.conf src/  #将配置文件复制以可执行文件同一目录
cd src
./redis-server redis.conf #按默认方式启动 redis-server ，仅监听 127.0.0.1 ，若监听其他 ip 修改为 bind 0.0.0.0

运行后的输出如下所示：

7359:C 16 Aug 21:19:26.539 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
7359:C 16 Aug