Airflow 配置celery+rabbitmq和celery+redis

最新推荐文章于 2025-04-16 10:02:54 发布

努力的凹凸曼

最新推荐文章于 2025-04-16 10:02:54 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Airflow 文章标签： Airflow

本文链接：https://blog.youkuaiyun.com/py_123456/article/details/101061301

Airflow 配置celery+rabbitmq

1、安装celery和rabbitmq组件

pip3 install apache-airflow[celery]

pip3 install apache-airflow[rabbitmq]

2、系统安装rabbit

1）安装 erlang

yum install -y erlang

如果报错如下：

[**** ]# yum install erlang
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
No package erlang available.
Error: Nothing to do

则需要安装第三方软件库 epel：

# 下载
wget https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
# 安装完成即可
rpm -ivh epel-release-latest-7.noarch.rpm

再次执行则可以成功安装erlang了！

2）安装 rabbitmq

wget http://www.rabbitmq.com/releases/rabbitmq-serve

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

努力的凹凸曼

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Celery和AirFlow和状态管理-任务管理任务调度-TaskFlow-工作流-ETL-数据分析

远方雪的专栏

11-29

1145

在处理多轮数据处理任务时，监控每个节点的数据状态至关重要。以下是几种常见的方法和最佳实践，帮助你有效地判断和管理数据处理的状态。

Airflow2.0+celery+redis任务调度部署及使用

weixin_45450027的博客

04-10

5047

Airflow任务调度（本文档内容有同事贡献部分，该部分标记为蓝色，对同事表示感谢）环境版本：airflow 2.0.0；python 3.6 部署方式：集群部署，运行在anaconda3的虚拟环境 (airflow) * 节点7 [webserver、schuduler、worker] * 节点8 [worker] * 节点9 [worker、schuduler] 官网文档（最新）：http://airflow.apache.org/docs/apache-airf..

参与评论您还未登录，请先登录后发表或查看评论

Airflow 2.2.3 + MySQL 8.0.27 + Redis 6.2 部署Airflow任务调度平台

Marionxue

01-05

2882

上文简单的了解了airflow的概念与使用场景，今天就通过Docker安装一下Airflow,在使用中在深入的了解一下airflow有哪些具体的功能。 Airflow容器化部署阿里云的宿主机环境：操作系统: Ubuntu 20.04.3 LTS 内核版本: Linux 5.4.0-91-generic 安装docker 安装Docker可参考官方文档,纯净系统，就没必要卸载旧版本了，因为是云上平台，为防止配置搞坏环境，你可以先提前进行快照。 # 更新repo sudo apt-get updat

AirFlow 安装配置

古强俊的博客

12-27

1221

文章目录airflow 安装配置airflow 相关软件安装python 3.6.5 安装pip3 安装MySQL 5.7.28 安装redis 安装RabbitMQ 安装airflow 单节点部署架构图步骤airflow 多节点（集群）部署架构图多节点好处扩展 worker 节点水平扩展垂直扩展扩展 Master 节点（高可用）队列服务及元数据库(Metestore)的高可用。airflow 集...

centos7 安装airflow及配置celery+RabbitMQ和celery+redis

qq_39841823的博客

03-10

1594

趁我未失忆之前，记录过去曾经的自己文章目录前言一、airflow完整安装流程1.airflow 前置安装1.进行pip的更新，否则很多安装会报错airflow 基础安装2.安装开发库3.安装mysql4.初始化配置mysql5.環境變量設置2.airflow 與airflow mysql安装1.安装airflow2.初始化airflow并启动3.安装airflow-mysql4.创建testairflow用户,创建airflow数据库并给出所有权限给testairflow用户5.修改airflow配置文

celery最佳实践

weixin_33701294的博客

06-25

498

作为一个Celery使用重度用户，看到Celery Best Practices这篇文章，不由得菊花一紧。干脆翻译出来，同时也会加入我们项目中celery的实战经验。至于Celery为何物，看这里Celery。通常在使用Django的时候，你可能需要执行一些长时间的后台任务，没准你可能需要使用一些能排序的任务队列，那么Celery将会是一个非常好的选择。当把Celery作为一个任务队列用于很多...

python celery 和 rabbitmq结合

最新发布

计算机辅助工程

04-16

661

在使用Python的Celery与RabbitMQ结合时，你可以创建一个基于消息队列的任务队列系统，这对于处理异步任务和分散计算负载非常有用。pip install celery[redis] # Celery 需要 redis 作为消息代理，尽管你也可以用其他如 RabbitMQpip install pika # RabbitMQ 的 Python 客户端对于RabbitMQ，你通常需要安装RabbitMQ服务器并运行它。你可以从 RabbitMQ的官方网站下载并安装。

Ubuntu上搭建airflow+celery以及配置环境

最熟悉的陌生人

04-16

2425

文章目录1、框架2、搭建过程2.1 基础工作-新建airflow用户和目录2.2 下载并安装anaconda：miniconda2.3 新建airflow的python环境2.4 初始化airflow2.5 修改配置文件2.6 初始化后端数据库2.7 为访问airflow web时添加用户3、启动服务 1、框架服务器环境介绍： Ubuntu 16.04.5 LTS 配置：8核 16G 框架介...

【Airflow】CeleryExecutor+RabbitMQ+HAProxy做好分布式后，启动调度出现的问题

maixiaochai的博客

12-29

1049

如题，笔者按照上百篇（有点夸张，50多篇吧）文章，终于在踩过了无数坑后，搭建出了三worker节点的、CeleryExecutor+RabbitMQ+HAProxy的分布式Airflow集群（鬼知道我经历了什么）。然后，就在我准备举杯庆祝的时候—— 启动worker成功，启动webserver成功，启动scheduler后，总是报类似如下错误， Traceback (most recen...

Django+celery+rabbitmq配置文档

01-12

Django+celery+rabbitmq配置文档

Airflow+celery集群部署、踩坑

Im ok的博客哦

12-07

5503

Airflow安装部署

celery+rabbitMQ进行异步调用操作

DHogan的博客

08-23

3195

环境说明： Celery 3.1.23 RabbitMQ 3.6.2 在Django中使用Celery

Airflow&redis&celery分布式计算

ooyyaa6561的博客

05-19

883

前面几篇文档已经装好airflow，配好rest API 现在需要做单步骤可调用，所以必须使用Celery Executor，否则不能单步执行 1、安装redis 参考Centos7下安装redis Redis网址下载文件 tar -zxvf redis-4.0.11.tar.gz cd redis-4.0.11 make #编译 cp redis.conf src/ #将配置文件复制以可执行文件同一目录 cd src ./redis-server redis.conf 为了让其后台执行，

Airflow 2.2.3 容器化安装

Marionxue

01-04

812

上文简单的了解了airflow的概念与使用场景，今天就通过Docker安装一下Airflow,在使用中在深入的了解一下airflow有哪些具体的功能。1Airflow容器化部署阿里云的宿主...

Airflow 使用 Celery 时，如何添加 Celery 配置

无用郎中的博客

01-07

622

背景前段时间我选用了Airflow对wms进行数据归档，在运行一段时间后，经常发现会报以下错误： [2020-01-07 14:41:34,465: WARNING/ForkPoolWorker-5] Failed operation _store_result. Retrying 2 more times. Traceback (most recent call last...

Airflow2.2.3 + Celery + MYSQL 8构建一个健壮的分布式调度集群

Marionxue

01-05

3297

airflow 配置 CeleryExecutor

somezz的专栏

08-16

4963

阅读本文大概需要 3 分钟 celery 是分布式任务队列，与调度工具 airflow 强强联合，可实现复杂的分布式任务调度，这就是 CeleryExecutor，有了 CeleryExecutor，你可以调度本地或远程机器上的作业，实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor。操作步骤 CeleryExecutor 需要 Python...

redis、rabbitmq和celery部署——量化数据中台系列（三）

zhanggao2014的博客

06-20

630

redis主要是为了作为celery的backend使用；rabbitmq主要是为了作为celery的消息中间件使用；

Celery类似的消息队列还有什么

03-17

它支持多种消息中间件（如 RabbitMQ 和 Redis），并提供了更简单的 API 设计[^7]。 ```python import dramatiq from dramatiq.brokers.rabbitmq import RabbitmqBroker broker = RabbitmqBroker(url="amqp://guest...