celery使用 Zookeeper 或 kafka 作为broker，使用 mysql 作为 backend

原创 已于 2024-06-17 17:37:28 修改 · 1.9k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #zookeeper #celery

于 2024-06-17 16:40:03 首次发布
背景介绍：

先贴上celery官方文档：Celery - Distributed Task Queue — Celery 5.4.0 documentation

xxx项目中单点环境运行celery + redis，使用流畅，不做过多介绍。

切换高可用环境时，客户redis使用的是cluster集群，官方文档中并没有对redis cluster的支持，查看github，看介绍，作者也是暂时没有对cluster支持做出计划来，故celery放弃redis cluster作为broker的方案。仅支持单点redis和redis sentinel

解决思路：

客户要求不能引入其他组件，按照celery文档介绍，也放弃了RabbitMQ。准备放弃celery的时候，发现其他平台有使用kafka作为消息队列，而celery文档也指出正在对Zookeeper的支持进行实验，故采取折中措施，使用Zookeeper作为broker，使用mysql作为backend存储。

Zookeeper实现方案：

参考celery issues#734(

最低0.47元/天 解锁文章
23、创建协程、事件和消息驱动事务
web39explorer的博客
07-19 40
本文详细介绍了如何使用 Celery、RabbitMQ 和 Kafka 等技术实现异步任务处理、消息传递和实时通信功能。内容涵盖 Celery 任务的创建与配置、任务调用与监控，以及 RabbitMQ 和 Kafka 作为消息代理的应用场景与配置方法。此外，还探讨了基于 FastAPI 的 SSE 和 WebSocket 实现，帮助开发者构建高效、稳定的异步系统。
23、创建协程、事件和消息驱动事务的全面指南
ol789012的博客
07-19 42
本文详细介绍了如何使用 Celery、RabbitMQ 和 Kafka 创建协程、事件和消息驱动的事务。涵盖了从 Celery 实例的创建与配置、任务定义与调用，到 RabbitMQ 和 Kafka 的消息处理机制，以及异步事件推送（如 SSE 和 WebSocket）的实现。同时，还讨论了错误处理、序列化安全、性能优化和实际应用案例，帮助开发者构建高性能、可扩展的现代应用架构。
【celery踩坑】celery因为版本不同，导致broker报错
会一点前端、会一点Java、会一点Python
02-06 1075
到容器中，直接打印celery的配置，broker_url是正确的，但是依然是会报这个错。
【kafka】celery与kafka的联用问题
weixin_34050427的博客
09-14 1649
背景：一个小应用，用celery下发任务，任务内容为kafka生产一些数据。 问题：使用confluent_kafka模块时，单独启用kafka可以正常生产消息，但是套上celery后，kafka就无法将新消息生产到topic队列中了。 解决：换了个pykafka模块，结果问题就没有了。   我很疑惑啊，是我调用confluent_kafka的方法不对吗，怎么套上celery就不行了呢？   可以...
redis-py与Celery集成：分布式任务队列的缓存方案
最新发布
gitblog_00738的博客
09-25 719
在分布式系统中，任务队列和缓存是提升性能的两大核心组件。Celery作为Python生态中最流行的分布式任务队列，常面临任务结果存储、状态跟踪和资源竞争等挑战。而Redis（通过redis-py客户端）不仅能作为Celery的消息代理，更能通过巧妙的缓存设计优化任务处理流程。本文将详细介绍如何通过redis-py实现Celery任务队列的多层缓存策略，解决分布式环境下的性能瓶颈。 ## 集成架构...
celery backend mysql_Celery 部署小记
weixin_32102617的博客
01-26 1286
Celery 部署小记参考版本： 4.0.2概念以下摘自官方文档的翻译：Celery - 分布式任务队列Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必需工具它是一个专注于实时处理的任务队列，同时也支持任务调度Celery是Python的一个“开箱即用”的任务队列模块，易用且提供与多语言对接的集成方案角色列表：task(任务)broker(中间人)wo...
celery backend mysql_利用celery+django 在admin后台设置定时任务
weixin_42525211的博客
02-15 509
经常用python开发web应用时，会涉及到定时任务的脚本，以前用linux自带的crontab来操作，但是感觉不太接地气，后来发现用celery+django 可以方便的实现！安装软件环境如下：python 2.7.5Django==1.8.2celery==3.1.18celery-with-redis==3.0django-celery==3.1.16MySQL-python==1.2.3s...
celery backend mysql_celery学习笔记
weixin_28883533的博客
01-26 560
celery使用在django下，官方4.2文档 http://docs.celeryproject.org/en/latest/django/index.html， github文档：https://github.com/celery/celery/tree/master/examples/django/首先生成celery的appfrom __future__ import absolut...
基于kafka，zookeeper实现的日志收集平台搭建
qq_57472200的博客
08-14 2017
l项目描述：分别使用3台Linux服务器来作为nginx集群搭建前端web服务，kafka集群和zookeeper集群,2台Linux机器做反向代理集群。
【Celery与消息代理交互】：深入理解Kafka与Celery集成
：深入理解Kafka与Celery集成](https://opengraph.githubassets.com/ead49b3bbbbadf7716bab5744f4d03ff8860f4fd4cada934a0bd1f132bc39939/python-dontrepeatyourself/django-celery-result-backend) # 1. Celery与...
celery backend mysql_celery最佳实践
weixin_35250656的博客
01-25 1182
celery是简单的处理大量消息的分布式系统。可以用celery异步处理各种任务，并且支持水平地扩展处理能力。在运用celery的过程中，注意一些点，可以让我们更好的利用celery完成任务。1.用好celery beat如果你想更好的管理项目的定时任务，可以用celery beat代替crontab管理。celery不仅支持动态的异步任务(通过delay调用)，也支持定时任务执行。当然我们可以用...
celery backend mysql_使用celery的backend异步获取结果
weixin_35734209的博客
01-19 886
惯例先贴出相关参考的文档：http://docs.celeryproject.org/en/stable/getting-started/next-steps.htmlhttp://docs.celeryproject.org/en/stable/userguide/tasks.html#task-result-backends这篇紧接上篇。其实我们一般对这种异步任务需求是可能需要回调的。比如说我...
celery broker mysql,Celery: 实现集群消费和广播消费
weixin_42518453的博客
03-18 265
Celery: 实现集群消费和广播消费Celery: 实现集群消费和广播消费集群消费集群消费类似于负载均衡，生产产生的消息只会被一个worker消费一次代码workerfrom kombu import Queuefrom kombu import Exchangefrom kombu.common import Broadcastimport loggingfrom celery import ...
celery rabbitmq 配置 broker和backend
计算机辅助工程
04-16 870
在使用Celery和RabbitMQ作为消息代理和结果后端时，你需要正确配置Celery以便它们可以有效地通信。示例配置文件 (celery.py)
celery broker mysql_Celery基础使用学习笔记
weixin_29539581的博客
02-04 978
Celery学习笔记以下所有代码内容，来自bilibili——课程Flask-Celery分为四节：第一个视频简单介绍了一下如何使用celery。通过使用celery task绑定需要执行的functing(即你需要执行的函数)进行字符串的反向输出。从cmd里面得到输出的结果，这里没有使用到存储将结果存储起来，所以只能看到输出结果。——来自 多情的二狗子 的评论Linux 中启动rabbitmq以...
celery backend mysql_完美起航-Airflow2.0.0+Celery集群搭建
weixin_35899324的博客
02-15 829
1、说明依赖python环境、基于pip安装apache-airflow安装过程可能会缺少系统依赖报错如gcc、mysql-devel 之类, 缺什么就 yum install 什么即可2、airflow + celery架构 3、集群规划服务器hadoop100服务器hadoop101服务器hadoop102web serverVschedulerVworkerVVV注意编写DAG文件需要保证在...
celery broker 迁移 (Redis 迁移至 RabbitMq)
猴子饲养员的博客
11-06 999
背景 项目中一直使用 Redis 作为 celery 的 broker，会出现偶发的任务重复执行的情况，再加上一直没有队列的监控工具，任务没有持久化，存在一定的风险。故开启了 broker 由 Redis 迁移至 RabbitMq 的路程。 如何无缝迁移 ？ 由于不能停服迁移，最大的问题就变成了如何保证原有 Redis 中的任务都能正常执行完成，且新的任务在 rabbitmq 中正常运转。 话说 ...
Celery和borker
Passerby_one的博客
11-09 495
Celery Celery是一个异步任务的调度工具 Celery 是 Distributed Task Queue，分布式任务队列，分布式决定了可以有多个 worker 的存在，队列表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被分配工作的码农。 在 Python 中定义 Celery 的时候，我们要引入Broker，中文翻译过来就是“中间人”的意思，在这里 Broker 起到一个中间人的角色。在工头提出任务的时候，把所有的任务放到 Broker 里面，在 Broker 的另外一头，一群码农
基于kafka、celery的日志收集报警项目
2303_78135757的博客
02-13 2143
这个项目搭建了一个基于 Nginx 和 Flask 的 Web 集群，使用 Filebeat 将 Nginx 的访问日志发送到 Kafka 集群。通过 Python 消费者程序解析日志并存储到 MySQL 数据库中，最后使用 Celery 监控数据库中的流量数据，当流量超过阈值时发送邮件告警。
celery如何配置redis cluster作为broker和backend?
08-29
提供的引用中未提及celery配置redis cluster作为broker和backend的方法。不过一般而言，要在Celery中配置Redis Cluster作为broker和backend，以下是基本步骤和示例代码： ### 安装依赖 确保已经安装了Celery和Redis相关的Python库，若未安装，可以使用以下命令： ```bash pip install celery redis ``` ### 配置Celery 在Python代码中配置Celery使用Redis Cluster作为broker和backend，示例代码如下： ```python from celery import Celery # 定义Redis Cluster节点 redis_cluster_nodes = [ {'host': '127.0.0.1', 'port': 7000}, {'host': '127.0.0.1', 'port': 7001}, {'host': '127.0.0.1', 'port': 7002}, ] # 创建Celery实例 app = Celery('tasks', broker=f'redis://{redis_cluster_nodes[0]["host"]}:{redis_cluster_nodes[0]["port"]}/0', backend=f'redis://{redis_cluster_nodes[0]["host"]}:{redis_cluster_nodes[0]["port"]}/1') @app.task def add(x, y): return x + y ``` ### 启动Celery Worker 使用以下命令启动Celery worker： ```bash celery -A your_module_name worker --loglevel=info ``` 其中`your_module_name`是包含上述配置代码的Python模块名。 ### 运行任务 在另一个Python脚本中调用任务： ```python from your_module_name import add result = add.delay(4, 4) print(result.get()) ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉宸尘⁴⁰⁴

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值