celery——分布式任务队列服务

最新推荐文章于 2025-06-01 20:10:24 发布

叮_叮_9527

最新推荐文章于 2025-06-01 20:10:24 发布

阅读量364

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/cwg844321258/article/details/88384312

Python 专栏收录该内容

2 篇文章

订阅专栏

Celery是一款用Python编写的分布式任务队列，适用于实时处理和任务调度。本文介绍Celery的组件，如任务调度器CeleryBeat、消息中间件Broker、任务执行单元Worker及结果储存Backend。同时，讲解Celery的工作流程，从任务模块Task到消息队列的管理与监控，以及如何使用delay()或apply_async()方法调度任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

什么是celery？

Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统
Celery 是一个用 Python 编写异步的分布式任务队列，主要用于实时处理和任务调度。不过它的消息中间件是默认选择使用 rabbitMQ ，也可以使用 redis ，它还支持其他的消息队列或者是数据库。
celery组件包括
1. Celery Beat: 任务调度器，用来调度周期任务。
2. Producer: 任务生产者，调用 Celery 产生任务。
3. Broker: 消息中间件，任务消息存进队列，再按序发送给消费者。
4. Celery Worker: 执行任务的消费者，通常可以进行在多台服务器上运行多个消费者。
5. Result Backend: 任务处理完成之后保存状态信息和结果，一般是数据库。
工作原理：

任务模块Task: 包含异步任务和定时任务。异步任务通常在业务逻辑中被触发并发往任务队列，而定时任务由 Celery Beat 进程周期性地将任务发往任务队列。
消息中间件Broker：即为任务调度队列，接收任务生产者发来的消息（即任务），将任务存入队列。Celery 本身不提供队列服务，官方推荐使用 RabbitMQ 和 Redis 等。
任务执行单元Worker ：是执行任务的处理单元，它实时监控消息队列，获取队列中调度的任务，并执行它这是实现分布式的核心。
结果储存Backend：用于存储任务的执行结果，存储也可使用 RabbitMQ, Redis 和 MongoDB 等。
celery的原理图
celery管理与监控

Celery管理和监控功能是通过flower组件实现的，flower组件不仅仅提供监控功能，还提供HTTP API可实现对woker和task的管理。
启动celery服务步骤
1. 启动任务工作者worker
2. 将任务放入celery队列
3. worker读取队列，并执行任务
启动一个工作者，创建一个任务队列

celery -A tasks worker --loglevel=info
注释:-A 指定celery名称，loglevel制定log级别
调度任务

使用delay()或apply_async()方法来调度任务，事实上delay已经封装了apply_async方法