python的celery异步任务的调度工具

最新推荐文章于 2025-05-31 05:22:13 发布

Uncle K

最新推荐文章于 2025-05-31 05:22:13 发布

阅读量574

点赞数

CC 4.0 BY-SA版权

分类专栏： Linux Python 文章标签： python

本文链接：https://blog.youkuaiyun.com/weixin_42396368/article/details/100158662

Linux 同时被 2 个专栏收录

11 篇文章

订阅专栏

Python

1 篇文章

订阅专栏

Celery是一款用Python编写的强大分布式任务队列框架，适用于实时操作和调度任务，每天处理数百万任务。它可将任务完全从主程序中分离，甚至在其他主机上运行。Celery建议使用RabbitMQ作为消息队列，同时也支持Redis等其他消息中间件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

是什么？

Celery 是一个强大的分布式任务队列的异步处理框架，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务（async task）和定时任务（crontab）。我们需要一个消息队列来下发我们的任务。首先要有一个消息中间件，此处选择rabbitmq (也可选择 redis 或 Amazon Simple Queue Service(SQS)消息队列服务)。推荐选择 rabbitmq 。使用RabbitMQ是官方特别推荐的方式，因此我也使用它作为我们的broker。

Celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。Celery用于生产系统每天处理数以百万计的任务。Celery是用Python编写的，但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。Celery建议的消息队列是RabbitMQ，但提供有限支持Redis, Beanstalk, MongoDB, CouchDB, 和数据库（使用SQLAlchemy的或Django的 ORM）。Celery是易于集成Django, Pylons and Flask，使用 django-celery, celery-pylons and Flask-Celery 附加包即可