python任务调度模块celery

最新推荐文章于 2025-06-06 07:00:00 发布

weixin_33724059

最新推荐文章于 2025-06-06 07:00:00 发布

阅读量187

点赞数

CC 4.0 BY-SA版权

文章标签：数据库大数据 python

原文链接：https://my.oschina.net/u/3803404/blog/1819727

本文介绍了Celery这一Python异步分布式任务调度模块的基本概念、特点及其安装与使用方法。Celery能够通过第三方服务如RabbitMQ或Redis进行任务传递，并支持高可用性和灵活性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

python任务调度模块celery

celery简介

Celery是一个python开发的异步分布式任务调度模块。
Celery本身并不提供消息服务，使用第三方服务，也就是borker来传递任务，一般使用rabbitMQ或者Redis。

Celery特点
简单：一单熟悉了celery的工作流程后，配置和使用还是比较简单的。
高可用：当任务执行失败或执行过程中发生连接中断，celery 会自动尝试重新执行任务。
快速：一个单进程的celery每分钟可处理上百万个任务。
灵活：几乎celery的各个组件都可以被扩展及自定制。
Celery工作流程图
python-Celery
celery安装使用
安装Celery模块
1
pip install celery

Celery的默认broker是RabbitMQ，仅需配置一行

1	broker_url = 'amqp://guest:guest@localhost:5672//'

RabbitMQ的安装点击Using RabbitMQ查看。
redis作为broker也可以。

安装
1
pip install redis
配置
broker_url配置redis数据库地址，格式为redis://:password@hostname:port/db_number。
backend配置任务结果存储位置，将保存每个任务的执行结果。
1 2
app.conf.broker_url = 'redis://localhost:6379/0' app.conf.result_backend = 'redis://localhost:6379/0'

port和db_number是可选项，默认情况下端口使用6379，db_number使用0。

示例
创建一个celery application定义任务列表，新建一个celery1.py文件

from celery import Celery
broker = "redis://118.24.18.158:6379/5"
backend = "redis://118.24.18.158:6379/6"
app = Celery("celery1", broker=broker, backend=backend)

@app.task
def add(x, y):
    return x+y

启动Celery Worker开始监听并执行任务

1	celery -A celery1 worker --loglevel=info

调用任务

import time
from celery1 import add

re = add.delay(10, 20)
print(re)
print(re.status)
time.sleep(8)
print(re.status)
print(re.result)

转载于:https://my.oschina.net/u/3803404/blog/1819727

python任务调度模块celery

python任务调度模块celery

celery简介

celery安装使用