提示:Python 中 通过 celery 实现异步任务和定时任务
一、Celery安装
- celery 包含三个部分:消息中间件,任务执行单元,任务执行结果存储。Celery本身不提供消息服务,需要第三方提供的消息中间件集成。包括,RabbitMQ, Redis等。所以我们要先安装Redis。
- pip install celery
- pip install eventlet (Windows环境下需要安装,否则会报错)
二、Celery执行异步任务
- 创建项目 celery
- 创建异步任务执行文件 celery_task:
import celery
import time
backend='redis://127.0.0.1:6379/1'
broker='redis://127.0.0.1:6379/2'
cel=celery.Celery('test',backend=backend,broker=broker)
@cel.task
def send_email(name):
print("向%s发送邮件..."%name)
time.sleep(5)
print("向%s发送邮件完成"%name)
return "ok"
@cel.task
def send_msg(name):
print("向%s发送短信..."%name)
time.sleep(5)
print("向%s发送短信完成"%name)
return "ok"
- 创建执行任务文件 produce_task.py:
from celery_task import send_email, send_msg
result = send_email.delay("hello world")
print(result.id)
result2 = send_msg.delay("hello world")
print(result2.id)
- 执行命令
celery -A celery_task worker --loglevel=INFO -P eventlet
运行:produce_task.py
可以看到 send_email 和 send_msg 方法同时执行。
- 创建查看任务执行结果文件 result.py
from celery.result import AsyncResult
from celery_task import cel
# id为执行delay方法后输出的id
async_result=AsyncResult(id="9cc532db-a146-433b-aa4c-740916917a08", app=cel)
if async_result.successful():
result = async_result.get()
print(result)
# result.forget() # 将结果删除
elif async_result.failed():
print('执行失败')
elif async_result.status == 'PENDING':
print('任务等待中被执行')
elif async_result.status == 'RETRY':
print('任务异常后正在重试')
elif async_result.status == 'STARTED':
print('任务已经开始被执行')
三、Celery执行定时任务
- 修改异步任务中 produce_task.py 文件
from celery_task import send_email
from datetime import datetime
# 方式一:指定在某个时间点执行
v1 = datetime(2025, 5, 7, 20, 31, 00)
print(v1)
v2 = datetime.utcfromtimestamp(v1.timestamp())
print(v2)
result = send_email.apply_async(args=["egon",], eta=v2)
print(result.id)
# 方式二:当前时间加10秒后执行
ctime = datetime.now()
# 默认用utc时间
utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
from datetime import timedelta
time_delay = timedelta(seconds=10)
task_time = utc_ctime + time_delay #
# 使用apply_async并设定时间
result = send_email.apply_async(args=["egon"], eta=task_time)
print(result.id)