Python Celery 框架异步与定时任务实践-优快云博客

import celery
import time

backend = 'redis://127.0.0.1:6379/1'
broker = 'redis://127.0.0.1:6379/2'
cel = celery.Celery('test', backend=backend, broker=broker)


@cel.task
def send_email(email):
    print("向%s发送邮件..." % email)
    time.sleep(5)
    print("向%s发送邮件完成" % email)
    return "email-ok"

@cel.task
def send_msg(msg):
    print("向%s发送信息..." % msg)
    time.sleep(5)
    print("向%s发送信息完成" % msg)
    return "msg-ok"

2、创建执行任务文件 produce_task.py

from celery_task import send_email, send_msg

result1 = send_email.delay("email-1")
print(result1.id)
result2 = send_msg.delay("msg-1")
print(result2.id)

3、创建查看结果文件，查看结果 result.py

from celery.result import AsyncResult
from celery_task import cel

async_result=AsyncResult(id="184c2ed1-48ac-43e3-a138-349a7949ab3a", app=cel)

if async_result.successful():
    result = async_result.get()
    print(result)
    # result.forget() # 将结果删除
elif async_result.failed():
    print('执行失败')
elif async_result.status == 'PENDING':
    print('任务等待中被执行')
elif async_result.status == 'RETRY':
    print('任务异常后正在重试')
elif async_result.status == 'STARTED':
    print('任务已经开始被执行')

4、启动celery

# win
celery -A celery_task worker -l info -P eventlet -c 5
# liunx
celery -A celery_task worker -l info

5、执行produce_task.py文件，然后查询终端日志

[2022-06-14 14:11:54,797: INFO/MainProcess] Task celery_task.send_email[becade95-6ec7-4cc2-9bd5-96c1f362049c] received
[2022-06-14 14:11:54,797: WARNING/MainProcess] 向email-1发送邮件...
[2022-06-14 14:11:54,797: INFO/MainProcess] Task celery_task.send_msg[a19af60f-478e-4ef7-ad2d-b46b0dd22856] received
[2022-06-14 14:11:54,797: WARNING/MainProcess] 向msg-1发送信息...
[2022-06-14 14:11:59,796: WARNING/MainProcess] 向msg-1发送信息完成
[2022-06-14 14:11:59,796: WARNING/MainProcess] 向email-1发送邮件完成
[2022-06-14 14:11:59,796: INFO/MainProcess] Task celery_task.send_msg[a19af60f-478e-4ef7-ad2d-b46b0dd22856] succeeded in 5.0s
: 'msg-ok'
[2022-06-14 14:11:59,796: INFO/MainProcess] Task celery_task.send_email[becade95-6ec7-4cc2-9bd5-96c1f362049c] succeeded in 5.
0s: 'email-ok'

6、可以吧执行produce_taks.py返回的id放到result.py中进行查看结果

二、异步任务-多任务结构

1、创建celerytest包，新建celery.py(文件名必须是 celery)文件，此文件必备，放配置参数

# celery.py

from celery import Celery

backend = 'redis://127.0.0.1:6379/1'
broker = 'redis://127.0.0.1:6379/2'
cel = Celery('test', backend=backend, broker=broker,
                    # 包含以下两个任务文件，去相应的py文件中找任务，对多个任务做分类
                    include=['celerytest.task01','celerytest.task02'])

# 时区
cel.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
cel.conf.enable_utc = False

2、创建任务模块task01.py task02.py

# task01.py

import time
from celerytest.celery import cel

@cel.task
def send_email(email):
    print("向%s发送邮件..." % email)
    time.sleep(5)
    print("向%s发送邮件完成" % email)
    return "email-ok"

# task02.py

import time
from celerytest.celery import cel

@cel.task
def send_msg(msg):
    print("向%s发送信息..." % msg)
    time.sleep(5)
    print("向%s发送信息完成" % msg)
    return "msg-ok"

3、新建produce_task.py

from celerytest.task01 import send_email
from celerytest.task02 import send_msg

result1 = send_email.delay("email-email")
print(result1.id)
result2 = send_msg.delay("msg-msg")
print(result2.id)

4、新建result.py

from celery.result import AsyncResult
from celerytest.celery import cel

async_result=AsyncResult(id="a1b39828-238e-4574-bb7f-e545597aa288", app=cel)

if async_result.successful():
    result = async_result.get()
    print(result)
    # result.forget() # 将结果删除
elif async_result.failed():
    print('执行失败')
elif async_result.status == 'PENDING':
    print('任务等待中被执行')
elif async_result.status == 'RETRY':
    print('任务异常后正在重试')
elif async_result.status == 'STARTED':
    print('任务已经开始被执行')

5、启动celery（注意命令位置，还有参数，对比目录结构看）

(venv) D:\pycharm_workspace\demo>celery -A celerytest worker -l info -P eventlet -c 5

三、定时任务-基础用法

1、创建异步/定时任务执行文件celery_task.py

from time import sleep

from celery import Celery

backend = 'redis://127.0.0.1:6379/1'
broker = 'redis://127.0.0.1:6379/2'
cel = Celery('test', backend=backend, broker=broker)

@cel.task
def send_email(email):
    print(f'向-{email}发送eamil-start')
    sleep(5)
    print(f'向-{email}发送eamil-end')
    return 'email-ok'

@cel.task
def send_msg(msg):
    print(f'向-{msg}发送msg-start')
    sleep(5)
    print(f'向-{msg}发送msg-end')
    return 'msg-ok'

2、创建执行任务文件 produce_task.py

from celery_task import send_email, send_msg
from datetime import datetime
# 异步任务
# result1 = send_email.delay("email-email")
# print(result1.id)
# result2 = send_msg.delay("msg-msg")
# print(result2.id)

# 定时任务，方式一
# 设定几点几分几秒执行任务
t_time = datetime(2022, 6, 14, 15, 33, 00)
print(f'预定时间是-{t_time}')
# 转换时间格式
t_trans = datetime.utcfromtimestamp(t_time.timestamp())
print(f'转换时间后-{t_trans}')

result1 = send_email.apply_async(args=["email-time",], eta=t_trans)
print(result1.id)
result2 = send_msg.apply_async(args=["msg-time",], eta=t_trans)
print(result2.id)

from celery_task import send_email, send_msg
from datetime import datetime

# 定时任务，方式二
ctime = datetime.now()
# 默认用utc时间
utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
from datetime import timedelta
time_delay = timedelta(seconds=10)
task_time = utc_ctime + time_delay
# 当前时间，延迟10S执行任务
result1 = send_email.apply_async(args=["email-time",], eta=task_time)
print(result1.id)
result2 = send_msg.apply_async(args=["msg-time",], eta=task_time)
print(result2.id)

3、创建查看结果文件，查看结果 result.py，同上

4、启动celery，同上

三、定时任务-多任务结构

目录结构同异步任务-多任务结构

1、创建demo包，新建celery.py(文件名必须是 celery)文件，此文件必备，放配置参数

from time import sleep
from datetime import timedelta
from celery import Celery

backend = 'redis://127.0.0.1:6379/1'
broker = 'redis://127.0.0.1:6379/2'
cel = Celery('test', backend=backend, broker=broker,
             include=['demo.task01','demo.task02'])

cel.conf.timezone = 'Asia/Shanghai'
cel.conf.enable_utc = False
cel.conf.beat_schedule = {
    # 名字随意命名
    'add-every-10-seconds': {
        # 执行tasks1下的test_celery函数
        'task': 'demo.task01.send_email',
        # 每隔2秒执行一次
        # 'schedule': 1.0,  1S
        # 'schedule': crontab(minute="*/1"), 每一分钟
        'schedule': timedelta(seconds=6),
        # 传递参数
        'args': ('定时测试-email',)
    },
    # 'add-every-12-seconds': {
    #     'task': 'demo.task01.send_email',
    #     每年4月11号，8点42分执行
    #     'schedule': crontab(minute=42, hour=8, day_of_month=11, month_of_year=4),
    #     'args': ('定时测试-email',)
    # },
}

2、task01和task02

# task01.py

import time
from demo.celery import cel

@cel.task
def send_email(email):
    print("向%s发送邮件..." % email)
    time.sleep(5)
    print("向%s发送邮件完成" % email)
    return "email-ok"


####################################

# task02.py

import time
from demo.celery import cel

@cel.task
def send_msg(msg):
    print("向%s发送信息..." % msg)
    time.sleep(5)
    print("向%s发送信息完成" % msg)
    return "msg-ok"

3、跟异步任务-多目录机构不同的是，不需要produce_task.py，直接启动就可以

(venv) D:\pycharm_workspace\demo>celery -A demo beat

此命令会读取celery.py的定时配置信息，按照时间进行插入任务

四、Django中使用celery

1、config.py

# 任务队列
broker_url = 'redis://127.0.0.1:6379/1'
# 结果队列
result_backend = 'redis://127.0.0.1:6379/2'

2、msg.tasks.py

# celery的任务必须写在tasks.py的文件中，别的文件名称不识别!!!
from mycelery.main import app
import time


import logging
log = logging.getLogger("django")

@app.task  # name表示设置任务的名称，如果不填写，则默认使用函数名做为任务名
def send_msg1(mobile):
    """发送短信"""
    print("向手机号%s发送短信成功!"%mobile)
    time.sleep(5)

    return "send_msg1 OK"

@app.task  # name表示设置任务的名称，如果不填写，则默认使用函数名做为任务名
def send_msg2(mobile):
    print("向手机号%s发送短信成功!" % mobile)
    time.sleep(5)

    return "send_msg2 OK"

3、email.tasks.py

# celery的任务必须写在tasks.py的文件中，别的文件名称不识别!!!
from mycelery.main import app
import time


import logging
log = logging.getLogger("django")

@app.task  # name表示设置任务的名称，如果不填写，则默认使用函数名做为任务名
def send_email1(email):
    """发送短信"""
    print("向邮箱%s发送email成功!" % email)
    time.sleep(5)

    return "send_email1 OK"

@app.task  # name表示设置任务的名称，如果不填写，则默认使用函数名做为任务名
def send_email2(email):
    print("向邮箱%s发送email成功!" % email)
    time.sleep(5)

    return "send_email2 OK"

4、main.py(处理者)

from celery import Celery
import os
import django
# 把celery和django进行组合，识别和加载django的配置文件
# 如果处理者和生产者不在一台服务器，并且用到了django项目的系统变量，
# 需要django.setup，如果在一台服务器，只需要启动django项目，再启动celery就可以了
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'djangoProject.settings')
django.setup()

# 创建celery实例对象
app = Celery("diyname")

# 通过app对象加载配置
app.config_from_object("mycelery.config")

# 加载任务
# 参数必须必须是一个列表，里面的每一个任务都是任务的路径名称
# app.autodiscover_tasks(["任务1","任务2"])
app.autodiscover_tasks(["mycelery.msg", "mycelery.email"])

5、views.py

from django.http import HttpResponse, HttpResponseRedirect
from django.shortcuts import render
from mycelery.email.tasks import send_email1,send_email2
from mycelery.msg.tasks import send_msg1,send_msg2


def getRequest(request):
    if request.method == 'GET':
        # 异步任务
        send_email2.delay('qq.com')
        send_msg1.delay('di-di-di')
        # 定时任务
        from datetime import datetime,timedelta
        ctime = datetime.now()
        # # 默认用utc时间
        utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
        time_delay = timedelta(seconds=10)
        task_time = utc_ctime + time_delay
        result1 = send_msg2.apply_async(["ba-ba-ba", ], eta=task_time)
        print(result1.id)
        result2 = send_email1.apply_async(["163.com", ], eta=task_time)
        print(result2.id)
        return HttpResponse('aaa')

6、启动

# 启动Celery的命令
# 强烈建议切换目录到mycelery根目录下启动
(venv) D:\pycharm_workspace\djangoProject>celery -A mycelery.main worker -l info -P eventlet -c 5

Celery-基础用法

一、异步任务-基础用法

1、创建一个python项目，创建一个异步任务执行文件 celery_task.py

2、创建执行任务文件 produce_task.py

3、创建查看结果文件，查看结果 result.py

4、启动celery

5、执行produce_task.py文件，然后查询终端日志

6、可以吧执行produce_taks.py返回的id放到result.py中进行查看结果

二、异步任务-多任务结构

1、创建celerytest包，新建celery.py(文件名必须是 celery)文件，此文件必备，放配置参数

2、创建任务模块task01.py task02.py

3、新建produce_task.py

4、新建result.py

5、启动celery（注意命令位置，还有参数，对比目录结构看）

三、定时任务-基础用法

1、创建异步/定时任务执行文件celery_task.py

2、创建执行任务文件 produce_task.py

3、创建查看结果文件，查看结果 result.py，同上

4、启动celery，同上

三、定时任务-多任务结构

1、创建demo包，新建celery.py(文件名必须是 celery)文件，此文件必备，放配置参数

2、task01和task02

3、跟异步任务-多目录机构不同的是，不需要produce_task.py，直接启动就可以

四、Django中使用celery

1、config.py

2、msg.tasks.py

3、email.tasks.py

4、main.py(处理者)

5、views.py

6、启动