celery 异步任务

最新推荐文章于 2025-10-04 07:00:00 发布

原创最新推荐文章于 2025-10-04 07:00:00 发布 · 1.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#开发语言 #python

Celery是一个分布式任务队列管理工具，用于实时处理和任务调度。它依赖于redis或MQ实现任务队列，并通过CELERYBEAT_SCHEDULE实现定时任务。当任务失败时，Celery提供重试机制。调用异步任务需在tasks文件中定义并导入，而定时任务则在schedule.py中配置。启动Celery时，可指定更多任务线程以提高处理能力。

1.celery介绍

Celery 是一个专注于实时处理和任务调度的分布式任务队列,本身不是任务队列, 是管理分布式任务队列的工具.任务队列采用redis中的list或mq实现,有5个常用组件

Task
就是任务，有异步任务和定时任务

Beat
定时任务调度器，根据配置定时将任务发送给Broker。

Broker
中间人，接收生产者发来的消息即Task，将任务存入队列。任务的消费者是Worker。

Worker
执行任务的单元，它实时监控消息队列，如果有任务就获取任务并执行它。

Backend
用于存储任务的执行结果。

2.工作原理流程

celery用CELERYBEAT_SCHEDULE实现定时任务。消息失败可以通过self.retry(exc=e,countdown=3,max_retries=5)来设置重试次数和间隔时间。celery默认会开启4个线程来处理任务，参数-c可以开启更多任务线程。执行定时任务时, Celery会通过celerybeat进程来完成。Celerybeat会保持运行, 一旦到了某一定时任务需要执行时, Celerybeat便将其加入到queue中，适用于周期性任务。

3. 调用

在这里插入图片描述

###1. 在项目中创建一个tasks文件 tasks文件下面是一个个的异步任务

###2. 异步任务要在tasks的 init 里面导入进去，否则运行时会找不到

3.1调用异步任务

在要调用的代码处写

add.delay(10, 10)

3.2调用定时任务

在项目的schedule.py中调用

from datetime import timedelta
from celery.schedules import crontab

beat_schedule = {
    # 每 30秒执行一次。 秒级别可以用 timedelta, 分钟级别及以上可以用 crontab
    'task-one-function': {
    	# 'task':定时任务路径
        'task': 'job.tasks.orderstask.query_alipay',
        'schedule': timedelta(seconds=2),
        'kwargs': {
        }
    },
    # 每一分钟执行一次
    'task-two-function': {
        'task': 'job.tasks.orders_timeout.outtime_order',
        'schedule': timedelta(seconds=60),
        'kwargs': {
        }
    },
    # # 每周1早上8：20 分执行
    # 'task-two-function': {
    #     'task': 'celery_test.tasks.mytask.task_two_function',
    #     'schedule': crontab(minute=20, hour=8, day_of_week=1),
    #     'kwargs': {

    #     }
    # }
}

4.使用及celery启动

定时任务 beat 进程启动方式：
   celery -A job.celery_job beat -l info 
   
定时任务 worker 进程启动方式：
   celery -A job.celery_job worker -l info
   
   
windows下启动

定时任务 beat 进程启动方式：
   celery -A job.celery_job beat -l INFO

定时任务 worker 进程启动方式：
   celery -A job.celery_job worker -l INFO -P eventlet