celery定时任务踩坑

  1. 新添加定时任务之后,需要重启一下celery的beat, 新增的任务才能生效。目前celery没有提供flask可以动态添加定时任务的接口
  2. celery 添加定时任务有2中途径,一种是在项目的配置文件中,一种是在模块的task.py文件中。这两种方式都需要显示的添加定时任务。如果想用信号触发自动添加定时任务,定时任务添加不成功
    task.py
def get_tasks():
    task_infos = []
    tasks = db.session.query(PeriodTask).all()
    for item in tasks:
        interval = item.interval.split()
        scheduler = crontab(minute=interval[0], hour=interval[1], day_of_month=interval[2], month_of_year=interval[3],
                            day_of_week=interval[4])
        task_infos.append((scheduler, item.id))
    return task_infos


tasks_info = get_tasks()

for key, value in tasks_info:
    celery_app.add_periodic_task(key, generate_task.s(value))   # 显示的添加定时任务

3.存放定时任务的文件名字可以任意,不一定必须是tasks.py, celery添加定时任务与文件的名字无关,与CELERY_IMPORTS这个参数有关

CELERY_IMPORTS = ('xxx.sql_lab', 'xxx.tasks.task')

4.在celery的broker用redis时,会发生同一时刻有2个worker同时执行一个任务的情况,开始时以为是重复添加任务造成的,后来把所有的任务清除了,还是这样,后来发现大家在使用redis作为broker的时候,都会出现这个问题。解决问题的链接celery同一时刻重复执行任务。如果不想用celery_once的话,可以把borker换成rabbitmq,rabbitmq没有这个问题

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值