基于sanic的服务使用celery完成动态修改定时任务

首先声明一下
考虑到celery目前和asyncio的不兼容性，协程任务需要转换为非异步的普通方法才能被当做task加入定时，并且celery和asyncio使用可能会带来预想不到的问题，在celery官方第二次承诺的6.0版本融合asyncio之前，需要慎重考虑一下
如果你的项目是融合了asyncio的项目，而且并不需要像celery文档中描述的那么多的复杂的定时功能，一个轻量级的包APScheduler完全可以满足你的需求，而且兼容asyncio框架

功能实现介绍

这是一个基于Sanic服务和Celery定时任务操作的功能，实现的原理大致如下图

• Server：是我们的sanic服务，负责接收和响应请求，接收任务请求之后会异步非阻塞地将预警的定时任务交给celery处理
• Beat(Scheduler): 定期触发任务（提前设置好的周期性或定时任务），有可用worker时，任务将会被执行，这里我们的服务使用redis作为Beat Scheduler
• Queue: 接收的任务的队列，使任务有序的进出，是celery本身实现
• Worker: 执行任务
• Result Store(Result backend ):
  存储任务的位置，有需要时可召回任务的结果，但是任务的结果会设置一个过期时间，这里我们的服务使用redis作为Result Store

运行和使用的示例

sanic-celery server示例的目录结构

主要关注的内容在celery_app, query和第一层的sanic_server.py和结构，settings.py保存的是项目的根目录

import os
import sys


CELERY_BASE_DIR = os.path.dirname(os.path.abspath(__file__))


sys.path.insert(0, CELERY_BASE_DIR)

celery

celery app启动：

• 创建celery app，并将celery app启动的配置信息加入（配置信息在执行命令行启动celery之前加入都可以）
• 配置文件的内容，可参考官方文档，这里给出了简单示例的配置内容和说明，注意4.x之后的celery配置变量要用小写的

# -*- coding:utf-8 -*-
from celery import Celery

from . import config
app = Celery("app_name")
app.config_from_object(config)

config.py

broker_url = 'redis://localhost:6379/1'
result_backend = 'redis://localhost:6379/2'
redbeat_redis_url = 'redis://localhost:6379/3'
redbeat_key_prefix = 'roiq_redbeat_key_prefix:'
# 任务运行结果过期时间，默认一天，传入秒数或者timedelta对象，参考https://docs.celeryq.dev/en/stable/userguide/configuration.html#result-expires
result_expires = 600

task_serializer = 'json'
result_serializer = 'json'
accept_content = ['json']
timezone = 'Asia/Shanghai'
enable_utc = True



# (!)所有的tasks都要提前在这里imports
imports = (
    "query.tasks",
    "send_email.tasks"
)

关于参数的更多详细说明，可参考官方文档

Beat Scheduler是针对周期性任务和延时任务需求的，非Django的celery默认不支持celery服务运行的时候修改任务状态的，针对我们的业务需求，我们需要在服务运行的时候增加、修改和查看任务，因此引入了支持redis作为beat scheduler的模块redbeat，redbeat的使用参考链接，只需要使用其中的创建、更新和删除等常用操作方法