【学习篇】异步任务处理框架celery学习

celery应用场景

celery是基于python实现的一个分布式任务队列框架，主要用于管理分布式任务队列、处理耗时的任务，支持使用任务队列的方式执行任务调度。可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行，通常使用它实现异步任务和定时任务。

celery常用场景：

1. 异步任务处理：将耗时操作如发送邮件、处理图像等异步执行，以提高应用程序的响应速度
2. 定时任务：通过 Celery Beat 进行任务调度，定期执行任务
3. 分布式任务调度：支持多个 Worker 的分布式部署，实现任务的负载均衡和高可用性。

celery组件

celery的架构由三部分组成：

1. 消息中间件（Broker） ：Celery 不提供消息服务，但支持与 RabbitMQ、Redis 等第三方消息中间件集成。这些中间件负责接收任务并将其分发给 Worker
2. 任务执行单元（Worker） ：Worker 是 Celery 提供的任务执行单元，可以并发运行在分布式系统的多个节点上，从而提高任务处理效率
3. 任务结果存储（Result Backend） ：用于存储 Worker 执行任务的结果，支持多种存储方式，如 Redis、RabbitMQ 等