celery-redis小例子

最新推荐文章于 2025-06-03 15:51:17 发布
原创 最新推荐文章于 2025-06-03 15:51:17 发布 · 350 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客介绍了如何配置并运行一个基于Celery的任务队列系统，与Redis结合使用。首先，它讲解了如何安装Redis，然后通过pip安装Celery和eventlet。接着，创建了名为tasks.py的文件来定义任务。启动带密码的Redis服务器后，在命令行中使用celery命令启动worker。最后，在任务文件的目录下执行相关命令，观察在Celery worker中任务的执行情况。

1.安装redis
2. pip install celery
pip install eventlet
3.创建tasks.py

from celery import Celery

app = Celery('tasks',broker='redis://:****@127.0.0.1:6379/0')

@app.task
def add(x,y):
    print("running。。。",x,y)
    return x+y

4.启动redis （带密码）
5.进入dos界面输入命令：celery -A tasks(模块名) worker -l info -P eventlet

D:\PycharmProjects\celery and redis>celery -A tasks worker -l info -P eventlet

 -------------- celery@888888888 v4.4.7 (cliffs)
--- ***** -----
-- ******* ---- Windows-8888888 2020-11-18 16:00:27
- *** --- * ---
- ** ---------- [config]
- ** ---------- .> app:         tasks:88888888
- ** ---------- .> transport:   redis://:**@127.0.0.1:6379/0
- ** ---------- .> results:     disabled://
- *** --- * --- .> concurrency: 4 (eventlet)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** -----
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery


[tasks]
  . tasks.add

[2020-11-18 16:00:27,289: INFO/MainProcess] Connected to redis://:**@127.0.0.1:6379/0
[2020-11-18 16:00:27,298: INFO/MainProcess] mingle: searching for neighbors
[2020-11-18 16:00:28,319: INFO/MainProcess] mingle: all alone
[2020-11-18 16:00:28,342: INFO/MainProcess] pidbox: Connected to redis://:**@127.0.0.1:6379/0.

6.在dos界面，进入tasks.py所在目录，执行：

D:\PycharmProjects\celery and redis>python
Python 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul  5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from tasks import add
>>> add.delay(2,2)
<AsyncResult: ed2338f6-b03c-4779-8b52-7b7f43cb4b44>
>>>

7.在第5步启动的dos界面显示：

[2020-11-18 16:02:12,335: INFO/MainProcess] Received task: tasks.add[ed2338f6-b03c-4779-8b52-7b7f43cb4b44]
[2020-11-18 16:02:12,336: WARNING/MainProcess] running。。。
[2020-11-18 16:02:12,336: WARNING/MainProcess] 2
[2020-11-18 16:02:12,336: WARNING/MainProcess] 2
[2020-11-18 16:02:12,337: INFO/MainProcess] Task tasks.add[ed2338f6-b03c-4779-8b52-7b7f43cb4b44] succeeded in 0.0s: 4
服务器面试必备-redis面试题总结
网易搬砖头
03-07 8万+
Redis 本质上是一个 Key-Value 类型的内存数据库，很像 memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据 flush 到硬盘上进行保存。因为是纯内存操作，Redis 的性能非常出色，每秒可以处理超过 10 万次读写操作，是已知性能最快的 Key-Value DB。
celery框架|环境搭建及测试[celery+rabbitmq+redis]
geniusle201的博客
01-09 1333
目录1. celery 简介2. celery 安装及部署2.1 celery 安装2.2 rabbitmq 安装3. run起一个简单的demo3.1 tasks.py 文件3.2 在terminal中调用celery：3.3 调用woker并查看执行情况 1. celery 简介 关于celery的简介，网上一大堆，在此不做赘述。 举个不太恰当的例子来作说明。celery就是一个服务团队，进...
Django Celery Redis 异步执行任务demo实例
weixin_30348519的博客
03-16 175
一、windows中安装redis 安装过程见 《在windows x64上部署使用Redis》 二、环境准备 requirements.txt Django==1.10.5 celery==3.1.23 redis==2.10.5 注意，celery 4.x 以上不支持windows pip install -r requirements.txt 三、创建D...
Python-django的celery和redis简单示例项目
08-10
django的celery和redis简单示例项目
python使用celery实现异步任务执行的例子
09-18
今天小编就为大家分享一篇python使用celery实现异步任务执行的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python+celery+redis执行定时程序的一个实例
fuchen58的博客
07-11 1160
原文链接：https://www.cnblogs.com/zknublx/p/9090168.html与原文有细微差别，改了一点小错误1.环境搭建通过pip 安装 celery、redis pip install celery pip install redis默认安装celery 最新版是4.0.2 默认安装redis 最新版是2.10.5另外不要忘记安装redis服务:# wget http:...
celery-redis 的测试demo
duxin_csdn的博客
02-27 1221
celery 安装 sudo pip3 install celery redis安装 sudo apt install redis-server redis 启动 redis-server 测试redis是否启动 user@host: ~$ redis-cli 127.0.0.1:6379&gt; ping PONG 如图创建 celery_app_1.p...
Celery + Redis的异步任务详解
m0_46710786的博客
07-15 1360
一、背景 在开发过程中，有时会遇到一些需要执行时间很长的任务，如果放在前端，会让用户一直等待任务执行完或者一直转圈圈，用户体验非常不好。为了改善这种体验，使用异步的方法可以解决以上情况。在Django中，我们可以使用celery异步框架，我们可以把耗时的任务（或者定时的任务）交给后台执行，而前端给用户立即返回，待用户需要查看结果时，点击查看即可，并且可以随时看到任务执行的状态。 二、原理 Celery是基于Python开发的一个分布式任务队列框架，支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度
精选资源
ansible-celery-flask-demo
06-04
介绍 ansible是一个基于SSH协议的自动...启动redis，作为celery的broker和result backend $ service redis start 启动celery来接受任务处理 $ celery worker -A app.celery --loglevel=info 启动flask web app $ pytho
flask、celery+redis 实现定时任务和异步——(一)
Shallow的博客
05-19 1160
1. Celery简介 Celery是一个异步任务的调度工具。 Celery 是 Distributed Task Queue，分布式任务队列，分布式决定了可以有多个 worker 的存在，队列表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被分配工作的码农。 Broker 在 Python 中定义 Celery 的时候，我们要引入 Broker（消息中间件），中文翻译过来就是“中间人”的意思，在这里 Broker 起到一个中间人的角色。在工头提出任务的时候，把所有的任务放到 Broker 里
Celery初识及简单实例
weixin_30568591的博客
06-07 467
Celery是一个“自带电池”的任务队列。易于使用，可以轻易入门，它遵照最佳实践设计，使产品可以扩展，或与其他语言集成，并且它自带了在生产环境中运行这样一个系统所需的工具和支持。本文介绍基础部分： 选择和安装消息传输方式（中间人）。 安装Celery并创建一个任务 运行职程并调用任务 追踪任务在不同状态间的迁移，并检视返回值 一、选择中间人 Celery需要一个发送和接收消...
celery执行的简单入门例子
水巷石子的博客
10-17 527
celery执行简单入门案例
python celery 多work多队列
weixin_39318540的博客
05-27 8241
1.Celery模块调用既然celery是一个分布式的任务调度模块，那么celery是如何和分布式挂钩呢，celery可以支持多台不通的计算机执行不同的任务或者相同的任务。如果要说celery的分布式应用的话，就要提到celery的消息路由机制，AMQP协议。具体的可以查看AMQP的文档。简单地说就是可以有多个消息队列(Message Queue)，不同的消息可以指定发送给不同的Message Q...
python celery异步_python使用celery实现异步任务执行的例子
weixin_36155560的博客
03-01 264
使用celery在django项目中实现异步发送短信在项目的目录下创建celery_tasks用于保存celery异步任务。在celery_tasks目录下创建config.py文件，用于保存celery的配置信息```broker_url = "redis://127.0.0.1/14"```在celery_tasks目录下创建main.py文件，用于作为celery的启动文件from cele...
Celery 核心概念详解及示例
最新发布
fydw_715的博客
06-03 1789
Celery 是一个简单、灵活且可靠的分布式系统，用于处理大量消息，提供对任务队列的操作，并支持任务的调度和异步执行。它常用于深度优化 Web 应用的性能和响应速度，通过将耗时的操作移到后台异步执行，使主程序不被阻塞。
Python项目实战 3.3：异步消息队列.Celery+redis
mengnf的专栏
01-16 2332
Python项目实战：异步消息队列.Celery+redis
Python开发运维：Celery连接Redis
cronaldo91的博客
11-22 3324
Celery是一个强大的 分布式任务队列的异步处理框架，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。通常使用它来实现异步任务(async task)和定时任务(crontab)。Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。Celery是一个基于python开发的分布式系统，它是简单、灵活且可靠的，处理大量消息，专注于实时处理的异步任务队列，同时也支持任务调度。
【高并发】Celery + Redis异步任务队列方案提高OCR任务时的并发
所有专家都曾始于新手
05-09 1707
线程池在处理OCR任务时仍会阻塞请求，主要原因包括：请求-响应周期未分离、共享进程资源、Python的GIL限制等。这些问题导致高并发请求时线程池满，新请求被阻塞，长任务占用线程，资源竞争加剧。相比之下，Celery+Redis提供了更好的解决方案，通过异步任务队列实现真正的异步解耦，资源隔离，可靠性保障和状态监控。Celery+Redis的优势包括：立即返回任务ID，独立进程处理OCR，任务持久化和自动重试，支持实时查询任务状态。性能对比显示，Celery+Redis在请求响应时间、最大并发处理能力、资源
celery—redis 执行异步任务
yanglangdan的博客
04-09 2117
1. windows系统本地安装redis步骤 1.1. 介绍 Redis作为常用开源的非关系型数据库，是开发中常用的数据库之一。Redis底层是使用ANSI C编写的，支持网络可基于内存和可持久化的日志型、Key-Value数据库，提供了多种语言API。（基于内存是Redis快的一个重要因素） 1.2 redis 下载 下载地址：https://github.com/tporadowski/redis/releases 选择zip 压缩文件下载，解...
celery与redis结合使用
02-03
### 配置 Celery 使用 Redis 作为消息代理 为了使 Celery 能够利用 Redis 进行任务调度和管理，需先完成必要的软件包安装。通过命令 `pip install celery[redis]` 可以一次性安装 Celery 和其针对 Redis 的依赖项[^1]。 #### 创建项目结构并定义任务 创建名为 `celery_test` 的目录用于存放所有相关文件： ```bash mkdir -p celery_test/ cd celery_test/ ``` 接着，在此目录下编写 Python 文件 `tasks.py` 来定义具体要执行的任务逻辑。这里展示了一个简单的例子，其中包含了两个函数——一个是普通的加法操作，另一个则是模拟耗时较长的操作过程。 ```python from celery import Celery app = Celery('tasks', broker='redis://localhost:6379/0') @app.task def add(x, y): return x + y @app.task(bind=True) def long_task(self): """Background task that runs a long function with progress reports.""" verb = ['Starting up', 'Working ', 'Almost there', 'Finished'] for i in range(4): self.update_state(state='PROGRESS', meta={'current': i, 'total': 3, 'status': verb[i]}) time.sleep(5) return {'current': 3, 'total': 3, 'status': verb[-1], 'result': 42} ``` 上述代码片段展示了如何初始化一个基于 Redis 的 Celery 应用实例，并注册了两种不同类型的任务：即时计算型 (`add`) 和长时间运行型 (`long_task`)。对于后者而言，还实现了进度更新功能以便跟踪任务状态变化情况。 #### 启动 Worker 并监控任务执行状况 确保本地已启动 Redis 服务后，可以通过如下指令开启一个新的 worker 实例来监听来自客户端发送过来的消息请求。如果希望这个 worker 特定于某个 queue，则可以加上 `-Q` 参数指定对应的队列名；如果不特别设置，默认会连接到所有的可用 queues 上去工作[^3]。 ```bash celery -A tasks worker --loglevel=info [-Q your_queue_name] ``` 此时，任何向该应用提交的新任务都将被自动分配给空闲中的 workers 去处理。而关于这些任务的状态信息（比如成功与否），则可通过调用 `.AsyncResult().state` 方法获取得到。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值