使用celery和redis测试小程序时的一个坑

最新推荐文章于 2024-11-13 11:25:59 发布
原创 最新推荐文章于 2024-11-13 11:25:59 发布 · 436 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在使用Celery结合Redis进行小程序测试时遇到版本冲突问题，表现为“valueisnotanintegeroroutofrange”错误。文章详细介绍了错误的定位过程及解决方案，指出问题源于Redis3.2版本，并提供具体代码修改建议。

使用celery和redis测试小程序时的一个坑


报错信息如下：
在这里插入图片描述
如图，最后显示了一个结果：
value is not an integer or out of range
错误修正：
查看错误信息里有一条：
File “c:\users\sunfang\desktop\ven\lib\site-packages\celery\backends\redis.py”, line 161, in set
return self.ensure(self._set, (key, value), **retry_policy)
根据错误信息查看redis.py源码：
在这里插入图片描述
如图，将源代码166行修改为如上图166行，问题即可解决。
问题原因：
以上报错是由于redis的版本问题。
redis3.2版本需要修改如上。

sf1200
关注
celery redis版本踩过的坑
redis数据库安装及启用
03-04 946
环境 windows celery3.1.25 redis3.5.3 报错信息 Traceback (most recent call last): File "E:\lucky\env\spider_env3.6\lib\site-packages\celery\app\trace.py", line 283, in trace_task uuid, retval, SUCCESS, request=task_request, File "E:\lucky\env\spider_env3.
Windows10 下使用 celery 使用和配置redis---坑点记录
半岛铁盒
10-30 1786
celery 简介 1.首先介绍一下celery: Celery 是一个异步任务队列。一个Celery安装有三个核心组件： Celery 客户端: 用于发布后台作业。当与 Flask 一起工作的时候，客户端与 Flask 应用一起运行。 Celery workers: 运行后台作业的进程。Celery 支持本地和远程的 workers，可以在 Flask 服务器上启动一个单独的 worker，也可以在远程服务器上启动worker，需要拷贝代码； 消息代理: 客户端通过消息队列和 workers 进行通信，C
Celery + Redis
qwer000999888的博客
03-23 1566
文本尝试研究，使用 redis 作为 celery 的 broker 时，celery 的交互操作同 redis 中数据记录的关联关系。 不在乎过程的，可以直接看最后的结论。 测试代码： > # a.py from celery import Celery celery_app = Celery('a', broker='redis://localhost:6379/0') @celer...
Celery 导致 Redis 服务器内存不断增长问题的排查
我的总结积累与分享
08-09 3525
最近上线了一个Django + Celery的项目，使用Redis做broker，但发现Redis所在的服务器内存使用量会缓慢增长，大概2个星期左右内存耗尽，Redis进程挂掉，所有的Worker也都停止工作。 我的服务器内存是8GB，正常情况 Redis 服务器的内存只使用1GB左右。 查了下内存监控，历史数据如下： 最一开始怀疑是 Django settings 中的 DEBUG 设置成了 ...
如何避免celey定时任务的重复执行（通过celery_one）
wr166的博客
09-27 4222
场景：在公司通过celery写了几个定时的任务，但是过了一段时间我发现这些定时任务的日志里面竟然出现的重复的结果，定时任务大概就是定期的去统计数据什么的，类似报表那样，可是今天我发现竟然有两条一模一样的报表，于是去查了一下celery的运行日志，发现同一时间内（1s内）竟然同时发送了两次的任务，也就是同时产生了两个worker。然后就出现了两条一毛一样的结果，还写到了我的报表里面。 查了一下官方c...
Django定时器Celery+Redis（一）Celery安装使用
youand_me的博客
10-18 1898
序言 　　开发Django也有一段时间了，在最近的项目遇到了需要使用定时器的需求：在每天的00:00需要对每个用户的当天消费数据进行统计。这时候就需要用到定时任务，加上使用的Django开发，所以选择了Celery。 　　Celery是一个基于python开发的分布式任务队列框架，可以使用任务队列的方式在分布式的机器上执行任务调度。译名为：芹菜，不知道和分布式任务队列MQ有何关联。其主...
python使用Flask，Redis和Celery的异步任务
拓端研究室TRL
12-06 1235
随着Web应用程序的发展和使用的增加，用例也变得多样化。我们现在正在建设和使用网站来执行比以往任何时候都更复杂的任务。其中一些任务可以进行处理，并将反馈立即转发给用户，而其他任务则需要稍后进行进一步处理和结果转发。越来越多地采用Internet访问和支持Internet的设备导致最终用户流量增加。在本文中，我们将探讨Celery在Flask应用程序中安排后台任务的使用，以减轻资源密集型任务的负担并确定对最终用户的响应的优先级。任务队列是一种分配小的工作单元或任务的机制，可以在不干扰大多数基于Web的应用程序
celery框架|环境搭建及测试[celery+rabbitmq+redis]
geniusle201的博客
01-09 1331
目录1. celery 简介2. celery 安装及部署2.1 celery 安装2.2 rabbitmq 安装3. run起一个简单的demo3.1 tasks.py 文件3.2 在terminal中调用celery：3.3 调用woker并查看执行情况 1. celery 简介 关于celery的简介，网上一大堆，在此不做赘述。 举个不太恰当的例子来作说明。celery就是一个服务团队，进...
Django定时器Celery+Redis（二）Celery配置和任务模块化
youand_me的博客
11-13 3071
序言 　　在上一篇博客中记录了Celery的安装及初步简单使用，如果需要请前往查看Celery安装使用，本文在上一篇的环境基础上继续记录Celery的配置使用及配置分离。前一篇博客的例子是将Celery的实例配置和任务都写在了tasks.py的python文件中，这在多模块任务或者大型项目（需要自定义很多的Celery配置）中就不太可取了，接下来我们将Celery的配置独立于一个文件。 ...
Django-Celery-Redis异步发短信
学无止境
12-25 1777
首先因为异步版本问题要统一，否则会运行不起来，不兼容！ python == 3.7.6 django == 2.1.8 celery == 4.4.7 redis == 3.5.3 eventlet == 0.26.1 什么是celery Celery是一个功能完备即插即用的任务队列。它使得我们不需要考虑复杂的问题，使用非常简单。celery适用异步处理问题，当发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作，我们可将其异步执行，这样用户不需要等待很久，提高用户体验。 celery的特点
使用 Celery Once 来防止 Celery 重复执行同一个任务
是什么让你停止不前？
11-09 9500
使用 Celery Once 来防止 Celery 重复执行同一个任务 在使用 Celery 的时候发现有的时候 Celery 会将同一个任务执行两遍，我遇到的情况是相同的任务在不同的 worker 中被分别执行，并且时间只相差几毫秒。这问题我一直以为是自己哪里处理的逻辑有问题，后来发现其他人 也有类似的问题，然后基本上出问题的都是使用 Redis 作为 Broker 的，而我这边一方面不想将 R...
Linux安装(四)：celery连接redis报错mysqlclient
mingyuli的博客
02-01 768
1、错误： django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3 2、方法 1、注释"D:\project\Django\venv\lib\site-packages\django\db\backends\mysql\base.py"中的一...
Celery Once 项目常见问题解决方案
gitblog_01079的博客
11-13 1148
Celery Once 项目常见问题解决方案 项目基础介绍 Celery Once 是一个用于防止 Celery 任务多次执行和排队的开源项目。它通过在任务执行前检查锁状态来确保同一任务不会被多次执行。该项目主要使用 Python 语言开发，适用于需要确保任务唯一性的场景。 新手使用注意事项及解决方案 1. 安装依赖问题 问题描述：新手在安装 Celery Once 时，可能会遇到依赖库安装失败的...
Python开发运维：Celery连接Redis
cronaldo91的博客
11-22 3297
Celery是一个强大的 分布式任务队列的异步处理框架，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。通常使用它来实现异步任务(async task)和定时任务(crontab)。Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。Celery是一个基于python开发的分布式系统，它是简单、灵活且可靠的，处理大量消息，专注于实时处理的异步任务队列，同时也支持任务调度。
TypeError: cannot serialize '_io.BufferedReader' object 问题记录
shuyichao的博客
03-08 6233
在进行多进程自动化测试代码编写时，出现了cannot serialize _io.BufferedReader object错误，是将一个不可序列化的对象传递给对象从而导致的问题。对于多进程的程序而言，每一个进程都有自己独占的内存空间，他们之间是相互独立的。 先看一段我自己写的代码： m=mmsdb() conn=m.connect() cursor=conn.cursor() security_...
redis作为celery的存出结果时出错
Yg_Dmw的博客
09-06 1374
下面是我的celery配制 BROKER_URL = 'amqp://cloud:wxy970928@localhost:5672//' # 连接rabbitmq # CELERY_RESULT_BACKEND = "amqp://cloud:wxy970928@localhost:5672//cloud_res" # BROKER_URL = 'redis://:wxy970928@loca...
cannot serialize _io.BufferedReader object问题总结反思
热门推荐
Wzzzx的博客
10-21 1万+
照例先上代码。这份代码跟我的爬虫代码犯了一样的错。class Text: def __init__(self): self.num = 10 def Start(self): read = Process(target = self.read) write = Process(target = self.write) rea
Celery + Redis 的探究（工作过程！！！）
mr~li的博客
05-20 3145
文本尝试研究，使用 redis 作为 celery 的 broker 时，celery 的交互操作同 redis 中数据记录的关联关系。 不在乎过程的，可以直接看最后的结论。 测试代码： # a.py from celery import Celery celery_app = Celery('a', broker='redis://localhost:6379/0') @celery_...
celery+redis实现定时任务遇到的坑
Fortuna_的博客
01-07 3460
这是关于设置时区TimeZone的坑，一开始按照默认的设置时区为UTC,如图 后面在crontab折腾了半天都没有成功执行，后面心想会不会跟时区有关系，把时区改为"Asia/Shanghai"，居然就成功执行了！ 坑 ...
开发一个去水印小程序给我前后端
最新发布
06-22
以下是一个使用OpenCV的inpaint方法的示例（使用Node.js的opencv4nodejs库）：```javascriptconstcv=require('opencv4nodejs');functionremoveWatermark(imagePath,maskPath){//读取原始图像和水印掩码（mask）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值