celery task任务在redis存储有乱码

Celery任务结果Redis存储乱码解决
最新推荐文章于 2020-09-19 20:37:53 发布
转载 最新推荐文章于 2020-09-19 20:37:53 发布 · 486 阅读 · 0

本文探讨了在使用Celery时遇到的任务结果在Redis中存储出现乱码的问题。通过分析，发现此问题可能源于编码方式不匹配，并提供了解决方案：利用Python的pickle模块进行序列化和反序列化操作，以正确读取和解析存储在Redis中的任务结果。

celery的task任务结果在redis存储的时候有乱码显示。其原因具体不清楚，可以参考： 
https://segmentfault.com/q/1010000007019424?_ea=1210488

貌似，无法改变redis里面存储的东西，用Python的pickle就可以

pickle.loads(“所谓的乱码”) 
输出就可以了
-

redis(五) 集群模式---cluster模式（cluster）
仗剑执天涯的专栏
06-27 1156
3主3从的6个服务，没对主从不需要replicaof 指定，需要masterauth 密码相互授权。ClusterServersRedissonConfig 配置。ClusterLettuceRedisConfig 配置。6个节点，构成3主3从集群模式。可以在任意节点上执行。
Python资源大全中文版
资源小站
04-05 2103
GitHub 上有一个 Awesome - XXX 系列的资源整理,资源非常丰富，涉及面非常广。awesome-python 是 vinta 发起维护的 Python 资源列表，内容包括：Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。 具体内容 环境管理 管理 Python 版本和环境的工具 p：非常...
celery的task任务结果在redis存储乱码
wangjinyu124419的博客
09-19 1101
用redis储存celery异步任务的结果， 可以看到任务成功存进去了， 127.0.0.1:6379[1]> keys * celery-task-meta-31a89019-4106-4685-8a71-0075d976d91e 不过用这个key去查询的时候可以看到结果乱码： 127.0.0.1:6379[1]> get celery-task-meta-31a89019-4106-4685-8a71-0075d976d91e �}q(UstatusqUSUCCESSqU tra
Linux阿里云ECS-CentOS7——查看celery存储在redis内的数据
Spade_的博客
06-01 8806
找到你redis的安装目录，进入，启动redis-cli。此处我已经配置了软连接。 使用keys * 和 smembers查看 [root@banana ~]# redis-cli 127.0.0.1:6379> select 8 OK 127.0.0.1:6379[8]> keys * 1) "_kombu.binding.celeryev" 2) "_kombu.binding.celery" 3) "_kombu.binding.celery.pidbox" 127.0.0.1:6379[
Redis+celery建立异步任务
qq_26605483的博客
02-24 350
Redis+celery建立异步任务 一、window下按照redis： 看链接：https://blog.youkuaiyun.com/antma/article/details/79225084 二、建立celerydemo 1、Celery配置文件： 2、建立app： 3、建立任务：task 4、任务调用 5、启动celery：celery worker -A celer...
celery报错编码错误
需要更努力的博客
12-31 468
今天遇到了一个BUG，celery能正常启动，但是每次需要发送验证邮件时总是报错：utf-8无法编码，0X60 解决俩小时，也没解决，后来发现是计算机中文名字的坑，在改掉之后，立马正常运行了。 以后再也不用中文路径，中文名字之类的，坑了我好久。 ...
def create_app(config_name='default'): """应用工厂函数""" # 在应用启动时立即配置日志 # 这确保了所有后续的日志记录都使用我们定义的滚动文件处理器 from tools.log_config import setup_logging setup_logging() app = Flask(__name__, instance_relative_config=True) CORS(app) # 加载配置 # 处理 Worker 子进程中可能出现的 "No module named 'config'" 问题 try: from config import config except ModuleNotFoundError: # 动态将项目根目录加入 sys.path 后重试 current_dir = os.path.abspath(os.path.dirname(__file__)) project_root_retry = os.path.abspath(os.path.join(current_dir, os.pardir)) if project_root_retry not in sys.path: sys.path.insert(0, project_root_retry) from config import config # 再次尝试导入 app.config.from_object(config[config_name]) # 确保JSON序列化配置正确，解决中文乱码问题 - 适用于Flask 3.x app.config['JSON_AS_ASCII'] = False app.config['JSONIFY_PRETTYPRINT_REGULAR'] = True app.config['JSON_SORT_KEYS'] = False # Flask 3.x的正确配置方式 app.json.ensure_ascii = False app.json.sort_keys = False # 初始化数据库 db.init_app(app) # 为 gevent 环境配置数据库线程安全 with app.app_context(): # 确保数据库引擎使用线程安全模式 from sqlalchemy import event @event.listens_for(db.engine, "connect") def set_pragma(dbapi_connection, connection_record): # 只在数据库是 SQLite 时执行 PRAGMA 指令 if db.engine.name == 'sqlite': cursor = dbapi_connection.cursor() cursor.execute("PRAGMA journal_mode=WAL") cursor.execute("PRAGMA synchronous=NORMAL") cursor.execute("PRAGMA temp_store=memory") cursor.execute("PRAGMA mmap_size=268435456") # 256MB cursor.close() # 配置Swagger UI - 简化配置 swagger_template = { "swagger": "2.0", "info": { "title": "异步调度服务器", "description": "基于Flask和Celery的异步任务调度服务", "version": "1.0.0" }, "host": "127.0.0.1:5000", "basePath": "/", "schemes": ["http"] } swagger_config = { "headers": [], "specs": [ { "endpoint": 'apispec_1', "route": '/apispec_1.json', "rule_filter": lambda rule: True, # all in "model_filter": lambda tag: True, # all in } ], "static_url_path": "/flasgger_static", "swagger_ui": True, "specs_route": "/apidocs/", "uiversion": 3 } Swagger(app, template=swagger_template, config=swagger_config) # 添加全局响应处理器，确保中文编码正确 @app.after_request def after_request(response): # 确保JSON响应使用UTF-8编码 if response.content_type and response.content_type.startswith('application/json'): response.headers['Content-Type'] = 'application/json; charset=utf-8' return response # 注册teardown函数 @app.teardown_appcontext def shutdown_session(exception=None): db.session.remove() # 在应用上下文中创建所有数据表 with app.app_context(): # 导入所有模型，以便 SQLAlchemy 能够正确创建它们 from app.models import task, log # noqa db.create_all() return app def create_celery_app(app): # todo 从app.config读取 """创建独立的Celery应用""" # 在 Celery app 创建时，也配置一次日志 # 这对 beat 调度器或直接调用任务的场景很重要 from tools.log_config import setup_logging setup_logging() # 创建任务上下文 class ContextTask(Task): def __call__(self, *args, **kwargs): with app.app_context(): return self.run(*args, **kwargs) celery = Celery(app.import_name, task_cls=ContextTask) # 基础配置 celery.conf.update( broker_url='redis://127.0.0.1:6379/0', result_backend='redis://127.0.0.1:6379/1', # broker_url=app.config['CELERY_BROKER_URL'], # result_backend=app.config['CELERY_RESULT_BACKEND'], task_serializer='json', result_serializer='json', accept_content=['json'], timezone='UTC', enable_utc=True, # Windows兼容性配置 - 使用gevent # worker_pool='gevent', # 移除此行 worker_concurrency=20, # 添加任务发现配置 task_always_eager=False, # 确保任务异步执行 result_expires=3600, # 结果保存1小时 # 添加队列定义，确保只使用celery队列 task_default_queue='celery', task_create_missing_queues=True, # 让 Celery 不要覆盖我们自定义的 root logger，直接复用现有 handler worker_hijack_root_logger=False, # 将标准输出/错误也重定向到 logging，确保 print() 内容写入日志 worker_redirect_stdouts=True, worker_redirect_stdouts_level='INFO', # 可靠性配置：防止任务丢失 task_acks_late=True, # 任务完成后才确认，防止 Worker 崩溃导致任务丢失 worker_prefetch_multiplier=1, # 减少预取，确保任务均匀分配 task_reject_on_worker_lost=True, # Worker 丢失时拒绝任务，重新排队 ) celery.set_default() return celery # 创建全局Celery实例 flask_app = create_app() celery_app = create_celery_app(flask_app) @celery_app.task def long_task(data): sleep(10) return len(data) 优化以上代码便于flask编写蓝图和路由，可以拆分为几个python文件
最新发布
08-10
考虑到Celery任务可能需要使用Flask应用上下文（比如访问数据库），并且任务函数通常定义在单独的文件中（比如`tasks.py`），我们需要确保在任务模块中能够导入Celery应用实例。 为了简化，我们可以这样组织： ...
celery 自定义日志 轮转
04-20
比如，用户可能对如何动态添加任务ID到日志有疑问，或者在多进程环境下日志冲突的问题需要更深入的解决方案。 此外，用户提到“尽可能多的参考用户上一次的问题和你的回答”，所以需要确保本次回答与之前的内容衔接...
jumpserver堡垒机
m0_46961250的博客
04-29 563
jumpserver堡垒机 1.1jumpserver的介绍 Jumpserver 是全球首款完全开源的堡垒机, 使用 GNU GPL v2.0 开源协议, 是符合 4A 的专业运维审计系统。 Jumpserver 使用 Python / Django 进行开发, 遵循 Web 2.0 规范, 配备了业界领先的 Web Terminal 解决方案, 交互界面美观、用户体验好。 Jum...
Celery+python+redis异步执行定时任务
热门推荐
皓阳当空-博客
01-14 2万+
Celery+python+redis异步执行定时任务我之前的一篇文章中写了【Celery+django+redis异步执行任务】 博文:http://blog.youkuaiyun.com/apple9005/article/details/54236212 你会发现，这些代码并不依赖django框架，随便写到一个py文件中，就可以轻松的执行成功，这是因为这些代码并没有用到django-celery，dj
celery使用的一些小坑和技巧(非从无到有的过程)
weixin_33722405的博客
01-01 429
纯粹是记录一下自己在刚开始使用的时候遇到的一些坑，以及自己是怎样通过配合redis来解决问题的。文章分为三个部分，一是怎样跑起来，并且怎样监控相关的队列和任务；二是遇到的几个坑；三是给一些自己配合redis使用的代码示例。 一.celery使用：　　Ⅰ.把任务中间件服务器跑起来，rabbitmq-server　　　　跑起来以后，就能在浏览器(http://localhost:15672/#/qu...
python celery捕捉unicode字符类型的错误，导致后台任务失败的解决方案
小拜仁的博客
10-14 1010
背景 公司有一个用django(1.8.0)写的运维平台，目的用于申请阿里云和腾讯云机器；申请云上机器采用后台异步的方式，框架采用redis+celery(3.1.18)，但最近发现一个问题，就是有时候申请腾讯云机器的后台任务因为没有捕捉到某些异常，导致任务会失败，无法正常进行on_failure处理，报错如下： UnicodeEncodeError: ‘ascii’ codec can’t en...
分布式airflow下的日志中文乱码问题
chunbingxun0073的博客
08-06 737
[toc] 分布式airflow下的日志中文乱码问题 背景 我们的airflow部署方式为分布式的，在主节点上部署了webserver，worker节点部署了worker和日志服务器，并没有将日志写入远程服务器，所以任务的日志是直接写本地磁盘并通过日志服务器传输给webserver进行展示的。...
分布式队列神器 Celery，你了解多少？
十年代码写十年
04-16 554
我们在web开发中会经常遇到异步任务，对于一些消耗资源和时间的操作，如果不从应用中单独抽出来的话，体验是非常不好的，例如：一个手机验证码登录的过程，当用户输入手机号点击发送后，如果如果直接扔给后端应用去执行的话，就会引起网络IO的阻塞，那整个应用就非常不友好了，那如何优雅的解决这个问题呢？ 我们可以使用异步任务，当接收到请求后，我们可以在业务逻辑的处理时触发一个异步任务，前端立即返回读秒让用...
Celery使用过程中遇到的一些问题
NewTyun的博客
07-29 3789
做项目时，其中用了Celery这种工具。前段时间，遇到过一些问题，解决后没有进行总结，今天就抽个空把它记录下来。用过Celery的程序员，都知道它是一种异步执行程序的工具。里面有Work...
celery获取任务进度状态
皮皮的博客
12-28 1万+
http://www.ziyoubaba.com/archives/732 https://segmentfault.com/a/1190000008022050
Windows环境部署Redis与Celery定时任务指南
在Celery项目中，Redis经常被用作后台任务队列。它在Windows上也是支持的，但需要单独安装Redis服务。 5. Windows下配置Redis 由于Redis在Windows上不是原生支持的，需要从Redis的Windows版发布页面下载适合的版本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值