django celery redis 消息unack 的异常出现场景

最新推荐文章于 2025-02-07 17:40:13 发布
原创 最新推荐文章于 2025-02-07 17:40:13 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #redis

博客指出处理过程中若出现异常且未回复ack应答，后台会出现unacked数据，积压过多会使程序无法继续消费数据。解决办法是针对异常做处理并回复ack应答。程序断开与Redis连接后，unacked消息会变为ready状态，代码更新后，server应用连接Redis会重新消费消息。

 

如若处理过程中出现异常，而没有回复ack 应答。通过后台就会看到有 unacked 的数据。

如果积压的多会导致程序无法继续消费数据（数量和消费者的线程数有关）。
解决办法 针对异常 做处理，捕捉到后 也回复ack应答。

程序断开于redis的链接后 unacked的消息状态会重新变为ready 等待消费。
代码更新后，server应用连接redis 就会重新消费掉消息。


 

Celery 在Django 环境下无法接收消息问题解决
jackny9的专栏
03-19 2830
问题描述：        使用celery 作为分布式任务处理器，rabbitmq 作为消息处理器，长时间运行以后发现当Django 采用后台http方式运行的时候，celery 从rabbitmq 读取的数据一直提示序列化错误，而且无法配置多项CELERY_ACCEPT_CONTENT ，采用redis时则无法收到任何消息。 解决方案：       导致问题的原因主要是由于采用后台运行
Python 之 Celery + Redis + Django 教程详细
YUAYU博客
07-07 7299
这里写目录标题第一章 Celery简介1、Celery是什么2、Celery使用场景3 、Celery工作流程4、Celery核心组件第二章 Celery安装相关软件1、Celery安装2、其他安装第三章 Celery代码实现1、Celery基本使用方法2、Celery的配置文件配置异步任务3、Celery的定时任务4、Django + Celery5、Celery的部署和监控 第一章 Celery简介 1、Celery是什么 1、Celery是python中使用比较多的并行分布式框架 2、Celery是
你的celery worker和result backend为什么不工作？
usiel的博客
12-15 2084
在历经一天多的困扰后，我的celery的FAQ中找到了答案： Windows¶ Does Celery support Windows? Answer: No. Since Celery 4.x, Windows is no longer supported due to lack of resources. But it may still work and we are happy to accept patches. 从Celery4.X版本起，不再支持windows。。。。。。我X你大爷，从fl
Redis队列中大量unacked消息的问题定位
mr~li的博客
05-22 6821
最近在使用redis时发现总有一些消息队列中存在大量的处于unacked状态的消息，一般来说，如果队列中ready状态的消息数比较多，可以认为是消费者的处理能力不足，可以通过增加消费者来解决，而unacked消息存在基本是有以下两点原因： 消费者取走消息后没有及时做消息确认，对于开启手动确认机制的，不进行ack则消息会一直以unacked状态留在队列中。 消费者处理能力不足。生产者投放消息的速...
Celery + Redis
qwer000999888的博客
03-23 1564
文本尝试研究，使用 redis 作为 celery 的 broker 时，celery 的交互操作同 redis 中数据记录的关联关系。 不在乎过程的，可以直接看最后的结论。 测试代码： > # a.py from celery import Celery celery_app = Celery('a', broker='redis://localhost:6379/0') @celer...
Celery任务阻塞问题排查
Cufewxy的博客
02-07 1841
以上2个问题都遇到了Celery任务卡住的问题，其原因十分类似，但具体细节又不相同。它们都是在多进程模式下产生的，问题1是因为子进程之间数据库连接池的冲突，问题2是因为子进程之间数据库驱动文件的冲突。Celery中多进程只支持fork，不支持spawn，因此使用多进程非常容易导致任务卡住。在解决此类问题时，一方面在代码中多打些日志，具体定位程序在哪里卡住，另一方面使用strace等命令，查看程序最后一次进行调用的资源。
celery+redis unack队列问题
weixin_43250823的博客
09-27 1988
celery+redis unack队列问题 powered by roger丶c 问题描述 使用redis作为celery的中间件时，redis队列可能会出现unacked队列 产生原因 一、消费者 1）worker处理速度慢，worker在等待执行，此时会将任务放在unacked队列中等待worker执行 2）没有返回ack，对于开启手动确认机制的，不进行ack消息会一直...
python使用rabbitmq阻塞_python – Celery/RabbitMQ unacked消息阻塞队列？
weixin_39940154的博客
12-11 766
我已经调用了一个任务,用urllib2远程获取一些信息几千次.这些任务是使用随机eta(一周内)安排的,因此它们都不会同时命中服务器.有时我会得到404,有时候不会.我正在处理错误,以防它发生.在RabbitMQ控制台中,我可以看到16条未确认的消息：我停下芹菜,清理队列并重新启动它. 16条未经确认的消息仍在那里.我有其他任务进入同一队列,也没有执行任何任务.清除之后,我尝试提交另一项任务,状态...
django celery redis使用具体实践
12-31
环境准备 python3.5.4 windows redis ...# celery中间人 redis://redis服务所在的ip地址:端口/数据库号 BROKER_URL = 'redis://127.0.0.1:6379/0' # celery结果返回，可用于跟踪结果 CELERY_RESULT_
Docker部署Django要点注意（Docker+Django+Celery+Redis+Channel）
Jack Lee's blogs
01-10 863
参考： 1.Django-Docker容器化部署：Django-Docker部署 2.一步步构建django + redis + mysql + nginx项目 3.在Docker容器中配置和运行Django + Celery 启动Celery关键：要通过docker-compose中在容器中启动celery（而不是直接在宿主机环境启动celery，这样会访问不了Django容器中的sqlite3数据库或者PostgreSQL数据库容器），将celery、redis、django几个容器互相连接。如果有Po
Python Django Celery redis 调用阿里云短信接口
weixin_44725128的博客
05-27 707
# 我的项目 tree """ 环境： celery celery-with-redis Django redis aliyun-python-sdk-core """ --DjCelery --celery_tasks --sms.py --tasks.py --urls.py --views.py --DjCelery --__init__.py --ce...
Celery + Redis 的探究（工作过程！！！）
mr~li的博客
05-20 3143
文本尝试研究，使用 redis 作为 celery 的 broker 时，celery 的交互操作同 redis 中数据记录的关联关系。 不在乎过程的，可以直接看最后的结论。 测试代码： # a.py from celery import Celery celery_app = Celery('a', broker='redis://localhost:6379/0') @celery_...
RabbitMQ 处理unacked消息
xzr1117的博客
04-06 9775
原因：消费端由于没有确认消息，导致队列阻塞，这是RabbitMQ的一种保护机制。防止当消息激增的时候，海量的消息进入consumer而引发consumer宕机。 RabbitMQ提供了一种QOS(服务质量保证)功能，即在开启手动确认消息的前提下，限制信道上的消费者所能保持的最大未确认的数量。可以通过设置PrefetchCount实现。   举例说明:可以理解为在consumer前面加了一个缓冲容器，容器能容纳最大的消息数量就是PrefetchCount。如果容器没有满Rabb...
用redis来实现具有ack机制的消息队列
liuyinlong
12-15 3236
消息队列（MQ） 相信大家对MQ这个词都不会陌生,不管用过还是没用过的,大多会对他有一定的了解, 那么消息队列有什么好处呢 解耦(接触服务之间的耦合度关系) 削峰(例如我某个促销活动在某个时间点有非常大的流量涌入,这个时候用Mq做缓存是最好的方式了) 异步化(例如有些服务是我不需要在同步链中进行调用的,那么可以用mq来做一个异步消费) 传统MQ的缺点 MQ基本上和缓存一样是居家必
Celery + Redis交互过程探究
bocai_xiaodaidai的博客
03-24 4353
过程不贴上来了，直接看结论： 1、当发起一个 task 时，会向 redis 中插入以"celery"为key一条列表类型的记录,。 2、如果这时有正在待命的空闲 worker，这个 task 会立即被 worker 领取。 3、如果这时没有空闲的 worker，这个 task 的记录会保留在"celery" key 中。 4、如果task被worker领取，这时会将这个 task 的记录从 k...
高性能分布式任务队列Celery功能探究
None
05-26 912
本文讲述的是高性能分布式任务队列Celery的相关功能和设计，Celery因为其良好的设计思想和性能，跟分布式任务调度系统Airflow完美配合，成就了两套知名系统，而Celery更加掩藏...
Python Celery分布式任务队列（1）--celery介绍+集群部署+参数了解
qq_35061334的博客
05-31 7892
目录1、安装，集群部署1.1、server节点1.1.1、安装celery1.1.2、安装redis-server1.1.2、选择中间人（Broker）1.1.3、拷贝任务代码到机子上1.2、worker节点1.2.1、安装celery1.2.2、拷贝任务代码到机子上介绍 1、安装，集群部署 1.1、server节点 1.1.1、安装celery 如果使用 Redis 作为中间人（Broker）必须要安装 Celery 的依赖库，您可以通过 celery[redis] 进行安装： pip3 install
浅谈工作中celery与Redis遇到的一些问题
weixin_30840573的博客
04-28 2442
celery的内存泄漏？ 　　总结： celery执行完任务不释放内存与原worker一直没有被销毁有关，因此CELERYD_MAX_TASKS_PER_CHILD可以适当配置小点，而任务并发数与CELERYD_CONCURRENCY配置项有关， 　　每增加一个worker必然增加内存消耗，同时也影响到一个worker何时被销毁，因为celery是均匀调度任务至每个wo...
celery+redis实现定时任务遇到的坑
Fortuna_的博客
01-07 3460
这是关于设置时区TimeZone的坑，一开始按照默认的设置时区为UTC,如图 后面在crontab折腾了半天都没有成功执行，后面心想会不会跟时区有关系，把时区改为"Asia/Shanghai"，居然就成功执行了！ 坑 ...
django celery redis flower 启动
最新发布
05-13
<think>好的，我需要帮助用户配置并启动Django、Celery、Redis和Flower。首先，我应该回顾用户提供的引用内容，看看里面有没有相关的配置步骤。用户之前的问题是关于启动这些服务的，所以我要确保覆盖每个组件的安装、配置和启动命令。 首先，引用[2]提到了Django-Celery-Flower的配置，包括CELERYBEAT_SCHEDULE的设置，以及启动worker和beat的命令。引用[3]指出需要降低Redis版本到2.10.6以避免错误。引用[4]则提到了安装Flower和使用异步任务处理的建议，比如错误处理和定时任务配置。引用[1]中的URL配置可能涉及到静态文件的处理，但可能对当前问题帮助不大。 接下来，我需要按照逻辑步骤组织回答：安装依赖、配置Django项目、启动Redis、配置Celery、启动Celery worker和beat、启动Flower监控。每个步骤都需要检查引用中的相关信息，并确保命令正确无误。例如，安装Celery和相关库时，需要包括django-celery-beat和Flower。启动命令方面，引用[2]和[4]都提到了使用celery -A命令启动worker和beat，以及flower的命令。 另外，用户可能遇到的常见问题，比如Redis版本过高导致的错误，需要在注意事项中提及，如引用[3]所述。同时，定时任务的配置方法在引用[2]和[4]中都有涉及，可能需要说明如何在settings.py中设置CELERY_BROKER_URL和CELERY_RESULT_BACKEND，以及CELERYBEAT_SCHEDULE的例子。 最后，生成相关问题需要考虑用户可能的后续疑问，比如如何监控任务、处理错误、配置定时任务或优化性能。需要确保问题覆盖用户可能感兴趣的扩展主题。</think>以下是配置并启动 Django + Celery + Redis + Flower 的完整指南： --- ### 一、环境安装 ```bash # 安装核心依赖 pip install django celery[redis] django-celery-beat flower # 指定Redis兼容版本（避免AttributeError错误） pip install redis==2.10.6 # 根据引用[3]解决兼容性问题 ``` --- ### 二、Django项目配置 1. **settings.py** 添加配置： ```python # Celery基础配置 CELERY_BROKER_URL = 'redis://localhost:6379/0' # 使用Redis作为消息代理 CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' CELERY_ACCEPT_CONTENT = ['json'] CELERY_TASK_SERIALIZER = 'json' # 定时任务配置（根据引用[2][4]） CELERY_BEAT_SCHEDULER = 'django_celery_beat.schedulers:DatabaseScheduler' ``` 2. **注册应用**： ```python INSTALLED_APPS = [ # ... 'django_celery_beat', # 根据引用[2][4]添加定时任务支持 ] ``` --- ### 三、服务启动流程 1. **启动Redis**： ```bash redis-server # 需提前安装Redis服务 ``` 2. **启动Django应用**： ```bash python manage.py runserver ``` 3. **启动Celery Worker**： ```bash celery -A your_project_name worker -l info -P eventlet # 根据引用[2][4] ``` 4. **启动Celery Beat（定时任务）**： ```bash celery -A your_project_name beat -l info # 根据引用[2][4] ``` 5. **启动Flower监控**： ```bash celery -A your_project_name flower --port=5555 # 根据引用[4] ``` --- ### 四、验证配置 1. 创建测试任务 **tasks.py**： ```python from celery import shared_task @shared_task def add(x, y): return x + y ``` 2. 通过Django Shell触发任务： ```python from tasks import add add.delay(3, 5) # 在Flower界面可观察任务状态 ``` --- ### 五、注意事项 1. **Redis连接问题**：确保Redis服务运行在默认端口6379 2. **项目命名**：替换`your_project_name`为实际Django项目名 3. **定时任务管理**：通过`http://localhost:5555`访问Flower监控界面[^4] 4. **Windows兼容性**：Worker需加`-P eventlet`参数（根据引用[2]） ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值