Celery 链接RabbitMQ报错CRITICAL/MainProcess] Frequent restarts detected: RestartFreqExceeded('5 in 1s',)

最新推荐文章于 2025-01-07 09:30:00 发布
最新推荐文章于 2025-01-07 09:30:00 发布
阅读量1.4k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 后端 文章标签： RabbitMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/quicktest/article/details/79694017

为了别人，也是为了将来自己忘了，备忘一个问题

在实现Celery链接RabbitMQ的时候，感觉万事具备了，却报错：

CRITICAL/MainProcess] Frequent restarts detected: RestartFreqExceeded('5 in 1s',)

raceback (most recent call last):
  File "d:\virtualenv\env\lib\site-packages\celery\worker\consumer.py", line 276, in start
    self._restart_state.step()
  File "d:\virtualenv\env\lib\site-packages\billiard\common.py", line 130, in step
    raise self.RestartFreqExceeded("%r in %rs" % (R, self.maxT))

RestartFreqExceeded: 5 in 1s


网友说是因为broker在amqp的协议末端不应该加'/'，否则连不上RabbitQM，也是一个道理，反正这个错就是RabbitMQ连不上...

其实我是忘了赋予权限了，只要这句话即可：

sudo rabbitmqctl set_permissions -p myvhost myuser ".*" ".*" ".*"
结束


Python软体中使用 Celery 与 RabbitMQ 实现高效异步任务队列：完整部署与实战指南
windowshht的博客
12-31 540
Celery是一个强大的、分布式的任务队列系统，专为处理异步任务而设计。它支持多种消息中间件，包括 RabbitMQ、Redis、Amazon SQS 等，允许你将任务从主应用程序中抽离，避免了主线程的阻塞。Celery 允许你在后台异步地处理任务，并提供任务重试、调度等功能。Celery 的核心是任务。任务可以是任何 Python 函数，Celery 会将这些函数包装成异步任务，让它们可以在后台执行。@app.task在这个例子中，我们定义了一个名为add。
【celery踩坑】celery因为版本不同，导致broker报错
会一点前端、会一点Java、会一点Python
02-06 947
到容器中，直接打印celery的配置，broker_url是正确的，但是依然是会报这个错。
Rabbitmq之RestartFreqExceeded: 5 in 1s解决
Quincy.Coder的博客
10-26 522
原因： rabbitmqctl 创建的虚拟主机没有权限 解决： sudo rabbitmqctl set_permissions -p myvhost myuser “." ".” “.*” 参考文章： https://blog.youkuaiyun.com/quicktest/article/details/79694017 ...
Celery连接rabbitmq出现billiard.exceptions.RestartFreqExceeded: 5 in 1s，解决方案
NQ31
08-04 2166
Celery连接rabbitmq问题ConnectionResetError: [Errno 104] Connection reset by peer解决方法
RabbitMQ流控机制
一地鸡毛
09-11 6740
Q实现了一种流控机制来避免上述问题。 RabbitMQ流控机制的核心是一个称为{InitialCredit, MoreCreditAfter}的元组，默认情况下值为{200, 50}。假如消息发送者进程A要给接收者进程B发消息，每发一条消息，Credit数量减1，直到为0，A被block住，对于接收者B，每接收MoreCreditAfter条消息，会向A发送一条消息，给予A Mo
celery源码分析-worker初始化分析（下）
qq_33339479的博客
07-08 1669
celery源码分析 本文环境python3.5.2，celery4.0.2，django1.10.x系列 celery的worker启动 在上文中分析到了Hub类的初始化，接下来继续分析Pool类的初始化， class Pool(bootsteps.StartStopStep): """Bootstep managing the worker pool. Desc...
Yolv5报错怎么解决
miichaelson的博客
08-15 2110
训练yolv5时出现的问题，有哪位大佬可以看看吗
ERROR/MainProcess] Unrecoverable error: AttributeError("'str' object has no attribute 'items'",)-bug
galaxiansheng的博客
08-15 2253
##在使用celery处理问题时，遇到一个bug，经过大量的百度，说是redis版本过高的 问题，之后继续找----------------------------------------------- ##bug: Traceback (most recent call last): File “/home/python/.virtualenvs/django_class/lib/python...
consumer: Cannot connect to redis://:**@127.0.0.1:6379/1: Error 10061 connecting to 127.0.0.1:6379.
weixin_42236288的博客
02-24 3810
windows 系统下 在使用celery 链接redis时报这个错误，一个测试 from celery import Celery app = Celery('demo', broker='redis://:root@127.0.0.1/1') # 创建任务函数 @app.task def my_task(): print("任务函数正在执行....") 报这个错是由...
Python 中的分布式编程：使用 Celery 和 RabbitMQ 实现任务队列
一名热衷于技术的全栈开发者，专注于前端与后端的全面技术探索。在这里，我将分享我在技术领域的学习与成长，助力更多开发者的进步。
01-07 964
在实际开发中，合理配置任务队列、监控任务状态、优化 Worker 并发，可以显著提升任务执行效率。Celery 和 RabbitMQ 的结合为分布式任务队列提供了强大的解决方案，特别适合处理高并发和耗时操作。任务队列是一种消息传递机制，用于将耗时或高并发的任务从主线程中解耦，并分发给后台工作节点异步处理。通过任务分发、异步化和任务重试等特性，它们能够有效提升系统性能，同时降低主线程的负载压力。RabbitMQ 是一款强大的消息代理工具，它为任务队列提供了高效的消息传递能力。
broker异常恢复情况下 消息重复消费问题。
yifouhu2947的博客
02-14 1287
之前在学习rocketmq源码的时候，阅读了丁老师的《rocketmq技术内幕》 在写到broker异常关闭再恢复的情况下会造成大量的消息重复消费问题。我认为这里是有误的。 首先我们知道无论broker是否正常异常恢复，都是先恢复逻辑队列CousumeQueue的。然后再根据本地store目录下是否有abort文件来判断关闭的时候是正常还是异常。 abort：当我们正常启动一个broker时...
python raise异常处理
python学习者的博客
02-20 1632
一般最简单的异常处理是try except: try: f = open('test.txt') except Exception as e: print(e) finally: f.close() 自己也可以用raise自定义异常: class CustomError(Exception): def __init__(self, ErrorInfo): self.errorinfo = ErrorInfo def __str__(
全网独家解决方案: doccano报错 Your models in app(s): ‘api‘ have changes that are not yet reflected in a migrat
大脸猫的博客
03-02 3036
报错 在命令行中打开doccano时，系统报错： Your models in app(s): 'api' have changes that are not yet reflected in a migration, and so won't be applied. Run 'manage.py makemigrations' to make new migrations, and then re-run 'manage.py migrate' to apply them. 问题分析 我们.
Ubuntu 11 安装Subversion成功记
Wally Yu的专栏
01-11 973
综合了几个网页信息，结合自己的理解，在Ubuntu11上搭建成功了svn server 第一步：安装apache2  libapache2-svn subversion sudo apt-get install apache2 sudo apt-get install subversion sudo apt-get install libapache2-svn 安装完
Python 和 VBScript 对文件编码-解码的方式 (Hex, Base64) 的疑问
Wally Yu的专栏
05-04 6173
本人目前的项目需要在Windows上用VBScript将一文件转换为二进制码存入数据库，再在Linux上用Python从数据库中读取并解码成图片。反复调试，发现微软和Python的转码标准不统一，导致了这种实现方式失败。若有哪位大侠是这方面的高手还请不吝赐教 1. Windows上使用VBScript对图片转码为“base64”格式： Function ReadBinary(Fil
[源码解析] 并行分布式任务队列 Celery 之启动 Consumer
罗西的思考
04-05 336
Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文我们来说说Celery Worker Consumer 组件的启动。首先会概述启动过程，然后会选择Consumer的三个有特点的 子组件 进一步讲解其启动过程。这样大家就对 Consumer 的来龙去脉了解会更加深入。
谁说QTP不能多线程 - 当Python遇上QTP
Wally Yu的专栏
10-17 5172
谁说QTP不能多线程 - 当Python遇上QTP 作者：Wally Yu (微博：http://weibo.com/quicktest) 经常有人问我一个问题：QTP可以同时做多个项目的自动化吗？我每次都回答说“不行，QTP不支持多线程，VBS本身就不是一门多线程的
前端之Vue使用axios跨域正确配置
Quincy.Coder的博客
06-06 5750
组件代码 <script> export default { name: 'App', methods: { getData() { this.$http.get('api/emojis').then(function (res) { console.log(res) }) } ...
celery 中 RabbitMQ报错，amqp.exceptions.PreconditionFailed: (0, 0): (406) PRECONDITION_FAILED - delivery acknowledgement on channel 1 timed out. Timeout value used: 1800000 ms. This timeout value can be configured, see consumers doc guide to learn more
最新发布
03-25
<think>嗯，用户在使用Celery时遇到了RabbitMQ的amqp.exceptions.PreconditionFailed错误，具体提示是delivery acknowledgement超时。首先，我需要理解这个错误的背景。根据引用[^1]，这个错误是由于消息确认在指定时间内未完成导致的，可能和消费者的处理时间过长或配置不当有关。 首先，应该考虑调整消费者的确认超时时间。在Celery中，可以通过配置broker_transport_options来增加这个超时值。比如设置`confirm_publish`和`visibility_timeout`，但需要确认这些参数是否直接关联到消息确认的超时。可能需要查找Celery文档中关于RabbitMQ的配置选项，特别是关于消费者确认的部分。 然后，检查消费者的处理逻辑是否有阻塞或长时间运行的任务。如果任务执行时间超过默认的30分钟（1800000毫秒），可能需要优化任务，分解为更小的子任务，或者增加超时时间。此外，确认是否正确地使用了`acknowledge`，确保在处理完成后及时发送确认信号，避免积压。 接下来，检查RabbitMQ的队列配置。比如队列是否设置了`x-message-ttl`（消息存活时间）或`x-expires`（队列自动删除时间），这些参数如果设置过短，可能导致消息在未被处理前就被删除，从而引发预条件失败的错误。需要确保这些参数合理，或者移除不必要的限制。 另外，查看消费者数量是否足够。如果消费者数量不足，导致消息积压，可能需要增加并发 workers，可以通过Celery的`-c`参数调整。同时，确认网络稳定性，避免因网络问题导致确认信号未能及时送达。 最后，建议用户启用Celery的事件监控，实时观察任务执行状态，使用Flower工具进行可视化管理。如果问题持续，可能需要深入分析堆栈跟踪，或者考虑升级Celery和RabbitMQ的版本，确保兼容性。 生成的相关问题需要覆盖配置调整、错误原因、优化处理、队列设置等方面，帮助用户全面理解并解决类似问题。</think>### Celery RabbitMQ AMQP PreconditionFailed错误解决方案 当Celery使用RabbitMQ出现`amqp.exceptions.PreconditionFailed: delivery acknowledgement on channel 1 timed out`错误时，本质是消息确认机制触发了RabbitMQ的预置条件验证失败。以下是分步解决方案： --- #### 1. 调整消费者确认超时（核心配置） 在Celery配置中增加消息确认超时参数： ```python # Celery配置示例 app.conf.broker_transport_options = { 'confirm_publish': True, # 启用发布确认 'visibility_timeout': 43200000, # 消息可见超时（12小时，单位毫秒） 'ack_timeout': 3600000 # 消费者确认超时（60分钟） } ``` 该配置需与RabbitMQ的`consumer_timeout`参数（默认30分钟）配合使用 --- #### 2. 优化消费者处理逻辑 - **任务拆分**：将耗时超过30分钟的任务拆分为子任务 - **心跳机制**：在长任务中添加定期心跳检测 ```python @app.task(bind=True, soft_time_limit=3600) def long_running_task(self): for i in range(100): do_work() self.update_state(state='PROGRESS', meta={'current': i}) ``` --- #### 3. 检查队列声明参数 通过RabbitMQ管理界面验证队列参数： ```bash # 查看队列参数 rabbitmqctl list_queues name arguments ``` 重点关注： - `x-message-ttl`（消息存活时间） - `x-expires`（队列自动删除时间） - `x-max-length`（队列最大消息数） --- #### 4. 增加消费者并发度 启动worker时指定并发参数： ```bash celery -A proj worker -l info -c 4 --autoscale=10,3 ``` 建议设置： - `-c`：基础并发数（CPU核心数×2） - `--autoscale`：根据负载自动扩展 --- #### 5. 消息确认模式验证 检查任务是否正确配置自动确认： ```python @app.task(acks_late=True) # 推荐使用延迟确认模式 def process_task(data): try: handle_data(data) except Exception: requeue_task(data) ``` --- #### 6. 网络稳定性增强 在RabbitMQ连接配置中添加重试机制： ```python app.conf.broker_connection_retry_on_startup = True app.conf.broker_connection_max_retries = 100 app.conf.broker_connection_retry_delay = 5 # 秒 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值