celery4.3.0+rabbitmq 报错 ConnectionResetError:[errno 104] Connection reset by peer

Celery+RabbitMQ错误解决方案
最新推荐文章于 2025-01-24 23:50:03 发布
原创 最新推荐文章于 2025-01-24 23:50:03 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文描述了使用Celery结合RabbitMQ在本地测试时遇到的频繁连接重置错误，通过网络调整和升级Celery版本至4.4.0rc4成功解决了问题。

【1】使用celery+rabbitmq进行异步任务操作，隔个几分钟就报一下错。报错内容如下：

celery的版本是4.3.0

ConnectionResetError:[errno 104] Connection reset by peer

【2】由于是在本地测试的，猜测是网络原因

把wifi换成网线，果然报错少了很多，但还是会时不时报错。

【3】在celery的github里，issue中找到了这个问题，

https://github.com/celery/celery/issues/4867

翻到最后发现官方给出的方案是升级celery到4.4.0rc4

【4】解决

在我的python3虚拟环境中执行下面升级celery的命令即可，

pip3 install -U celery==4.4.0rc4

运行celery任务，就没在报错了。

【5】昨天看到的一个帖子，是开发者对celery的吐槽。好像还有内存泄露等问题…

https://www.v2ex.com/t/494477

点击进入

Numpy进行数组形状调整与变换
Mr数据杨
05-13 709
Numpy提供的数组形状调整与变换功能为数据处理提供了极大的灵活性和便捷性。reshape()可以在不改变数据的情况下调整数组的形状，ravel()则可以将多维数组展平成一维。通过这些工具，可以更高效地组织和处理数据，以适应不同的分析需求。掌握这些基本操作，有助于在各种场景中灵活应用数组操作，从而提升数据处理和建模的效率。
celery框架|环境搭建及测试[celery+rabbitmq+redis]
geniusle201的博客
01-09 1326
目录1. celery 简介2. celery 安装及部署2.1 celery 安装2.2 rabbitmq 安装3. run起一个简单的demo3.1 tasks.py 文件3.2 在terminal中调用celery：3.3 调用woker并查看执行情况 1. celery 简介 关于celery的简介，网上一大堆，在此不做赘述。 举个不太恰当的例子来作说明。celery就是一个服务团队，进...
Celery连接rabbitmq报Connection reset by peer
rgc_520_zyl的博客
11-01 2908
问题复现 在使用celery + rabbitmq作为broker时,启动一定时间后 会 由于celery和rabbitmq的心跳检测机制 认为连接有问题,先报 如下错误 Too many heartbeats missed 再过一段时间,由于认为心跳有问题,会断开tcp连接,就会报 如下错误: ConnectionResetError: [Errno 104] Connection reset by peer project_name | [2021-10-27 12:19:00,125:
ScanNet数据集下载 ConnectionResetError: [Errno 104] Connection reset by peer
momo的博客
02-24 1116
如果直接python运行整个脚本很容易导致ConnectionResetError: [Errno 104] Connection reset by peer, 因此可以使用以下运行命令每次进行一个filetype的下载。出现 ConnectionResetError: [Errno 104] Connection reset by peer 解决方式。整套数据集共1.2TB，如果不想全部下载的话可以使用以下命令下载约5.6G的采样数据。
关于celery连接rabbitMQ错误：ConnectionResetError: [Errno 104] Connection reset by peer
笑笑布丁的博客
11-27 3173
爬虫使用celery从RabbitMQ取数据的时候，会遇到这个错误，关于错误的原因在于：网络不稳定或者连接时间过长.我的原因是在于时间过长，因为爬虫消化需要一定的时间. 下面开始我的填坑之路： 1、在github issue里面，发现有人跟我是同样的错误，遂采用它得到的解决办法： broker_pool_limit = None 结论: 不行. 2 在kombu 包的pidbox文件的rep...
[Python] ConnectionResetError: [Errno 104] Connection reset by peer
Cindy的博客
06-25 2万+
python socket 编程，sftp远程读日志文件，取最后的30行返回。收到ConnectionResetError: [Errno 104] Connection reset by peer报错。 最后找到原因是send的数据size太大. Traceback (most recent call last):   File "s1.py", line 63, in
Django+celery+rabbitmq配置文档
01-12
### Django+Celery+RabbitMQ配置文档 #### 一、环境搭建与配置 ##### 1.1 系统环境 - **操作系统**: Ubuntu 14.04 - **开发工具**: PyCharm 5.0 - **虚拟环境**: 使用虚拟环境隔离项目依赖，避免环境冲突。 #####...
connectionreseterror: [errno 104] connection reset by peer
qq_45832615的博客
10-29 1148
connectionreseterror: [errno 104] connection reset by peer 也有可能单纯是要访问的网址写错了
TCP套接字编程，客户端出现ConnectionResetError：[Errno 104] Connection reset by peer
weixin_42946318的博客
08-12 1万+
在TCP套接字的编程中，服务端报错为： 客户端的报错为： 经过检查发现，是由于服务器端的recv()方法，没有写缓冲区大小参数导致 解决办法： 在服务端的recv()方法内写上参数，比如 recv_data = service_client_socket.recv(1024)...
[web] ConnectionResetError: [Errno 104] Connection reset by peer
热门推荐
currycode
03-14 4万+
引起这种异常的原因： 1，如果一端的Socket被关闭（或主动关闭，或因为异常退出而 引起的关闭），另一端仍发送数据，发送的第一个数据包引发该异常(Connect reset by peer)。 Socket默认连接60秒，60秒之内没有进行心跳交互，即读写数据，就会自动关闭连接。 2，一端退出，但退出时并未关闭该连接，另一端如果在从连接中读数据则抛出该异常（Connection reset...
ConnectionResetError: [Errno 104] Connection reset by peer
Debug yourself!
01-24 932
如果问题持续，可以提供更多上下文信息（如服务器日志或邮件服务配置），以进一步排查问题。连接到 IMAP 服务器时，SSL 握手失败，并且服务器主动重置了连接 (在出现此错误时，建议添加调试信息以进一步确定问题。
报错ConnectionResetError: [Errno 104] Connection reset by peer
JJJasmine的H君的博客
06-26 1773
近期在使用deepspeed框架训练LLM的时候，报错ConnectionResetError: [Errno 104] Connection reset by peer。
ConnectionResetError(104, 'Connection reset by peer'))
最新发布
04-01
### 关于 `ConnectionResetError` 的解决方案 #### 错误分析 `ConnectionResetError: [Errno 104] Connection reset by peer` 是一种常见的网络异常，通常发生在 TCP 连接中的一方突然关闭连接，而另一方仍然尝试与其通信的情况下。这种错误可能由多种因素引起，例如服务器负载过高、网络不稳定或配置不当等。 在 Celery 和 RabbitMQ 场景下，该问题可能是由于 RabbitMQ 或 Redis 容器的资源不足、超时设置不合理或其他环境问题引起的[^1]。而在 Python 中通过 Docker 使用 Redis 时，则可能存在类似的网络中断情况[^2]。 --- #### 解决方案概述 以下是几种常见且有效的解决方法： 1. **捕获并处理异常** 可以通过增强代码健壮性来应对此类错误。具体来说，在 Python 中可以引入 `socket.error` 并捕获特定的错误码（如 `errno.ECONNRESET`），从而避免程序崩溃。 ```python from socket import error as SocketError import errno try: # 主要逻辑代码放置在此处 ... except SocketError as e: if e.errno != errno.ECONNRESET: # 如果不是连接重置错误则重新抛出 raise else: print("Caught connection reset error, handling gracefully.") pass ``` 上述代码片段能够有效防止因远程主机强制关闭连接而导致的应用程序终止[^3]。 2. **优化 RabbitMQ 配置** 对于 Celery 和 RabbitMQ 组合使用的场景，建议调整 RabbitMQ 的心跳检测参数以及客户端的心跳间隔时间。可以通过以下方式实现： - 修改 Celery 配置文件中的 broker 心跳选项： ```python app.conf.broker_heartbeat = 10 # 设置心跳时间为 10 秒 ``` - 同时确保 RabbitMQ Server 已启用相应的心跳机制，默认情况下其值为 60 秒。如果需要更改此默认行为，请编辑 RabbitMQ 的配置文件 `/etc/rabbitmq/rabbitmq.config` 添加如下内容： ```erlang [ {rabbit, [{tcp_listeners, [{"0.0.0.0", 5672}]}, {heart_beat_timeout, 10}]} ]. ``` 3. **检查 Redis/Docker 网络稳定性** 当使用 Redis 作为消息队列后端时，需确认容器间网络连通性和性能状况良好。可采取措施包括但不限于增加内存分配给 Redis 实例、减少最大空闲时间以及时清理无用连接池项等操作。 4. **升级依赖库版本** 考虑到当前所使用的 Celery 版本 (v4.3.0)，较新版本已修复许多潜在 bug ，因此推荐考虑更新至最新稳定版(如 v5.x+)以便获得更好的兼容性和功能支持。 --- ### 总结 综上所述，“Connection Reset By Peer”的根本原因是TCP层面上单方面切断链接所致；针对不同上下文中引发的具体情形分别给出了相应的预防手段——从改进应用程序内部结构设计角度出发直至外部服务提供商层面均有所涉及。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值