RocketMQ--MQBrokerException: CODE: 2 DESC: [TIMEOUT_CLEAN_QUEUE]broker busy

最新推荐文章于 2024-11-24 23:37:20 发布
原创 最新推荐文章于 2024-11-24 23:37:20 发布 · 1.1w 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

分析业务日志发现每天4点左右有少量错误，因Broker设置4点自动清理文件，推测问题是清理文件造成IO突增，导致写数据超时。已修改配置，并部署3:30 - 4:30的nmon监控，后续将分析是否有资源突增。

分析业务日志发现：每天4点左右会报少量的”[TIMEOUT_CLEAN_QUEUE]broker busy, start flow control for a while, period in queue: 206ms, size of queue: 5“错误

Broker设置每天自动清理文件的时间是4点中，和Timeout时间比较吻合 ，那么问题可能就是因为清理文件造成IO突增，导致写数据超时；

修改如下配置：

sendMessageThreadPoolNums=64
useReentrantLockWhenPutMessage=true
waitTimeMillsInSendQueue=600

并部署了3:30~4:30之间的nmon监控，后续分析下nmon监控是否有IO、Cpu等资源的突增。

记录一下RocketMQ中遇见的 连环大坑！！希望你遇不到这些问题
axbhealj的博客
06-16 1922
windows10中 rokcetmq遇见的问题：No route info of this topic、.RemotingTooMuchRequestException: sendDefaultImpl call timeout、MQBrokerException: CODE: 1 DESC: create mapped file failed, server is busy or broker
深度挖掘RocketMQ底层那些导致消息丢失的汇总透析（TIMEOUT_CLEAN_QUEUE）
Java技术攻略的博客
03-15 1051
问题引发原因针对之前的两篇文章中所出现的 [XXX - broker busy] 问题主要是由于Broker在追加消息时持有的锁时间超过了阈值（默认为1s），Broker为了自我保护，会实现快速失败->抛出错误，客户端会选择其他Broker服务器进行重试。之前方案的解决手段除非是银行或金融级的业务服务，否则个人建议将，可以有效缓解和避免之前的问题。方案运行原理。
RocketMQ [TIMEOUT_CLEAN_QUEUE]broker busy问题分析
u010152179的博客
06-13 1万+
问题描述 最近线上总是出现TIMEOUT_CLEAN_QUEUE broker busy 的错误，所以跟踪源码分析下问题原因，错误详情如下: com.alibaba.rocketmq.client.exception.MQBrokerException: CODE: 2 DESC: [TIMEOUT_CLEAN_QUEUE]broker busy, start flow control for ...
精华推荐 |【深度挖掘RocketMQ底层源码】「生产故障排查系列」深度挖掘RocketMQ底层那些导致消息丢失的汇总盘点透析（TIMEOUT_CLEAN_QUEUE）broker busy
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
03-15 4222
针对之前的两篇文章中所出现的 [XXX - broker busy] 问题主要是由于Broker在追加消息时持有的锁时间超过了阈值（默认为1s），Broker为了自我保护，会实现快速失败->抛出错误，客户端会选择其他Broker服务器进行重试。综上所述，可以看出来在broker还没有发生“严重”的PageCache的broker busy问题，也就是消息追加以及加锁的最大时延没有超过阈值1s。
RocketMQ[TIMEOUT_CLEAN_QUEUE]broker busy问题解决
wulitaotao96的博客
05-07 944
参考链接：https://blog.youkuaiyun.com/u010152179/article/details/91797149 问题描述：消息的生产量很大，怀疑是磁盘io问题 问题解决：将机械盘替换为nvme盘，问题解决
rocketMQ之TIMEOUT_CLEAN_QUEUE异常
佛系程序员的野蛮之道
09-13 3835
深入理解rocketMQ的TIMEOUT_CLEAN_QUEUE异常
RocketMQ 一行代码造成大量消息丢失
吒哇
05-21 2442
1、问题现象 首先接到项目反馈使用 RocketMQ 会出现如下错误： 错误信息关键点：MQBrokerException：CODE:2 DESC:[TIMEOUT_CLEAN_QUEUE]broker busy,start flow control for a while,period in queue：205ms，size of queue:880。 由于项目组并没有对消息发送失败做任何补偿，导致丢失消息发送失败，故需要对这个问题进行深层次的探讨，并加以解决。 2、问题分析 首先我们根据关
【2021年遇到最头疼的Bug】【Alibaba中间件技术系列】「RocketMQ技术专题」Broker配置介绍及发送流程、异常(XX Busy)问题分析总结
夏壹分享
08-21 494
公司最近年底要对系统做一次大的体检，所以是不测不知道，一测吓一跳啊，出现了很多问题，其中最恶心的问题要数我们的ROCKETMQ消息队列的问题了，大家都知道消息队列是作为流量削峰的主要手段，负责系统健壮性和压力的最佳手段，谁知道，它竟然"生病"了，干不动活了。该异常会造成 消息丢失。该异常不会造成消息丢失。
RocketMQ源码详解 | Producer篇 · 其二：消息组成、发送链路
en_oc的博客
10-29 1377
概述 在上一节 RocketMQ源码详解 | Producer篇 · 其一：Start，然后 Send 一条消息 中，我们了解了 Producer 在发送消息的流程。这次我们再来具体下看消息的构成与其发送的链路 Message 在 RocketMQ 的使用中，Message 类是在发送消息时必须用到的，其中 body 即是消息的存放位置，还有的就是消息的 标识(flag) 和 属性(properties) public class Message { private String topic; p
RocketMQ实战异常汇总
热门推荐
小萝卜.的博客
07-16 1万+
今天的博客主题 MQ消息中间件 --》RocketMQ --》RocketMQ实战异常汇总 目录 No route info of this topic, xxxTopic CODE: 1 DESC: The broker does not support consumer to filter message by SQL92 MQ控制台查询%DLQ%Topic消息异常 b...
rocketmq TIMEOUT_CLEAN_QUEUE异常
u014594604的博客
07-09 1818
com.alibaba.rocketmq.client.exception.MQBrokerException: delayLevel=null, sendResult=null, errorMsg=CODE: 2 DESC: [TIMEOUT_CLEAN_QUEUE]broker busy, start flow control for a while, period in queue: 40...
Rocketmq TIMEOUT_CLEAN_QUEUE源码追踪
八荒六合唯我独尊
10-27 2287
1、问题现象 首先接到项目反馈使用 RocketMQ 会出现如下错误： 错误信息关键点：MQBrokerException：CODE:2 DESC:[TIMEOUT_CLEAN_QUEUE]broker busy,start flow control for a while,period in queue：205ms，size of queue:880。 由于项目组并没有对消息发送失败做任何补偿，导致丢失消息发送失败，故需要对这个问题进行深层次的探讨，并加以解决。 2、问题分析 首先我们根据关键字：
rocketmq: broker busy异常问题排查
koala775的博客
08-06 1265
rocketmq异常broker busy异常排查
rocketmq broker busy
qq_34158117的博客
08-06 548
org.apache.rocketmq.client.exception.MQBrokerException:CODE:2DESC:[TIMEOUT_CLEAN_QUEUE]brokerbusy,startflowcontrolforawhile,periodinqueue:200ms,sizeofqueue:64Formoreinformation, ...
Rocketmq报错
...
05-27 2043
1、RocketMq发送消息出现com.alibaba.rocketmq.client.exception.MQBrokerException: CODE: 2 DESC: [TIMEOUT_CLEAN_QUEUE]broker busy, start flow control for a while, period in queue: 201ms, size of queue: 1 最近...
RocketMQ发送消息失败 MQBrokerException: CODE: 1 DESC: create mapped file failed, server is busy or broker
Arden的博客
06-29 3971
org.apache.rocketmq.client.exception.MQClientException: Send [3] times, still failed, cost [840]ms, Topic: top_1, BrokersSent: [a, a, a] ............... Caused by: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 1 DESC: create mapped file fa
【java报错已解决】MQBrokerException: CODE: 1 DESC: create mapped file failed, server is busy or broke
鸽芷咕的博客
11-24 955
在Java开发的世界里，报错信息就像是一个个隐藏在代码迷宫中的小怪兽，时不时地跳出来给开发者们制造些麻烦。而今天我们要面对的这个“小怪兽”就是【java报错已解决】MQBrokerException: CODE: 1 DESC: create mapped file failed, server is busy or broke。这个报错一旦出现，可能会让不少开发者和环境配置者感到头疼，因为它涉及到文件映射创建失败以及服务器状态异常等情况，严重影响了程序的正常运行。那么接下来，就让我们一起深入剖析这个报错信
【Java】已解决：MQBrokerException: CODE: 1 DESC: create mapped file failed, server is busy or broke
屿小夏.的知识博客
09-08 1129
当Broker尝试创建映射文件（mapped file）用于存储消息数据时，如果服务器的资源不可用、磁盘空间不足、或其他系统瓶颈导致操作失败，就会抛出这个异常。这时，如果Broker无法及时创建新的映射文件用于存储这些消息，就可能导致此类异常的发生。这个错误，通常指示了在消息存储过程中发生了严重的问题。为避免此类异常，我们需要确保服务器有足够的资源，并且在代码中添加合理的资源监控和异常处理机制。在高负载的情况下，Broker可能会因为磁盘空间不足或IO性能瓶颈，无法及时创建新的映射文件，从而导致异常。
已解决MQBrokerException: CODE: 1 DESC: create mapped file failed, server is busy or broke异常，亲测有效！！！
小明的Java问道之路
04-02 1779
已解决RocketMQ发送消息失败MQBrokerException: CODE: 1 DESC: create mapped file failed, server is busy or broker异常的正确解决方法，亲测有效！！！
rocketmq: name-server: 127.0.0.1:9876 producer: group: My_Group send-message-timeout: 3000 retry-times-when-send-failed: 3 retry-times-when-send-async-failed: 3
最新发布
03-20
### 配置 RocketMQ Producer 的最佳实践 在配置 RocketMQ 生产者的参数时，需要综合考虑性能、可靠性以及业务需求。以下是关于 NameServer 地址、Producer 组名、消息发送超时时间和失败重试次数的具体说明。 #### 1. **NameServer 地址** 名字服务器（NameServer）是 RocketMQ 中的核心组件之一，负责管理 Broker 节点的信息并提供路由查询功能。为了确保生产者能够正常连接到集群中的 Brokers，需正确设置 `namesrvAddr` 参数。 ```java producer.setNamesrvAddr("rocketmqOS:9876"); ``` 如果存在多个 NameServers，则可以使用分号分割的形式指定地址列表[^2]。 #### 2. **Producer 组名** 每个生产者实例都需要分配唯一的组名以便于管理和区分不同的业务场景。建议遵循一定的命名规范以提高可维护性和识别度。 ```java DefaultMQProducer producer = new DefaultMQProducer("pg_example_group"); ``` 这里 `"pg_example_group"` 是自定义的组名，应避免与其他已有组冲突[^4]。 #### 3. **消息发送超时时间** 发送消息过程中可能因网络延迟或其他原因未能及时完成操作，因此合理设定超时阈值至关重要。通过调整 `sendMsgTimeout` 属性控制单次尝试的最大等待时限： ```java producer.setSendMsgTimeout(5000); // 单位毫秒，默认为3000ms即3秒 ``` 将此值设得过低可能导致频繁触发重试机制从而增加系统负担；反之过高则延长整体响应周期影响用户体验。 #### 4. **失败重试次数** 当初次尝试向目标 Queue/Broker 提交数据未果时，允许一定范围内的自动再提交行为直至成功或者超出限定额度为止。可以通过如下方式分别针对同步与异步模式下的错误情况进行独立定制化处理： - 同步发送失败重试次数 ```java producer.setRetryTimesWhenSendFailed(3); ``` - 异步发送失败重试次数 默认情况下两者均为两次，可根据实际需求灵活修改上述数值[^1]。 此外需要注意的是，在每次后续努力之前都会随机选取一个新的目的地而非简单重复原路径，以此提升成功率的同时减少局部热点现象的发生几率。 ```java // 完整示例代码 public class RocketMQProducerConfig { public static void main(String[] args) throws Exception { // 实例化一个生产者对象，并传入所属的Producer Group名称 DefaultMQProducer producer = new DefaultMQProducer("example_producer_group"); // 设置NameServer地址信息 producer.setNamesrvAddr("localhost:9876"); // 自定义同步发送失败后的最大重试次数 producer.setRetryTimesWhenSendFailed(3); // 设定每条消息发送过程中的最长允许耗时 producer.setSendMsgTimeout(5000); // 初始化启动生产者 producer.start(); System.out.println("Producer has been started."); // 关闭资源释放 producer.shutdown(); } } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值