RocketMQ 一行代码造成大量消息丢失

RocketMQ一行代码致大量消息丢失问题解析
最新推荐文章于 2025-10-14 09:55:32 发布
原创 最新推荐文章于 2025-10-14 09:55:32 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分析了RocketMQ在特定情况下出现TIMEOUT_CLEAN_QUEUE错误，导致消息丢失的问题。问题源于Broker的快速失败机制，且在异常处理中缺少对SYSTEM_BUSY的重试。解决方案包括增加waitTimeMillsInSendQueue值和修复RocketMQ的BUG，同时建议业务方自建消息重试机制以确保高可用性。

1、问题现象

首先接到项目反馈使用 RocketMQ 会出现如下错误：
微信图片_20200527102624.png

错误信息关键点：MQBrokerException：CODE:2 DESC:[TIMEOUT_CLEAN_QUEUE]broker busy,start flow control for a while,period in queue：205ms，size of queue:880。
由于项目组并没有对消息发送失败做任何补偿，导致丢失消息发送失败，故需要对这个问题进行深层次的探讨，并加以解决。

2、问题分析

首先我们根据关键字：TIMEOUT_CLEAN_QUEUE 去 RocketMQ 中查询，去探究在什么时候会抛出如上错误。根据全文搜索如下图所示：

微信图片_20200527102628.png

该方法是在 BrokerFastFailure 中定义的，通过名称即可以看成其设计目的：Broker端快速失败机制。
Broker 端快速失败其原理图如下：

微信图片_20200527102631.png

消息发送者向 Broker 发送消息写入请求，Broker 端在接收到请求后会首先放入一个队列中(SendThreadPoolQueue)，默认容量为 10000。

Broker 会专门使用一个线程池(SendMessageExecutor)去从队列中获取任务

最低0.47元/天 解锁文章
RabbitMQ启动遇到问题——解决方法
VksgShapes的博客
09-21 1093
如果RabbitMQ节点的Erlang Cookie与其他节点不匹配，启动将失败。本文将介绍一些可能导致RabbitMQ启动失败的常见问题，并提供相应的解决方法。通过检查Erlang Cookie、解决端口冲突、确保有足够的磁盘空间、检查配置文件和日志文件，可以解决大多数启动问题。RabbitMQ的配置文件包含了许多关键设置，如节点名称、端口、认证等。如果配置文件中存在错误或不完整的设置，RabbitMQ将无法启动。如果发现某个端口已被占用，可以尝试更改RabbitMQ的端口配置。，确保其中的设置正确。
大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-07 172万+
互联网高频面试之消息中间件基本问题和知识点整理分析
线上遇到RocketMQ消息丢失，差点扣绩效，看我如何力挽狂澜~
程序员麦冬的博客（公众号同名）
10-21 391
问题现象 首先接到项目反馈使用 RocketMQ 会出现如下错误： 错误信息关键点： MQBrokerException：CODE:2 DESC:[TIMEOUT_CLEAN_QUEUE]broker busy,start flow control for a while,period in queue：205ms，size of queue:880 由于项目组并没有对消息发送失败做任何补偿，导致丢失消息发送失败，故需要对这个问题进行深层次的探讨，并加以解决。 问题分析 首先我们根据关键字：TIMEOU
阿里云的MQ消息队列
小tu豆的博客
09-26 4310
Exception in thread "main" com.aliyun.openservices.ons.api.exception.ONSClientException: Receive a broker exception, 这是由于权限引起的，需要到RAM访问控制台中，找到用户名，对其授权，即可解决。...
【Java】已解决：MQBrokerException: CODE: 1 DESC: create mapped file failed, server is busy or broke
屿小夏.的知识博客
09-08 1134
当Broker尝试创建映射文件（mapped file）用于存储消息数据时，如果服务器的资源不可用、磁盘空间不足、或其他系统瓶颈导致操作失败，就会抛出这个异常。这时，如果Broker无法及时创建新的映射文件用于存储这些消息，就可能导致此类异常的发生。这个错误，通常指示了在消息存储过程中发生了严重的问题。为避免此类异常，我们需要确保服务器有足够的资源，并且在代码中添加合理的资源监控和异常处理机制。在高负载的情况下，Broker可能会因为磁盘空间不足或IO性能瓶颈，无法及时创建新的映射文件，从而导致异常。
【RocketMQ】架构原理、消息丢失、重复消费、顺序消费、事务消息
最新发布
xueping_wu的博客
10-14 882
首先在生产者端，消息的发送分为同步、异步两种和单向发送（单向发送不保证成功，不建议使用），在同步发送消息的情况下，消息的发送会同步阻塞等待Broker返回结果，在Broker确认收到消息之后，生产者才会拿到SendResult。那就可能会导致没有人知道这个消息失败了，就导致不会重试了。不管是因为什么情况了，是真的消费失败了，还是出现了异常了，还是明明消费成功了，但是你错误的返回了失败等等情况，只要你给RocketMQ返回的是 RECONSUME_LATER ，那么消息就会重投，有重投就会有重复消费。
RocketMQ实战—5.消息重复+乱序+延迟的处理
mjunz的博客
02-06 1248
正是这个消息乱序的原因，导致大数据存储中的数据有误。所以，如果优惠券系统从RocketMQ那里拿到一个订单的两条重复的支付成功消息，这时候只要去优惠券数据库中查询一下，比如查询id=1100的订单是否已经发放过优惠券、是否有优惠券的记录，如果有的话，就不要重复发券了。在订单数据库的同步过程中，产生消息乱序问题的根本原因是：属于同一个订单的binlog进入了不同的MessageQueue，从而导致一个订单的binlog被不同机器上的Consumer获取来处理，最终导致这一个订单的binlog被乱序执行。
rocketMQ之TIMEOUT_CLEAN_QUEUE异常
佛系程序员的野蛮之道
09-13 3837
深入理解rocketMQ的TIMEOUT_CLEAN_QUEUE异常
RocketMQ应用过程中所遇问题及解决方案
醉卧雕龙舫，的博客
12-10 898
RocketMQ为了解决这种由于性能锁带来的频发问题，引入Broker端快速失败机制，即开启一个定时调度线程，每隔10毫秒去检查队列中的第一个排队节点，如果该节点的排队时间已经超过了200ms。1.增加waitTimeMillsInSendQueue的值，该值默认为 200ms，例如将其设置为1000s等等，适当提高该值能有效的缓解。当Broker端由于性能问题以及服务端积压的请求太多从而得不到及时处理，会极大的造成客户端消息发送的时间延长。重启mq的broker即可。
Rocket面试（五）Rocketmq发生流量控制的情况有哪些？
Chen_leilei的博客
06-10 2455
本文介绍了 RocketMQ 发生流量控制的 8 个场景，其中 Broker 4 个场景，Consumer 4 个场景。Broker 的流量控制，本质是对 Producer 的流量控制，最好的解决方法就是给 Broker 扩容，增加 Broker 写入能力。而对于 Consumer 端的流量控制，需要解决 Consumer 端消费慢的问题，比如有第三方接口响应慢或者有慢 SQL。Broker4种场景：page cache 繁忙：获取commitlog写入锁超过1s。
Rocketmq TIMEOUT_CLEAN_QUEUE源码追踪
八荒六合唯我独尊
10-27 2289
1、问题现象 首先接到项目反馈使用 RocketMQ 会出现如下错误： 错误信息关键点：MQBrokerException：CODE:2 DESC:[TIMEOUT_CLEAN_QUEUE]broker busy,start flow control for a while,period in queue：205ms，size of queue:880。 由于项目组并没有对消息发送失败做任何补偿，导致丢失消息发送失败，故需要对这个问题进行深层次的探讨，并加以解决。 2、问题分析 首先我们根据关键字：
rocketmq TIMEOUT_CLEAN_QUEUE异常
u014594604的博客
07-09 1818
com.alibaba.rocketmq.client.exception.MQBrokerException: delayLevel=null, sendResult=null, errorMsg=CODE: 2 DESC: [TIMEOUT_CLEAN_QUEUE]broker busy, start flow control for a while, period in queue: 40...
RocketMQ 消息发送system busy、broker busy、RemotingTooMuchRequestException原因分析与解决方案
长江七号的博客
04-23 2551
system busy、broker busy这个错误，其本质是系统的PageCache繁忙，通俗一点讲就是向PageCache追加消息时，单个消息发送占用的时间超过1s了，如果继续往该Broker服务器发送消息并等待，其TPS根本无法满足，哪还是高性能的消息中间了呀。故才会采用快速失败机制，直接给消息发送者返回错误，消息发送者默认情况会重试2次，将消息发往其他Broker，保证其高可用。
Caused by: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 14解决方案
qq_35388010的博客
03-04 1万+
异常： RocketMQ Message hasn’t been sent. Caused by CODE: 14 DESC: service not available now, maybe disk full, CL: 0.95 CQ: 0.95 INDEX: 0.95, maybe your broker machine memory too small. 原因：磁盘空间占用率超过brocker-a.properties配置文件中配置的磁盘空间占用率的值，如图： (注：这里占用率只用62%
警惕、这 8 个场景下 RocketMQ 会发生流量控制
qwer123451234123的博客
04-28 667
在使用 RocketMQ 的过程中，有时候我们会看到下面的日志： [TIMEOUT_CLEAN_QUEUE]brokerbusy,startflowcontrolforawhile,periodinqueue:206ms,sizeofqueue:5 这是因为 RocketMQ 触发了流量控制。今天我们来聊一聊哪些场景下 RocketMQ 会触发流量控制。 如上图，生产者把消息写入 Broker，Consumer 从 Broker 拉取消息。Broker 是 Roc...
(四)Rocketmq消息发送
菜鸟腾飞
04-06 988
文章目录一.消息发送二.消息结构三.生产者启动流程四.消息发送基本流程4.1消息长度验证4.2查找主题路由信息4.3选择消息队列4.4消息发送五.批量发送 Rocketmq发送消息有三种实现方式:可靠同步发送,可靠异步发送,单向(oneway)发送 一.消息发送 支持3种消息发送 sync同步 async异步 oneway单向 同步:发送者向MQ执行发送消息api,同步等待,知道消息服务器返回发送...
Rocketmq双master模式不互通问题registerBroker Exception
Enough1988的博客
05-17 727
解决办法： centos7：systemctlstopfirewalld关闭防火墙 转载于:https://www.cnblogs.com/codeLZC/p/10880104.html
kafka异常问题汇总
与优秀的人在一起，会使自己变得更优秀
08-27 1万+
1、报错：: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. 　报错原因：producer在向kafka broker...
RocketMQ源代码深度解析：揭秘分布式消息平台
“RocketMQ源代码解析.pdf”是关于Apache RocketMQ的一款深度技术解析文档，由《RocketMQ技术内幕》的作者丁威编写。该文档详细介绍了RocketMQ的内部架构、实现原理以及源代码分析，旨在帮助读者理解分布式消息平台...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值