RocketMQ 只能收到一部分消息解决

最新推荐文章于 2025-03-04 08:00:00 发布
最新推荐文章于 2025-03-04 08:00:00 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： bug问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Eelol/article/details/106946010
版权

之前连接测试机使用MQ的时候，发现MQ有时候只能消费一半的消息，困扰了好几天，最后找到原因：

进入MQ操作后台，点进Consumer，发现 Quantity=2（有2个监听消费者）
在这里插入图片描述

在进入Client，看到2个IP，一个是测试机的，一个是我本机的。由于MQ负载均衡，测试机那边只能给我返回一半的消息
在这里插入图片描述

解决：把我本机配置MQ的项目停掉，就ok了
在这里插入图片描述
在这里插入图片描述

跳槽涨薪涨薪必备精选面试题.pdf
02-13
RocketMQ的底层实现基于发布/订阅模型，通过Broker进行消息路由和存储。 Dubbo的架构设计包括服务提供者、消费者、注册中心、监控中心等组件。 Spring Cloud组件如Zuul（API网关）、Feign（声明式服务调用）等，与...
RocketMQ异常：RocketMQ顺序消息收不到或者只能收到一部分消息
有时有味的博客
10-24 4878
1. 异常现象 在本地进行 Apache RocketMQ 实验的过程中，偶然出现其顺序消息收不到，或者只能收到一部分消息的情况。感觉像是有谁帮我消费了一部分，或者说没有被我消费的那部分不知道去了哪里。 2. 排查分析 上本地的 RocketMQ-Console（我的是 http://127.0.0.1:8080），看一下 Consumer（消费者）菜单： Quantity=...
微服务测试开发-项目中用到了rocketmq该怎么测试
阿星君
06-29 1694
1、什么是MQ mq是消息中间件，最简单的理解就是A服务发送一条消息给B服务，B服务收到消息后做一系列的动作 这个能解决什么问题呢 削峰，服务之间如果通过接口调用的话，无论是http还是rpc，但是属于同步的动作，意味着会存在大量的数据同一时刻到被调用服务，而使用mq完美解决该问题 解耦，服务之间数据交互不再通过mysql，redis等，实现服务之间的解耦 2、什么情况会用到mq呢？ 服务之间有数据交互时，但不要求时效性 比如： 电商场景中，订单系统生成订单后会通知仓库生成出库单，会通..
干货！详细梳理项目RocketMQ重复消费规避方案
最新发布
Z_Flank的博客
03-04 564
详细梳理项目RocketMQ重复消费规避方案
ROCKETMQ获取不到消息、消费缓慢、或只能收到一部分消息
m0_37860933的博客
04-03 2万+
1. 在配置正确的情况下首先要注意： rocketmq问题汇总-一个consumerGroup只对应一个topic 对于同一个Topic有多个消费者，注明同组即可（但多组会导致消费错误）。另外对应的生产者和消费者不用在字符串上相同。 使用举例如下： 上传组叫AProduceGroup，可以含有生产者 A1Producer / A2Producer， 他们都生产Topic = A的消息 消...
activemq 发两条只收到一条_17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列...
weixin_39717029的博客
11-20 72
linux消息分发机制,RabbitMQ消息分发轮询和Message Acknowledgment
weixin_39683863的博客
05-16 289
一、消息分发RabbitMQ中的消息都只能存储在Queue中，生产者(下图中的P)生产消息并最终投递到Queue中，消费者(下图中的C)可以从Queue中获取消息并消费。多个消费者可以订阅同一个Queue，这时Queue中的消息会被平均分摊给多个消费者进行处理，而不是每个消费者都收到所有的消息并处理。启动3个消费者生产者依次生成3条消息可见3条消息分别被3个消费者获取，所以RabbitMQ是采用轮...
RocketMQ一些事情
感冒石头的博客
12-25 1622
1、rocketMQ如何保证消息队列按照顺序执行 原因：是因为发送消息的时候，消息发送默认是会采用轮询的方式发送到不通的queue（分区），而消费端消费的时候，是会分配到多个queue的，多个queue是同时拉取提交消费 如图所示： 实现步骤： 如果控制发送只能依次发送到同一个queue上，然后消费时候一个队列只会被一个消费者消费的原则，也只从这个queue上拉取，就保证了顺序性 如果消费端也不控制，也会导致不按顺序执行消费端处理问题--串行执行策略 RokcetMQ的完成顺序性主要是由..
RocketMQ 消息丢失问题排查记录
随便写写
09-28 2009
在研究 rocketmq-spring-boot-starter 代码后，发现创建消费者连接有两种方式，一种是代码里实现 RocketMQListener 接口，另外一种是在配置文件中添加订阅信息。在项目中使用的 RocketMQ 版本是 4.9.2，rocketmq-spring-boot-starter 版本是 2.2.2，消息处理逻辑也不复杂，直接引用依赖，然后创建监听器。然后查看用户代码，很明显，代码里在两个地方都加了相同主题、相同订阅组信息，因此消费者连接数就是 2。● 消息被其他客户端接收。
Rocketmq一个生产者多个消费者的问题
远方的少年
11-30 1万+
消费者同组时，有两种消息模式。 1.集群模式，多个消费者通过负载均衡一起消费信息 2.广播模式，一个消息会复制成多份分发给每一个消费者 消费者不同组时 一个消息会复制多份发给不同的消费者组 public class SyncProducer { public static void main(String[] args) throws Exception{ ...
RocketMQ 消费者
JemeryShen的专栏
09-15 2483
消息通过生产者发送到某一个Topic，如果需要订阅该Topic并消费里面的消息的话，就要创建对应的消费者进行消费。在介绍消费者的使用方法之前，我们先介绍消费组、消费位点、推和拉等概念。
浅析RocketMQ-broker接收消息
起风
09-02 268
介绍broker消息接收的流程
踩坑记：rocketmq-console 消费TPS为0，但消息积压数却在降低是个什么“鬼”
中间件兴趣圈
12-02 8594
本节目录1、背景2、问题分析2.1 rocketmq-console 数据获获取逻辑探讨2.2 rocketmq 消费TPS统计实现原理2.2.1 消费TPS计算逻辑2.2.2 如何采集消费TPS原始数据3、问题解答 1、背景 上周六的19:00，接到项目反馈，他们的项目从昨天的23:00就停止消费了，而整个集群没有出现异常，故此种情况更多的是因为项目组的原因，由于业务已积压将近一天，并且项目在昨...
MQ产品比较-ActiveMQ-RocketMQ
一条宝鱼的专栏
03-21 1558
版权声明：本文为博主原创文章，未经博主允许不得转载。 几种MQ产品说明： ZeroMQ : 扩展性好，开发比较灵活，采用C语言实现，实际上他只是一个socket库的重新封装，如果我们做为消息队列使用，需要开发大量的代码 RabbitMQ: 结合erlang语言本身的并发优势，性能较好，但是不利于做二次开发和维护 ActiveMQ: 历史悠久的开源项目，已经在
Low-Latency Distributed Messaging with RocketMQ – Part 1
weixin_34384557的博客
03-19 252
This is the first part of the blog - Low-Latency Distributed Messaging with RocketMQ. In this blog, we will discuss about the history of the Alibaba Cloud message engine family. ...
Rocketmq集群consumer消费(同组及不同组)
微信公众号：一颗向上的草莓
06-14 1万+
一机器部署 1、机器组成 7台机器，均为16G内存 每台服务器均有4个CPU，2核 2、运行环境配置 3、刷盘方式 每台机器master机器均采用异步刷盘方式 二、同组consumer均衡消费queue 1、评测目的 测试同一个consumerGroup组的所有consumer均衡消费同一个topic的所有queue。 2、评测指标 master机器个数 topic的队列数 consumerGr...
rocketmq问题汇总-一个consumerGroup只对应一个topic
热门推荐
MQCloud的专栏
02-14 9万+
1 同一个订阅组内不同Consumer实例订阅不同topic消费混乱问题调查 图1： 背景说明： 如图1左半部分，假设目前的关系如下： broker： 两个，broker_a和broker_b topic：两个，topic1和topic2，每个topic在每个broker上分为4个queue consumer：两个，consumer1和consumer2
RocketMQ只能收到一部分消息
02-08
### 解决 RocketMQ 接收消息不完整的问题 #### 原因分析 RocketMQ 只接收到部分消息的情况可能由多种因素引起： 1. **网络波动** 如果生产者与 Broker 或者 Consumer 与 Broker 之间的网络连接不稳定，可能会导致消息传输中断或延迟。这会影响消息的完整性和及时性[^2]。 2. **Broker 存储问题** 当 RocketMQ 的 Broker 节点存储压力过大时，可能导致写入磁盘失败或是未能及时持久化消息至磁盘，在这种情况下即使 Broker 收到了消息也可能因为未保存而丢失。 3. **Consumer 处理能力不足** 若消费者的处理速度跟不上生产者的发送速率，则可能出现积压现象；一旦消费者崩溃重启后无法继续之前的工作状态，从而造成某些已拉取但尚未确认的消息被丢弃[^4]。 4. **ACK 确认机制失效** 在正常工作状态下，消费者成功处理一条消息后需向服务器返回 ACK（即 COMSUME_SUCCESS）。如果此时发生异常情况比如进程意外终止、超时等问题，RocketMQ 将认为该条目已被消费并删除它，实际上却并未真正完成业务逻辑操作。 5. **系统繁忙 (System Busy)** 遇到 `SYSTEM_BUSY` 错误表示当前服务负载过高暂时拒绝请求。这类状况通常发生在高并发环境下资源争抢激烈之时，使得部分事务得不到妥善处置进而引发数据残缺不全的现象[^3]。 #### 解决策略 针对上述原因可以采取以下措施来提高系统的稳定性和可靠性： - **优化网络环境** - 使用心跳检测保持长链接活跃； - 实施重试策略确保每次通信都能顺利完成； - 对于重要的金融类应用建议采用专线等方式保障链路质量。 - **增强 Broker 容量规划** - 合理配置硬件参数如内存大小、硬盘读写性能等； - 设置合适的刷盘频率以平衡效率和安全性需求； - 开启同步双写模式保证至少两个副本都记录下来再反馈给客户端。 - **提升 Consumer 并发度** - 根据实际吞吐量调整线程池规模； - 利用批量提交减少单次交互开销； - 设定合理的预取数量防止过度占用缓存空间影响后续任务执行。 - **完善 ACK 流程管理** - 编码层面加入必要的异常捕获环节； - 控制好每批次的最大等待时间避免长时间悬置； - 结合死信队列功能捕捉那些始终无法投递成功的实例以便进一步排查根本症结所在。 - **应对 System Busy 场景** - 记录日志文件便于事后追溯具体哪个阶段出现了瓶颈制约整体表现。 ```python def consume_message(msg): try: process_business_logic(msg) send_ack_to_broker() # Ensure this is done only after successful processing. except Exception as e: handle_exception(e, msg) # Log error and possibly retry or move to DLQ. def main(): while True: messages = pull_messages_from_broker() for message in messages: threading.Thread(target=consume_message, args=(message,)).start() if __name__ == "__main__": main() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值