RocketMQ源码分析消息消费机制—-消费端消息负载均衡机制与重新分布

最新推荐文章于 2025-03-12 07:30:00 发布

原创

最新推荐文章于 2025-03-12 07:30:00 发布 · 432 阅读

CC 4.0 BY-SA版权

文章标签：

本文深入分析RocketMQ消费端的消息负载均衡机制，探讨RebalanceService线程如何进行消息队列的分配，以及RebalanceImpl类在其中的作用。详细介绍了消费者如何根据消息模式和分配算法获取并处理消息队列，以及负载变化时的处理策略，对理解RocketMQ消费机制具有重要意义。

1、消息消费需要解决的问题

首先再次重复啰嗦一下 RocketMQ 消息消费的一些基本元素的关系

主题 —》消息队列(MessageQueue) 1 对多。

主题 —》消息生产者，一般主题会由多个生产者组成，生产者组。

主题 —》消息消费者，一般一个主题也会被多个消费者消费。

那消息消费至少需要解决如下问题：

1、一个消费组中多个消费者是如何对消息队列（1个主题多个消息队列）进行负载消费的。

2、一个消费者中多个线程又是如何协作（并发）的消费分配给该消费者的消息队列中的消息呢？

3、消息消费进度如何保存，包括MQ是如何知道消息是否正常被消费了。

4、RocketMQ 推拉模式实现机制。

再提一个业界关于消费者与消息队列的消费规则。

1个消费者可以消费多个消息队列，但一个消息队列同一时间只能被一个消费者消费，这又是如何实现的呢？

本文紧接着上文：消息消费概述。

继续探讨消息分发与消费端负载均衡。

我们从上文知道，PullMessageService 线程主要是负责 pullRequestQueue 中的 PullResult，那问题来了，pullRequestQueue 中的数据从哪来，在什么时候由谁来填充呢。

那我们就先沿着这条线索分析下去，看一下 PullMessageService 的 pullReqestQueue 添加元素的方法的调用链条如下：

也就是调用链：

RebalanceService. run()

MQClientInstance.doRebalance()

DefaultMQPulConsumerImpl.doRebalance()

RebalanceImpl.doRebalance()

RebalanceImpl.re