为什么在一段时间内RocketMQ的队列同时分配给了两个消费者？详细剖析消费者负载均衡中的坑...

最新推荐文章于 2024-09-03 10:33:39 发布

「已注销」

最新推荐文章于 2024-09-03 10:33:39 发布

阅读量2.7k

点赞数 1

CC 4.0 BY-SA版权

文章标签：队列算法 java python 大数据

本文链接：https://blog.youkuaiyun.com/javadada1197/article/details/119414304

本文深入剖析RocketMQ消费者负载均衡机制，解释Rebalance过程如何决定队列分配，探讨其在多Topic分配及触发时机，并分析可能导致消息重复的因素。RocketMQ采用无中心的Rebalance策略，确保消费者实例有序地分配队列，但这种机制可能导致消息重复问题，需要消费者端实现消费幂等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

消费者大概是怎么做负载均衡的(集群模式)，如下图所示：

集群模式下，每个消费者实例会被分配到若干条队列。正因为消费者拿到了明确的队列，所以它们才能针对对应的队列做循环拉取消息的处理，以下是消费者客户端和broker通信的部分代码，可以看到通信的参数里有一个重要的参数，就是 queueId

PullMessageRequestHeader requestHeader = new PullMessageRequestHeader();
        requestHeader.setConsumerGroup(this.consumerGroup);
        requestHeader.setTopic(mq.getTopic());
        requestHeader.setQueueId(mq.getQueueId());//消息拉取必须显示的告诉broker拉取哪个queue的消息
        requestHeader.setQueueOffset(offset);
        requestHeader.setMaxMsgNums(maxNums);
        requestHeader.setSysFlag(sysFlagInner);
        requestHeader.setCommitOffset(commitOffset);
        requestHeader.setSuspendTimeoutMillis(brokerSuspendMaxTimeMillis);
        requestHeader.setSubscription(subExpression);
        requestHeader.setSubVersion(subVersion);
        requestHeader.setExpressionType(expressionType);

        String brokerAddr = findBrokerResult.getBrokerAddr();
        if (PullSysFlag.hasClassFilterFlag(sysFlagInner)) {
            brokerAddr = computPullFromWhichFilterServer(mq.getTopic(), brokerAddr);
        }

        PullResult pullResult = this.mQClientFactory.getMQClientAPIImpl().pullMessage(
            brokerAddr,
            requestHeader,
            timeoutMillis,
            communicationMode,
            pullCallback);