RocketMq中MessageQueue的分配

最新推荐文章于 2025-07-04 16:20:10 发布
转载 最新推荐文章于 2025-07-04 16:20:10 发布 · 8k 阅读 · 6 ·
CC 4.0 BY-SA版权
原文链接：https://juejin.im/post/5a9212bf6fb9a063395c8ae0
文章标签：

#网络 #大数据

本文探讨了RocketMq中MessageQueue的分配，包括RocketMq的结构、消息队列的三大类型以及Producer和Consumer如何选择和获取消息队列。分析了Producer的三种选择队列方式，并揭示了Consumer通过长轮询机制从Broker拉取消息的过程。此外，还介绍了RocketMq的队列数量默认设置和分配策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

都知道Rocketmq中有ConsumerGroup的概念。在集群模式下，多台服务器配置相同的ConsumerGroup，能够使得每次只有一台服务器消费消息（注意，但不保证只消费一次，存在网络抖动的情况）。那么，笔者就很疑惑，Rocketmq是如何实现这个模式的？如何保证只有一台服务器消费？

虽然答案很简单，但却是一个很好的带着问题看源码的机会。

RocketMq结构

从图中可以看到，MQ主要投递消息和拉取消息两个环节。

众多的架构都是顺应时代潮流而来，Rocketmq的结构体系当然也不是阿里所独创的，而是依据AMQP协议而来。Rocketmq中的Producer，Broker，以及Consumer都是依据AMQP中的概念衍生出来的。所以这里不妨讲讲AMQP（Advanced Message Queuing Protocal，高级消息队列协议），便于大家更好的理解技术的发展过程。

paper下载 http://www.amqp.org/specification/0-9-1/amqp-org-download

  • Broker: 接收和分发的应用
  • Virtual host:出于多租户和安全因素，把AMQP的基本组件划分到一个虚拟分组中。各个租户之间是网络隔离的，类似Linux中的namespace概念（可自行Google）
  • Connection：publisher/consumer 和broker之间的TCP连接
  • Channel：是相较于Connection更加轻量的连接，是Connection上的逻辑连接
  • Exchange: 负责将message分发到不同的Queue中
  • Queue: 消息最终会落到Queue中，消息由Broker push给Consumer或者由Consumer来pull消息
  • Binding：exchange和queue之间的消息路由策略

消息队列的3大类型

当然基于这样一个协议，不单单是RocketMq一个闪耀在消息队列选型中，还有不同的消息队列。

https://mp.weixin.qq.com/s/B1D-J_1wpaqj0sxcmaArbQ

主要分为了3大阵营:

  • 有Broker 重Topic流：kafka，JMS
  • 有Broker 轻Topic流: RocketMQ
  • 无Broker: ZeroMQ

当然，如果熟悉了AMQP协议，你也可以选择自研一个消息队列

https://zhuanlan.zhihu.com/p/28967866

了解了一些背景，来看下RocketMQ中消息的投递过程。还是那个具体的问题，RocketMQ是如何选择一个队列来投递的呢？

Producer如何投递消息到不同队列

最低0.47元/天 解锁文章

200万优质内容无限畅学
RocketMQ - 发送消息时Producer是如何选择MessageQueue去发送的？
yang的博客
03-18 414
Producer发送消息的时候，其实会先检查一下要发送消息的Topic的路由数据是否在本地缓存，如果不在的话，就会通过底层的Netty网络通信模块去发送一个请求到NameServer去拉取Topic路由数据，然后缓存在Producer的本地。之前介绍过，发送消息的核心源码是在DefaultMQProducerImpl.sendDefaultImpl()方法中的，在这个方法里，只要你获取到了Topic的路由数据，不管从本地缓存获取的，还是从NameServer拉取到的，接着就会执行下面的核心代码。
RocketMQ知识点汇总
fengyq17290的博客
01-26 943
目录消息队列功能解耦异步流量削峰消息分发不同类型的消费者推模型DefaultMQPushConsumer推模型实现原理推模型流量控制拉模型DefaultMQPullConsumer拉模型的操作方式不同类型的生产者DefaultMQProducer同步发送异步发送单向发送延迟消息分布式消息队列的协调者NameServer 的功能集群状态的存储结构为何不用ZooKeeper消息存储结构顺序写随机读零拷...
探究 | RocketMQ 发送消息messageQueue选择策略~
m0_71777195的博客
08-28 694
通过上面的源码探究，我们了解到了，RocketMq默认send消息时，是随机选择的一个message queue，当消息失败重试时，会选择下一个不同的broker所属的message queue。但是，在实际开发中，一些特殊场景，比如我们要发送顺序消息，具体逻辑见: ，这里我就不做过多赘述了~咱们直接上官方案例java复制代码public class Producer {try {i < 100;i++) {// 自定义MessageQueueSelector，即队列选择器。
RocketMq消息模型-Message Queue
Flying_Fish_roe的博客
11-17 784
RocketMQ 的 Message Queue 是其消息模型中的核心组成部分，负责消息的存储、分发和消费管理。通过合理配置和优化消息队列，RocketMQ 可以在大规模分布式系统中提供高效、可靠的消息传递服务。在实际应用中，开发者应根据具体业务需求，合理规划消息队列的数量和分布策略，并结合系统性能要求，对消息队列进行优化处理。通过良好的设计和实践，可以充分发挥 RocketMQ 的性能优势，确保消息系统的稳定性和高效性。
RocketMQ与SpringBoot整合、核心使用、多租户自动隔离、Java8时间支持
最新发布
weixin_44917365的博客
07-04 51
通过篇文章，将会用到以下的内容项，可以在生产中直接使用RocketMQ与SpringBoot的整合以及基础的应用配置RocketMQTemplate模板类的各种使用，如顺序消息、异步消息、响应消息、单向消息、指定消息key等等RocketMQ多租户/环境自动隔离topic/group/tag，如只需要配置基础的topic、group、tag，部署到dev、test、prod环境自动隔离，只需要写一次配置；多租户同样适用。
RocketMQ (五) 队列-MessageQueue
dmjxsy的博客
02-25 1600
RocketMQ(队列)
什么是MessageQueue（RocketMQ中的队列）
qq_51967234的博客
05-21 868
在RocketMQ中，MessageQueue是消息的物理存储单元，用于划分和管理消息的存储和消费。每个Topic都会被划分为多个MessageQueue，消息会按照一定的规则分配到不同的MessageQueue中。具体来说，RocketMQ的MessageQueue具有以下特点:1．唯一标识:每个MessageQueue都有一个唯一标识符，由Topic名称和队列编号组成。2．消息顺序性:对于同一个MessageQueue中的消息，RocketMQ保证其消费的顺序性，即先进先出(FIFO)。
RocketMQ中的message queue是个什么，该怎么理解？
KuaiLeShiFu的博客
12-15 4968
RocketMQ中的message queue是个什么，该怎么理解？ 1. Topic, internally, is logically partitioned into one or more sub-topics. We call these sub-topics “message queues”. This concept plays a major role in implementin
RocketMQ—Queue队列分配算法
Auto_limiless的博客
02-21 1348
双十一订单处理中间件----RocketMQ算法分析及源码
RocketMQ 的 Topic 和消息队列MessageQueue信息，是怎么分布到Broker的？怎么负载均衡到Broker的？
猪猪
01-24 1470
如果某个 Broker 宕机，Producer 和 Consumer 会从 NameServer 获取最新的路由信息，跳过该 Broker 上的 MessageQueue。如果某个 Broker 不可用，Producer 会自动跳过该 Broker 上的 MessageQueue，选择其他可用的 MessageQueue。如果有 4 个 Broker，8 个 MessageQueue，那么每个 Broker 会分配 2 个 MessageQueue。
RocketMQ分布式消息队列（最详细）
热门推荐
weixin_48133130的博客
10-30 2万+
RocketMQ认识 - RocketMQ安装 - RocketMQ原理(重要) - RocketMQ应用(重要)
RocketMQ(分布式消息队列)
D1842501760的博客
02-25 5272
超级好用
RocketMQ中MessageQueue的选择原理
xmbcc777的博客
04-08 295
第一种：正常发送消息 这是正常发送消息的内部逻辑， 1. 通过调用sendWhichQueue.incrementAndGet() 方法获得一个 index 值 2. 将 index 与队列数取余 得到处理后的 pos 下标值 3. 根据 pos 下标取得应该发送的队列
消息队列 RocketMQ：（一）概述
weixin_46812727的博客
07-28 753
一、MQ 概述 1、MQ 简介 MQ，Message Queue，是一种提供 消息队列服务 的中间件，也称为消息中间件，是一套提供了消息生产、存储、消费全过程API的软件系统。消息即数据。一般消息的体量不会很大。 2、MQ 用途 可以查看到很多的关于 MQ 用途的叙述，总结起来以下三点： 限流削峰 异步解耦 数据收集 限流削峰 ：MQ可以将系统的 超量 请求暂存其中，以便系统后期可以慢慢进行处理，从而避免了请求的丢失或系统被压垮。 异步解耦：上游系统对下游系统的调用若为同步调用，则会大大降低系统的吞吐量
和面试官吹吹RocketMQ消息发送MessgQueue选择及高可用机制源码
念念不忘，必有回响
12-05 2044
文章目录源码版本消息发送源码源码入口消息发送核心源码Product发送消息的重试机制Broker故障转移机制选择MessageQueue源码总结关于我 源码版本 4.8.0 消息发送源码源码入口 最简单的消息发送代码 DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name"); producer.setNamesrvAddr("127.0.0.1:9876");
消息队列 - RocketMQ
LinTa0的博客
07-08 1612
RocketMQ 入门
消息队列--RocketMQ
2301_80477449的博客
03-31 1024
顺序消息是指，消费者端消费消息时，需按照消息的发送顺序来消费，即先发送的消息，需要先消费。订单创建---->订单支付---->订单发货---->订单配送---->订单完成创建订单后，会发送5条消息到MQ Broker中，消费者要按照订单创建---->订单支付---->订单发货---->订单配送---->订单完成这个顺序去消费，这样的订单才是有效的。
RocketMq 队列（MessageQueue）
qq_34253002的博客
11-26 390
RocketMq是阿里出品（基于MetaQ）的开源中间件，已捐赠给Apache基金会并成为Apache的顶级项目。基于java语言实现，十万级数据吞吐量，ms级处理速度，分布式架构，功能强大，扩展性强。
使用RocketMQ实现消息队列
weixin_45957207的博客
03-16 743
RocketMQ MQ:message queue 消息队列 为什么需要使用消息队列? 人与人之间交流是需要通过打电话短息邮件等方式...在应用系统中，服务与服务之问需要进行通讯呢? 必须要使用消息队列。 使用消息队列的场景? 滴滴打车： 乘客下单(消息的提供者)------司机接单(消息的消费者)---只能被消费一次----点对点 公众号： 公众号发布了一条内容，只要订阅了该公众号的人都是可以收到消息----发布-订阅模式 应用更新： 不管你有没有登录，都会受到更新消息------广播模式
rocketmq中怎么配置queue
03-14
<think>好的，用户想了解RocketMQ中如何配置队列。首先，我得回忆一下RocketMQ的基本架构，特别是Topic、Broker和Queue之间的关系。记得在RocketMQ中，一个Topic会被分成多个Queue，这些Queue分布在不同的Broker上，这样可以实现水平扩展和负载均衡。 接下来，用户可能想知道具体的配置方法。需要分情况讨论，比如在创建Topic的时候如何设置Queue的数量，或者在运行时是否能够动态修改。这里要确认RocketMQ的版本，因为不同版本可能有不同的管理方式。比如在旧版本中可能需要修改配置文件并重启Broker，而新版本可能支持通过命令行工具动态调整。 然后，要考虑到生产者和消费者的配置。比如生产者如何选择发送消息到特定的Queue，或者消费者如何设置订阅关系。可能需要提到MessageQueueSelector这个接口，让用户了解可以自定义队列选择策略。 另外，用户可能关心如何合理设置Queue的数量。这里需要给出一些最佳实践，比如根据业务需求、消费者数量以及性能要求来决定。通常建议Queue数量是消费者数量的倍数，以提高并发处理能力。 还要注意权限和集群配置的问题。如果用户是在集群环境中部署，可能需要通过管理工具或控制台来进行配置，比如使用RocketMQ Console或者Admin API。这部分需要给出具体的命令示例，比如使用mqadmin命令创建Topic时指定readQueueNums和writeQueueNums。 最后，检查是否有遗漏的细节，比如Broker的配置文件参数，或者可能遇到的常见问题，比如Queue数量设置不当导致的负载不均。需要提醒用户根据实际情况监控和调整，确保配置的合理性和系统的稳定性。</think>RocketMQ中Queue的配置主要通过Topic级别进行管理。以下是关键配置步骤和原理说明： 一、创建Topic时指定Queue数量（推荐方式） ```bash # 使用管理命令创建Topic时设置读写队列数 sh mqadmin updateTopic -n localhost:9876 -t YourTopic -c DefaultCluster -r 8 -w 8 ``` 参数说明： - `-r`：读队列数（readQueueNums） - `-w`：写队列数（writeQueueNums） - 生产环境通常设置为相同数值，建议初始值为8-16个队列 二、Broker端配置（不推荐修改） 在`broker.conf`中可设置默认队列数： ``` # 单个Topic的默认队列数（新创建Topic时生效） defaultTopicQueueNums=8 ``` 三、运行时动态调整（需版本支持） 1. 查看当前队列配置： ```bash sh mqadmin topicStatus -n localhost:9876 -t YourTopic ``` 2. 动态修改队列数（需Broker支持）： ```bash sh mqadmin updateTopic -n localhost:9876 -t YourTopic -r 16 -w 16 ``` 四、配置注意事项 1. 队列分配策略： $$ QueueID = Hash(key) \% queueNum $$ - 消息发送时可指定`MessageQueueSelector`自定义路由策略 - 无key时采用轮询方式分配队列 2. 消费者数量与队列数的关系： - 最佳实践：消费者数量 ≤ 队列总数 - 每个队列在同一消费者组内只能被一个消费者占用 3. 扩容建议： - 扩容后新队列仅对新消息生效 - 历史消息仍保留在原队列中 - 建议在低峰期操作，避免消息堆积 五、特殊场景配置 1. 顺序消息： ```java // 发送顺序消息时需指定相同的选择器参数 producer.send(msg, new MessageQueueSelector() { @Override public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) { return mqs.get(arg.hashCode() % mqs.size()); } }, orderKey); ``` 2. 延迟队列： 通过预设的18个固定级别实现，不可自定义队列数： $$ 1s/5s/10s/30s/1m/2m/3m/4m/5m/6m/7m/8m/9m/10m/20m/30m/1h/2h $$ 监控建议： - 通过`mqadmin clusterList`查看队列分布 - 使用RocketMQ Dashboard监控队列堆积情况 - 定期检查队列负载均衡状态 注：队列数变更后需验证生产消费是否正常，建议在测试环境验证后再进行线上操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值