RocketMQ知识盘点【贰】_Broker和消息存储

最新推荐文章于 2025-01-10 10:27:27 发布
原创 最新推荐文章于 2025-01-10 10:27:27 发布 · 1.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #metaq #消息队列 #mq #rocketmq

本文深入探讨RocketMQ的Broker角色及其消息存储机制，包括CommitLog、ConsumeQueue、Index文件的结构与功能，以及消息的保存策略和过期文件删除机制。RocketMQ通过这些设计保证了消息的可靠性和高效消费。

前文回顾：RocketMQ知识盘点【壹】_Producer和NameServer。

 

1.Broker

一个topic拥有多个消息队列，一个Broker默认为每个topic创建4个读队列和4个写队列。多个Broker组成集群，brokerName相同的多个Broker组成master-slave架构。brokerId为0的为master，大于0为slave。

对于一个Broker，它的存储目录是这样的

下面做逐个解释。

 

2.消息存储

 

rocketMq消息存储文件分为CommitLog文件、ConsumeQueue文件和IndexFile文件等。其中：

CommitLog存储所有topic的消息(类似mysql的redo log)；

ConsumeQueue为消息消费队列，消息到达CommitLog后会异步转发到这里供消费者消费；

IndexFile消息索引文件，存储消息key和offset的关系；

事务状态服务：存储每条消息事务状态；

定时消息服务：因每个延迟队列对应一个消息消费队列，这里存储每个延迟队列的拉取进度。

 

2.1 CommitLog

储存地址为/store/commitlog目录，每个文件默认1G，文件写满则创建新文件，以该文件

最低0.47元/天 解锁文章
【消息队列】MQ03——RocketMQ
~yzzheng～的博客
05-27 5522
RoketMQ 一个消费者能消费多个queue，但是一个queue只能被一个消费者消费 多个pod部署同一个服务，这需要某台pod拉去消息？ 同一个consumergroup的不同的consumer消费相同的topic？肯定是不同的queue，如何指定queue来存msg呢？指定对应的consumer读这个msg，有个tag的概念 参考文献：https://www.jianshu.com/p/345aaa18f71d https://www.bilibili.com/video/BV1cf4y157sz?
Day366&367.RocketMQ工作原理 -RocketMQ
阿昌爱Java
08-21 2025
RocketMQ工作原理 一、消息的生产 1、消息的生产过程 Producer可以将消息写入到某Broker中的某Queue中，其经历了如下过程： Producer发送消息之前，会先向NameServer发出获取消息Topic的路由信息的请求 NameServer返回该Topic的路由表及Broker列表 Producer根据代码中指定的Queue选择策略，从Queue列表中选出一个队列，用于后续存储消息 Produer对消息做一些特殊处理，例如，消息本身超过4M，则会对其进行压缩 Producer向选择
【RocketMQ】原理分析：Broker集群模式、队列分区
A minor
11-18 1万+
1.Broker集群模式（宏观） RocketMQ天生对集群的支持非常友好，天然支持高可用，它可以支持多主多从的部署架构，这也是和kafka大区别之一。 那为什么要将这么多broker组织成多主多从，而不是采用一主多从然后主节点down机后再选举啊？因为。。。RocketMQ中并没有master选举功能，在RocketMQ集群中，1台机器只能要么是Master，要么是Slave，这个在初始的机器配置里面，就定死了。不会像kafka那样存在master动态选举的功能，所以通过配置多个master节点来保证r
rocketMQ的初步认识，topic、nameServer、broker相关概念的解释
yuanchangliang的博客
07-28 1万+
针对我学过kafka，然后半年过去了，基本什么概念都没，kafka的任何知识都忘了的学习状况，决定多多记录自己在学习新知识的各种见解，即使几个月以后回首望去，感觉这些知识太基础了也在所不惜。绝对不能重蹈kafka的覆辙。 在rocketMQ中，有topic、nameServer、broker三个最基本概念： 我眼里的三大最基础概念： 1、topic： 主题。每一个消息都会且只会属于某一个主题。消息和主题是属于一对一的关系，而主题和消息是属于一对多的关系。如下图，可以看到主题和消息的关系： 如上图，生产.
RocketMq-Broker
Flying_Fish_roe的博客
11-18 2525
RocketMQ 中的 Broker 是整个消息系统的核心组件，负责消息的接收、存储、投递以及主从复制。通过合理配置和优化 Broker，可以显著提高 RocketMQ 的性能和可用性。RocketMQ 是一种分布式消息中间件，广泛应用于大规模分布式系统中。Broker 是 RocketMQ 的核心组件之一，负责接收、存储、投递消息，并维护消息的高可用性和一致性。
Kafka知识盘点【贰】_broker
xinzun的专栏
05-06 556
Kafka知识盘点【壹】_生产者 kafka broker这部分，可能是kafka系列知识的核心所在。好好总结。 1.消息的存储 1.1 存储文件 在上文曾经介绍过，kafka的消息都是由partition为维度保存的。实际情况下，每个partition正是broker上的一个文件夹，文件夹下保存了segment和index两种文件。 segment文件分为日志文件和索引文件...
RocketMQ（一）消息的发送、存储与消费
HK的博客
01-19 1543
消息发送、同步发送、异步发送；消息存储、Commitlog、ConsumeQueue、IndexFile；消息消费、集群模式与广播模式
RocketMQ消息存储源码刨析
m0_71836706的博客
01-10 1094
实现的文件映射机制。此时，我们同步刷盘的主流程到此就结束，接下来我们的GroupCommitService的run方法会将我们的刷盘请求去做一个真正的执行，完成commit操作，接下来看一下他的run方法是具体如何实现的。为此，RocketMQ 提供了灵活的刷盘策略，用户可以选择不同的刷盘方式（同步或异步）来平衡性能和数据的可靠性。通过上面这段逻辑可知，异步刷盘就在异步线程中，周期性的将内存缓冲区的内容刷到文件中，在消息主流程中，只会唤醒异步刷盘线程，而不会同步等待刷盘结果，所以称为异步刷盘。
RocketMQ源码分析（三）消息存储
LeslieGuGu的博客
03-10 334
目录2.4 消息存储2.4.2 消息存储流程2.4.3 存储文件2.4.4 存储文件内存映射3）TransientStorePool2.4.5 实时更新消息消费队列与索引文件1）转发到ConsumerQueue2）转发到Index2.4.6 消息队列和索引文件恢复2.4.7 刷盘机制同步刷盘异步刷盘2.4.8 过期文件删除机制2.4.9 小结 2.4 消息存储 ###2.4.1 消息存储核心类 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QkHfZeJ8-161520919
精华推荐 | 【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」透彻剖析贯穿RocketMQ的Broker服务端自动创建topic的原理分析和问题要点指南
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
11-25 850
使用RocketMQ进行发消息时，一般我们是必须要指定topic，此外topic必须要提前建立，但是topic的创建（自动或者手动方式）的设置有一个开关autoCreateTopicEnable，此部分主要会在broker节点的配置文件的时候进行设置，运行环境中会使用默认设置autoCreateTopicEnable = true，但是这样就会导致topic的设置不容易规范管理，所以在生产环境中会在Broker设置参数autoCreateTopicEnable = false。
RocketMQ
真滴不可理喻的博客
07-15 1654
RocketMQ常见面试题
RocketMQ基础概念之Broker
热门推荐
看水不是水
03-27 1万+
Broker是RocketMQ的核心，大部分工作都在Broker中完成，包括接收请求，处理消费，消费持久，消息的HA，以及服务端过滤等都在里面完成 消息的存储和发送 因为有HA，所以需要磁盘持久化 磁盘使用的好坏，可以突破网络的瓶颈 MappedByteBuffer,基于零拷贝技术，由内核态直接往网卡上发送数据，避免了用户态的复制 存储结构 ConsumeQueu...
ActiveMQ 实战 - ActiveMQ的Broker
qq_33240556的博客
03-13 498
通过这样的方式，开发人员可以根据应用的需求灵活控制Broker的行为和生命周期，使得消息处理逻辑成为应用程序的一部分。然而，这种做法也意味着要承担更多管理和运维责任，包括但不限于日志记录、安全控制、监控和性能优化等。Apache ActiveMQ是一个流行的开源消息中间件，它实现了Java消息服务（JMS）规范，并且支持多种协议如AMQP、STOMP等。在ActiveMQ架构中，Broker扮演着核心的角色。
57、MQ（认识MQ：也就是broker）
分享java学习路上的一些笔记，不足之处多多见谅。
11-02 1858
MQ（认识MQ：也就是broker）MQ（messageQueue）消息队列：也就是我们事件驱动架构的broker（用来存储事件在这里我们称事件为消息。）比如：有一人支付成功了这是一个事件在消息队列里叫消息。消息队列来管理这些消息。后面消费者来订阅这些消息，消息队列就将这些消息发送给他们
RocketMQ——Broker篇
meilong_whpu的专栏
08-09 1万+
1 Broker的初始化过程调用BrokerController对象的initialize方法进行初始化工作。大致逻辑如下：1、加载topics.json、consumerOffset.json、subscriptionGroup.json文件，分别将各文件的数据存入TopicConfigManager、ConsumerOffsetManager、SubscriptionGroupManager对
RocketMQ - 集群管理
yang的博客
05-25 1192
在分布式服务架构中，任何中间件或者应用都不允许单点存在，服务发现机制是必备的。服务实例有多个，且数量是动态变化的。注册中心会提供服务管理能力，服务调用方在注册中心获取服务提供者的信息，从而进行远程调用。接下来介绍一下RocketMQ的整体架构设计、集群管理。
2024年阿里首次分享：内部（珠峰版)Java笔记，看完直接斩获12家offer
m0_72758098的博客
05-03 793
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
RocketMQ: Broker 使用指南
Wang的专栏
11-23 1929
Broker 重启可能会导致正在发往这台机器的的消息发送失败，RocketMQ 提供了一种优雅关闭 Broker 的方法，通过执行以下命令会清除 Broker 的写权限，过 40s 后，所有客户端都会更新 Broker 路由信息，此时再关闭 Broker 就不会发生发送消息失败的情况，因为所有消息都发往了其他 Broker。每个 Master 配置一个 Slave，有多对 Master-Slave，HA 采用同步双写方式，主备都写成功，向应用返回成功。Broker 启劢时，如何加载配置。
Centos7.x部署RocketMQ-4.7.0集群及工作原理
linux运维工程师的博客
03-30 2190
大家好，我是Linux运维工程师 Linke 。技术过硬，从不挖坑，谷歌百度，无所不用~ 消息队列的作用 做为大数据高并发架构中核心中间件的消息队列，可谓是相当重要的存在。在我现有的知识层面，我的理解这就是在 S2S （server toserver）级别的一个缓冲存储，主要解决瞬时压力大于应用服务处理能力，导致消息丢失、系统奔溃等问题，另外它还有解耦（不同重要程度、不同能力级别系统之间依赖...
rocketmq集群只有一个broker接收消息
最新发布
07-25
RocketMQ 的 Broker 是消息的存储和转发核心组件，多个 Broker 组成一个集群以实现负载均衡和高可用性。然而，在某些情况下，集群中可能仅有一个 Broker 实际接收消息，这通常与以下几个因素有关： 1. **Broker ...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值