RocketMq之存储模型

RocketMQ作为消息中间件,其高可用和高吞吐量在微服务时代受到关注。本文介绍了RocketMQ的角色(Producer、Consumer、NameServer、Broker)、集群设计、消息存储机制(CommitLog、ConsumeQueue、Index)以及两种消费模式(集群和广播)。着重讨论了RocketMQ如何通过Topic和Queue实现负载均衡,并简要提及源码分析。

(一)RocketMq简介

在当前微服务大行其道的时代,对于消息中间件的高可用、高吞吐量、以及消息触达率都有着更高要求。而rocketmq在阿里的双十一这种亿级流量的大规模部署的集群环境中应运而生。让它天生带有了集群的功能特性,并且对标了业界成名已久的老大哥级别的kafka这一产品。其实很多思路也是借鉴kafka的。其他的废话我也不多说,想知道更多rocketmq的相关性能秀的同学可以去看官网
话不多说,还是直接进入今天的主题,rocketmq的集群设计到底是怎样的。

(二)角色介绍

RocketMQ主要由 Producer、Broker、Consumer 三部分组成,其中Producer 负责生产消息,Consumer 负责消费消息,Broker 负责存储消息。Broker 在实际部署过程中对应一台服务器,每个 Broker 可以存储多个Topic的消息,每个Topic的消息也可以分片存储于不同的 Broker。Message Queue 用于存储消息的物理地址,每个Topic中的消息地址存储于多个 Message Queue 中。ConsumerGroup 由多个Consumer 实例构成。

producer

负责生产消息,一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。RocketMQ提供多种发送方式,同步发送、异步发送、顺序发送、单向发送。同步和异步方式均需要Broker返回确认信息,单向发送不需要。

consumer

负责消费消息,一般是后台系统负责异步消费。一个消息消费者会从Broker服务器拉取消息、并将其提供给应用程序。从用户应用的角度而言提供了两种消费形式:拉取式消费、推动式消费。

nameserver

名称服务充当路由消息的提供者。生产者或消费者能够通过名字服务查找各主题相应的Broker IP列表。多个Namesrv实例组成集群,但相互独立,没有信息交换。单独提一句nameserver是一个无状态的路由服务器

broker

消息中转角色,负责存储消息、转发消息。代理服务器在RocketMQ系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备。代理服务器也存储消息相关的元数据,包括消费者组、消费进度偏移和主题和队列消息等。

(三)集群设计

在这里插入图片描述

从上图我们看出 broker、producer、consumer、nameserver都是可以

### RocketMQ 存储模型架构设计与内部实现 #### 1. 数据存储结构 RocketMQ存储层采用了一种高效的设计方案,即将多个 `MessageQueue` 中的消息统一存储一个文件中[^2]。这种设计方案能够显著减少磁盘随机读写的开销,提升整体性能。 为了进一步优化存储效率,RocketMQ 支持 **分段存储** 和 **基于时间的数据过期机制**。具体来说,消息按照一定的时间范围划分为不同的文件段(Segment),每一段对应一个物理文件。当某个时间段内的数据超过设定的有效期限时,对应的文件会被自动清理掉。 #### 2. 堆外内存缓冲区 在写入消息的过程中,RocketMQ 并不会立即将消息持久化到磁盘上,而是先将其缓存在堆外内存中的 `DirectByteBuffer` 缓冲区内[^4]。系统初始化阶段,默认会创建 5 个这样的 DirectByteBuffer 实例(由参数 `transientStorePoolSize` 控制)。这些缓冲区被循环利用,从而降低频繁申请和释放内存带来的性能损耗。 随后,通过后台线程 `CommitRealTimeService` 定时将缓冲区中的数据刷入操作系统页缓存(Page Cache)。只有当数据真正同步到磁盘之后,才会把已使用的 DirectByteBuffer 归还至缓冲池供后续使用。 #### 3. 持久化策略 RocketMQ 提供了灵活的持久化选项,允许开发者根据实际需求调整刷盘模式: - **同步刷盘**:每次写入完成后立即触发 fsync 调用,确保数据完全落盘后再返回成功状态; - **异步刷盘**:仅需等待数据进入 Page Cache 即可完成写操作,而具体的磁盘同步则交由独立线程处理,在一定程度上提高了吞吐量但可能带来一定的可靠性风险。 #### 4. 文件索引管理 除了原始消息体之外,RocketMQ 还维护了一系列辅助索引来加速查询过程。主要包括以下几种类型: - **Consume Queue (CQ)**:用于记录每个 Consumer Group 对应的具体消费位置信息; - **Index File**:提供快速定位指定条件下的目标消息功能; - **CommitLog**:作为核心日志文件保存所有的业务数据条目。 以上各类索引均采用了稀疏数组形式构建,既节省空间又便于扩展更新。 ```python class CommitLog: def __init__(self, file_path): self.file_path = file_path def append_message(self, message_bytes): with open(self.file_path, 'ab') as f: f.write(message_bytes) def flush_to_disk(): pass # Simulated disk flushing logic ``` 上述伪代码展示了如何向 CommitLog 添加新消息以及模拟磁盘刷新逻辑的方法声明。 ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ocean曈

您的支持,是我创作的动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值