rocketmq-消息存储(五)

一文带你理解 RocketMQ 广播模式实现机制 本文主要讲解了RocketMQ广播消息的实现机制,理解广播消息,要把握下面几点1.偏移量保存在消费者本地内存和文件中;2.广播消息不支持重试;3.从源码上看,广播模式并不能支持顺序消息;4.广播模式消费者订阅了Topic下的所有MessageQueue,不会重平衡。httpshttpshttpshttps。... 阅读详情

系列文章目录

rocketmq—安装篇(一)
rocketmq—手把手搭建集群模式(二)
rocketmq—各类型消息实战(三)
rocketmq—名词解释(四)
rocketmq—消息存储(五)



前言

前面几章讲解了各个角色组成部分、集群搭建、发送各种类型消息等。但作为高可用的分布式消息队列,必定是要实现消息的持久化存储的。这篇文章就要讲rocketmq是如何实现持久化存储了,here we go … …


一 集群架构

1.1 集群架构图

把之前的角色部分又粘贴过来了,温故而知新,让老铁们加深点影响。
在这里插入图片描述
Nameserver:管理broker ,通过它知道从哪个broker读写数据。
Producer:生产者,发送消息
Broker:master slave ,负责消息存储、投递、查询
Consumer:消费者,消费消息
Topic:对消息进行分类,一个Producer可以发送消息给一个或者多个Topic,一个Consumer可以订阅一个或者多个Topic消息
Message Queue:相当于Topic 的分区,用于并行发送和接收消息。(同一个Topic 的消息,可以发送到多个Queue里面)

二 消息存储

2.1 消息传输过程

在这里插入图片描述

  1. 消息生产者发送消息到MQ。
  2. MQ收到消息,将消息进行持久化,即在存储系统中新增一条记录。
  3. 返回ACK确认消息给生产者。
  4. 然后MQ推送消息给对应的消费者,等待消费者返回ACK。
  5. 如果消息消费者在指定时间内成功返回ACK,那么MQ认为消息消费成功,在存储系统中删除消息,即执行第6步;如果MQ在指定时间内没有收到ACK,则认为消息消费失败,会尝试重新推送消息,重复执行4、5、6步骤。

2.2 存储介质

关系型数据库、KV非关系型数据库、文件系统

  • 普通关系型数据库(如Mysql)在单表数据量达到千万级别的情况下,其IO读写性能往往会出现瓶颈。在可靠性方面,该种方案非常依赖DB,如果一旦DB出现故障,则MQ的消息就无法落盘存储会导致线上故障。
  • 非关系型数据库,处理海量数据效率高,但是不支持事务、数据与数据间没有关系,适合处理海量数据,保证效率,不一定安全。
  • 消息刷盘至所部署虚拟机/物理机的文件系统来做持久化(刷盘一般可以分为异步刷盘和同步刷盘两种模式)为消息存储提供了一种高效率、高可靠性和高性能的数据持久化方式。除非部署MQ机器本身或是本地磁盘挂了,否则一般是不会出现无法持久化的故障问题。

性能对比: 文件系统>KV非关系型数据库>关系型数据库DB

2.3 消息存储与发送

2.3.1 消息存储

  • 目前高性能磁盘顺序写可以达到600MB/s,磁盘随机写大概只有100K/s。rocketmq的消息存储采用的就是顺序写,随机度的机制,保证了高效率。

2.3.2 消息发送

文件操作、网络操作需要涉用户态、内核态的切换。

一台服务器把本机磁盘文件的内容发送到另一个客户端,一般分为两个步骤:

  • read:读取本地文件内容;
  • write:将读取的内容通过网络发送出去。

这两个看似简单的操作,实际进行了4 次数据复制,分别是:

  • 从磁盘复制数据到内核态内存;
  • 从内核态内存复制到用户态内存;
  • 从用户态内存复制到网络驱动的内核态内存;
  • 从网络驱动的内核态内存复 制到网卡中进行传输。

通过使用“零拷贝”-mmap的方式,省去向【用户态】的内存复制,提高速度。这种机制在Java中是通过MappedByteBuffer实现的。

采用MappedByteBuffer这种内存映射的方式有几个限制,其中之一是一次只能映射1.5~2G的文件至用户态的虚拟内存,这也是为何RocketMQ默认设置单个CommitLog日志数据文件为1G的原因了。

2.4 消息存储结构

rocketmq 消息存储目录store下面的目录结构:

abort
checkpoint
config
|-- consumerFilter.json
|-- consumerOffset.json  ## 保存consumer消费进度
|-- delayOffset.json
|-- subscriptionGroup.json
|-- topics.json
commitlog
|-- 00000000000000000000
consumer
|-- HelloTopic
	|-- 0
	|-- 1
	|-- 2
	|-- 3
|-- TestTopic
	|-- 0
	|-- 1
	|-- 2
	|-- 3
|-- index
	|-- 20210116144023028

主要组成:

  • config:
    • consumerOffset.json 存储消息消费进度
  • CommitLog:存储消息的元数据。所有的topic的消息都存储在一个commitlog中,顺序写,随机读;受mmap文件内存映射限制,单个文件默认为1G大小。
    1、单个文件大小默认1G ,文件名长度为20位,左边补零,剩余为起始偏移量,比如00000000000000000000代表了第一个文件,起始偏移量为0,文件大小为1G=1073741824;当第一个文件写满了,第二个文件为00000000001073741824,起始偏移量为1073741824,以此类推。消息主要是顺序写入日志文件,当文件满了,写入下一个文件;
  • ConsumerQueue:消息消费的逻辑队列。
    1、每个topic有自己的多个consumerqueue文件,每个文件里有多个msg,每个msg由CommitLog Offset、Size 和Msg Tag Hashcode组成;
    2、consumequeue里面单个msg里之所以存tag,是因为在进行Broker端消息过滤时比对tag决定是否消费消息;存tag的hashcode而不是字符串,是因为定长方式存储,节约空间。
  • IndexFile:存储消息的索引key,在实际的物理存储上,文件名则是以创建时的时间戳命名的。为了消息查询提供了一种通过key或时间区间来查询消息的方法,这种通过IndexFile来查找消息的方法不影响发送与消费消息的主流程。
    1、有了commitlog和consumequeue,消息发送和消费逻辑已经可以得到满足,引入index file 是为消息建立索引方便问题排查:在给定topic和key的前提下,快速定位到消息;msgid是有broker地址和commitlog offset组成,通过它也很容易定位到消息。(没有size如何取得完整的msg消息呢?)
    2、根据key的hashcode取模slotNum,得到在slotTable中的具体位置。(那通过timestamp 如何定位槽位呢?通过文件的名称)
    3、每个slot value 指向该slot 对应的index Linked list 中最新的msg index(倒排索引,头插法);每个msg index 的next index offset 连接下一个msg index.
    4、固定的单个IndexFile文件大小约为400M,一个IndexFile可以保存 2000W个索引;
  • MappedFileQueue: 对连续物理存储的抽象封装类,可以通过消息存储的物理偏移量位置快速定位该offset所在MappedFile(具体物理存储位置的抽象)、创建、删除MappedFile等操作;
  • MappedFile: 对文件存储的直接内存映射抽象封装类(直接在os内核分配内存),通过操作该类,可以把消息写入pagecache或者原子性地将消息持久化刷盘。

详解见图:
在这里插入图片描述 在这里插入图片描述

2.5 刷盘方式

在这里插入图片描述

同步刷盘:

  • 消息通过java程序写入到系统缓冲区pagecache后,主线程唤醒同步刷盘线程刷盘,等刷盘完毕,刷盘线程唤醒等待线程,返回写成功的状态
  • 安全性高,吞吐量小

异步刷盘:

  • 消息通过java程序写入到系统缓冲区pagecache后,立刻返回成功的状态。
  • 写操作快,吞吐量大

配置:

#  SYNC_FLUSH、ASYNC_FLUSH 选择一个
flushDiskType = SYNC_FLUSH

三 问题

1、index file每个文件限定2000W个索引,怎么定的?

答:规定每个文件存储的索引个数最大为2000W。文件大小是固定的,等于40(header)+500W4(slot)+2000W20(索引)= 420000040个字节大小。

2、index file每个文件的slotNum 怎么确定的?

答:默认槽位500W个,每个固定4byte。平均每个slot存4个索引

3、查询的流程:查询的传入值除了key外,为什么还包含一个时间起始值以及截止值?

答:一个indexFile写完一个会继续写下一个,仅仅一个key无法定位到具体的indexFile,时间范围就为了更精确的定位到具体的indexFile,缩小查找的范围,indexFile文件名是一个时间戳,根据日期就可以定位到传入的日期范围对应在哪个或者哪些indexFile中

4、通过key+timestamp 在indexfile中找到对应的索引后,知晓了对应的commitlog Offset,但是没有size如何取得完整的msg消息呢?


源代码见:这里


我向你奔赴而来,你就是星辰大海

RocketMQ-没有消费者的消息堆积场景分析 完善监控告警、提高应急响应能力最小权限原则RocketMQ控制台是否应该增加操作记录的功能? 阅读详情

相关推荐

RocketMQ消息存储五:逻辑对象层IndexFile

概述 IndexFile存储消息的索引信息,可以根据key进行查找。 存储文件信息 存储目录为HOME/store/index/,每个文件大小为420000040字节。文件名字为创建时的时间戳。 IndexFile格式 可以把IndexFile理解为哈希表。IndexFile解决冲突的方式是拉链,即把哈希值相同的数据存到链表中。如果在内存中,数据结构应该是一个slot数组,对象类型为index的一...

夏天的伞 557

RocketMq 部分队列不能消费问题排查

欢迎移步到我个人博客网站阅读 RocketMq 部分队列不能消费问题排查

sharedCode源码交流 1万+

RocketMQ消息存储过程

持久化在计算机系统中具有极其重要的地位,尤其是在诸如消息队列、数据库等需要保证数据完整性和可靠性的场景中。:持久化能够保证数据在硬件故障、系统崩溃或断电等情况发生后仍能保持完整,避免数据丢失。在RocketMQ中,消息一旦被持久化到磁盘,即使Broker服务出现异常重启,也能从磁盘恢复未被消费的消息。:对于涉及多个操作的事务处理,持久化可以作为事务提交的关键步骤,只有当数据成功写入持久化存储后,事务才能被认为已成功完成。这对于分布式事务、消息队列的事务消息等功能至关重要。

tousdi的博客 1161

RocketMQ第三节(生产者和消费者)

根据消息的key将消息轮训的插入队列中,队列的消息能保证FIFO,但是我们并不知道实际具体那条消息在那个队列,无法保证比如订单号是01的所有操作在同一个队列。所有才有了顺序发送,我们传入指定的订单号,只要订单号一直,就一定会存到相同的队列。我们知道,我们发送的消息,存储到了mq的topic的队列里边,默认的topic是4个队列。第一种(推送模式):订阅mq服务的topic,mq收到消息把消息推送给消费者,适用范围广。第二种(拉取模式):订阅mq服务的topic,mq收到消息,消费者定时去mq拉取消息。

huyiju的博客 4102

RocketMQ5.0消息存储<五>_文件过期删除机制

若是更新消息时(如:更新消息的延迟重试次数),采用重新写入的方式,而不是直接更新原始消息。RocketMQ清除过期文件的方法是:如果非当前写文件在一定时间间隔内没有再次被更新,则认为是过期文件,可以被删除,不会关注该文件的消息是否全部被消费。RocketMQ操作CommitLog、ConsumeQueue文件是基于内存映射机制并在启动时会加载commitlog、consumequeue目录下的所有文件,为了避免内存与磁盘的浪费,不可能将消息永久存储Broker服务器上,所以需要删除己过期的文件。

专搞技术的小兔子 495

RocketMQ 消息存储机制分析

作为一个消息中间件,消息存储的效率直接影响到消息存取的效率,RocketMQ的单机吞吐量达到10w级别也和其存储设计有关,文本就对其进行一些探索。

如切如磋,如琢如磨 3442

rocketmq 部分队列不消费NOT_CONSUME_YET

rocketmq 部分队列不消费NOT_CONSUME_YET

孤海岛主 3371

nnDetection复现Luna16 附模型

淘论文发现nnDetection框架对肺结节的检测效果挺好,便跑了跑复现了下, 作者诚不欺人,确实挺好, 并附上我依据文档训练的模型。

HeavenWalker 2597

RocketMQ(五)消息存储

RocketMQ中的消息存储在本地文件系统中,这些相关文件默认在当前用户主目录下的store目录中。

爱是与世界平行 1936

NumPy 与 Pandas 的详细应用(含实例)

本文系统介绍了Python数据分析中NumPy和Pandas两大核心库的应用。NumPy专注于高效数值计算,提供多维数组和向量化运算功能;Pandas则擅长结构化数据处理,支持数据清洗、分组统计等操作。文章详细讲解了库的安装、基础操作(数组/DataFrame创建、索引切片)、进阶功能(缺失值处理、分组聚合),并通过电商销售分析案例演示了实际应用场景。最后总结了二者的协同优势:NumPy负责底层数值计算,Pandas处理高级数据操作,配合使用可显著提升数据处理效率。建议读者从基础操作入手,结合实际案例练习,

weixin_42030577的博客 2301

解密携程风控:user-dun算法中的自定义base64与多模式加密机制剖析

本文深入剖析了携程旅行APP风控核心组件libduncode.so中的user-dun算法。文章重点解密了其采用的自定义Base64编码机制与多模式加密选择逻辑,并详细阐述了如何通过动态分析与静态还原,理解算法与设备指纹的深度绑定关系,为逆向分析类似混淆加固的风控算法提供了系统的方法论。

weixin_29323049的博客 341

RocketMQ源码系列(五)RocketMQ消息存储,broker源码篇,消息存储流程

目录消息存储流程检查是否可写入消息检查topic和消息属性长度是否合法写入消息 消息存储流程 默认方法为org.apache.rocketmq.store.DefaultMessageStore中的putMessage(MessageExtBrokerInner msg)方法 1、检查是否可写入消息 2、检查topic和消息属性长度是否合法 3、写入消息 4、设置写入时长 5、判断写入结果 6、返回结果 @Override public PutMessageResult putMessa.

weixin_43073775的博客 328

当预编译包失效时:手把手教你在Nvidia Orin (JetPack 5.1.1) 上源码编译onnxruntime-gpu

本文详细指导在Nvidia Orin (JetPack 5.1.1) 上源码编译onnxruntime-gpu的全流程,解决预编译包兼容性问题。涵盖环境准备、工具链配置、源码编译、常见问题解决及性能优化技巧,帮助开发者在边缘计算设备上实现高效AI模型推理。

weixin_29062823的博客 135

消息队列RocketMQ入门实践--消息存储(五)

系列文章目录 消息队列RocketMQ入门实践(一) 消息队列RocketMQ入门实践(二) 消息队列RocketMQ入门实践–关键特性(三) 消息队列RocketMQ入门实践–关键特性(四) 文章目录系列文章目录前言一、消息存储整体架构二、刷盘策略1.同步刷盘2.异步刷盘三、刷盘原理2.读入数据总结 前言 嗨,大家好,我是希留。 消息存储是RocketMQ中最为复杂和最为重要的一部分,本文将从消息存储整体架构以及刷盘策略来聊一聊RocketMQ是如何进行消息存储的。 一、消息存储整体架构 引用官方的

Java升级之路的博客 1268

基于NARX和NARX-LSTM的模型辨识与MPC控制系统调试与优化

本文针对两输入单输出非线性系统,提出基于NARX和NARX-LSTM的模型辨识与MPC控制优化方案。系统输入为固定量u1和可调量u2(8.5-140),输出目标为-0.58。现有模型存在辨识精度不足、历史输出依赖过重、预测偏差等问题。解决方案包括:数据差分处理改善非平稳性、调整延迟阶数优化模型结构、引入注意力机制替代手动加权、改进损失函数消除预测偏差。MPC控制器将结合优化模型,考虑控制变量步长约束(≥2),实现输出稳定控制。通过系统性的模型调试与控制算法优化,最终形成完整的非线性系统辨识与控制框架。

huanghm88的专栏 131

提示词驱动的智能合同生成与审核

第1章:核心概念与背景 1.1.1 问题背景 1.1.1.1 合同生成与审核的需求 合同作为商业和法律领域中的基本工具,其生成和审核过程至关重要。传统的合同生成往往依赖于法律专业人士的手工撰写,这不仅耗时耗力,而且容易出现错误。此外,合

AI天才研究院 1003

RocketMq4.7源码解析之五(消息存储)

文章目录存储文件组织与内存映射RocketMQ 存储文件Commitlog 文件ConsumeQueue文件Indexcheckpoint实时更新消息消费队列与索引文件 1 ) CommitLog :消息存储文件,所有消息主题的消息都存储在CommitLog 文件中。 2 ) ConsumeQueue :消息消费队列,消息到达CommitLog 文件后,将异步转发到消息 消费队列,供消息消费者消费。 3 ) IndexFile :消息索引文件,主要存储消息Key 与Offset 的对应关系。 4 )事务状

Nuan_Feng的博客 917

VS code 调试显示preLaunchTask“g++“已终止,退出代码为-1。 生成‘... .exe‘文件错误

总结: 以后每个工程都需要按照这样的流程:创建一个.c/.cpp文件 -> F5运行 -> 配置tasks.json文件-> launch.json文件 -> 运行

qq_45151652的博客 2517

RocketMQ入门到入土(五)消息持久化存储源码解析

精彩推荐一百期Java面试题汇总SpringBoot内容聚合IntelliJ IDEA内容聚合Mybatis内容聚合接上一篇:RocketMQ入门到入土(四)producer生产消息源码...

Java知音 648

【人工智能】 WebDev Arena:实时AI Web开发竞赛的技术探索与价值

《AI编程竞赛推动Web开发技术创新》摘要:WebDev Arena作为聚焦Web开发领域的实时AI编程竞赛,通过标准化竞技环境检验AI模型在代码生成、问题解决等方面的能力。竞赛覆盖前端、后端等全流程开发环节,采用实时评分机制,推动AI对复杂Web需求的理解和多元技术栈适配。该赛事不仅促进AI编程技术创新,更为Web开发行业与AI技术融合搭建桥梁,有望提升开发效率、降低技术门槛。未来将拓展Web3.0等前沿技术主题,持续推动行业智能化发展。(150字)

奶爸的编程之路,也就一周冷个三天 263

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

RocketMQ学习笔记(五)——消息存储(待完善)

一、互联网行业,得数据者得天下? 看过一篇文章,标题就是“互联网行业,得数据者得天下”,文章中阐述互联网未来的发展必然是向人工智能、算法、大数据等等大咖级别的岗位去延申,那么作为这些岗位所依赖的基础海量数据,就显得重中之重!举个反例,如果没有数据,农名工们拿什么去计算,去分析,去建模,去推荐,所以数据对于互联网企业来说是首要关注的重点! 现在互联网依然是不再惧怕没有数据,但是有了数据,你得保存得住,才能算是资源,如果你给丢了,那就是直接利益的损失!都是钱! 二、消息中间件的存储方式 三、Rock

m0_60109578的博客 285

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

RocketMQ入门学习(五*一)消息持久化存储源码解析

一、原理 1、消息存在哪了? 消息持久化的地方其实是磁盘上,在如下目录里的commitlog文件夹里。 /root/store/commitlog 源码如下: //{@linkorg.apache.rocketmq.store.config.MessageStoreConfig} //数据存储根目录 privateStringstorePathRootDir=System.getProperty("user.home")+File.separator+"store";...

My_SweetXue的博客 667

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

RocketMQ入门学习(五*二)消息持久化存储源码解析

四、总结 面试被问:Broker收到消息后怎么持久化的? 回答者:有两种方式:同步和异步。一般选择异步,同步效率低,但是更可靠。消息存储大致原理是: 核心类MappedFile对应的是每个commitlog文件,MappedFileQueue相当于文件夹,管理所有的文件,还有一个管理者CommitLog对象,他负责提供一些操作。具体的是Broker端拿到消息后先将消息、topic、queue等内容存到ByteBuffer里,然后去持久化到commitlog文件中。commitlog文件大小为1G,超出

My_SweetXue的博客 290

RocketMQ5.0.0消息存储<五>_文件过期删除机制

介绍了RocketMQ为什么采用文件过期机制,文件过期机制实现就是利用定时任务执行删除文件,或磁盘不足进行强制删除等。删除过期文件的三个触发条件:指定定时时间删除文件、磁盘不足、人工执行删除命令。

爱我所爱0505 2003
上一篇: rocketmq-各类型消息实战(三)
下一篇: rocketmq-名词解释(四)
you_are_the_one
博客等级 码龄15年 50粉丝 25原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值