图解RocketMQ消息发送和存储流程

最新推荐文章于 2025-06-22 15:48:48 发布
最新推荐文章于 2025-06-22 15:48:48 发布
阅读量3.4k 收藏 7
点赞数
CC 4.0 BY-SA版权
文章标签： 数据库 运维 嵌入式
原文链接：https://juejin.im/post/5cfcd223f265da1bc23f6b06
本文深入探讨了RocketMQ的基本概念与架构，详细解析了Producer、Consumer、Broker及NameServer的功能，以及消息发送、存储和刷盘流程。通过理解消息队列的工作原理，帮助开发者更好地掌握RocketMQ的使用。

基本概念

整体架构

  • Producer：生产者
  • Consumer：消费者
  • Broker：负责消息存储、投递、查询
  • NameServer：路由注册中心。功能包括：Broker管理、路由信息管理

模块间数据流转

生产-消费模型

消息发送流程

  • Broker启动时，向NameServer注册信息
  • 客户端调用producer发送消息时，会先从NameServer获取该topic的路由信息。消息头code为GET_ROUTEINFO_BY_TOPIC
  • 从NameServer返回的路由信息，包括topic包含的队列列表和broker列表
  • Producer端根据查询策略，选出其中一个队列，用于后续存储消息
  • 每条消息会生成一个唯一id，添加到消息的属性中。属性的key为UNIQ_KEY
  • 对消息做一些特殊处理，比如：超过4M会对消息进行压缩
  • producer向Broker发送rpc请求，将消息保存到broker端。消息头的code为SEND_MESSAGE或SEND_MESSAGE_V2（配置文件设置了特殊标志）

消息存储流程

  • Broker端收到消息后，将消息原始信息保存在CommitLog文件对应的MappedFile中，然后异步刷新到磁盘
  • ReputMessageServie线程异步的将CommitLog中MappedFile中的消息保存到ConsumerQueue和IndexFile中
  • ConsumerQueue和IndexFile只是原始文件的索引信息

消息体结构

  • CommitLog的消息体长度不一样，每个CommitLog文件默认1G
  • ConsumerQueue内的消息体长度固定，为20Byte

内存映射流程

  • 内存映射文件MappedFile通过AllocateMappedFileService创建
  • MappedFile的创建是典型的生产者-消费者模型
  • MappedFileQueue调用getLastMappedFile获取MappedFile时，将请求放入队列中
  • AllocateMappedFileService线程持续监听队列，队列有请求时，创建出MappedFile对象
  • 最后将MappedFile对象预热，底层调用force方法和mlock方法

刷盘流程

  • producer发送给broker的消息保存在MappedFile中，然后通过刷盘机制同步到磁盘中
  • 刷盘分为同步刷盘和异步刷盘
  • 异步刷盘后台线程按一定时间间隔执行
  • 同步刷盘也是生产者-消费者模型。broker保存消息到MappedFile后，创建GroupCommitRequest请求放入列表，并阻塞等待。后台线程从列表中获取请求并刷新磁盘，成功刷盘后通知等待线程。

转载于:https://juejin.im/post/5cfcd223f265da1bc23f6b06

RocketMQ 消息失败重试 解析——图解、源码级解析
如切如磋，如琢如磨
10-24 3523
📆 最近更新：2022年10月24日🍊 个人简介：通信工程本硕💪、Java程序员🌕。做过科研paper，发过专利，优秀的程序员不应该只是CRUD。
RocketMQ 消息收发全流程图解（设计师的视角分析）
如切如磋，如琢如磨
05-05 4486
文章目录消息发送模型消息发送流程消费消息模型 消息发送模型 既然RocketMQ是消息队列，如果我们站在设计者的角度去思考的话，我一定会给它设计一个存储消息的机制： 为了做到先发过来的消息优先被消费，很自然的就能想到使用队列这种数据结构； 参考Redis的发送订阅模型，消费者通过订阅主题（Topic）下的消息实现定向投放； 此外，为了提高MQ的可靠性，我们还会设计一些冗余策略来保证消息不丢失。 从存储模型来看，MQ里有三个比较重要的概念： Broker：即Server，接受客户端的连接，实现服务 T
RocketMQ 消息发送流程
黎明就要到来
06-26 935
该文所涉及的 RocketMQ 源码版本为 4.9.3。
RocketMQ Producer发送消息流程
cxyAtuo的博客
02-05 445
 这节介绍Producer发送消息的流程。  接上一节开头的Demo，发送消息的写法如下： public class SyncProducer { public static void main (String[] args) throws Exception { // 实例化消息生产者Producer DefaultMQProduce...
深入剖析 RocketMQ 源码 - 消息存储模块
最新发布
sjkflw121150的博客
06-22 785
对于数据的读取，如果一次读取文件时出现未命中 Page Cache 的情况，OS 从物理磁盘上访问读取文件的同时，会顺序对其他相邻块的数据文件进行预读取。Slot Table 中每个 hash 槽存放的是 IndexItem 在 Index Linked List 的位置，如果 hash 冲突时，新的 IndexItem 插入链表头， 它的 Next Index Offset 中存放之前链表头 IndexItem 位置，同时覆盖 Slot Table 中的 hash 槽为最新 IndexItem 位置。
RocketMQ源码 — 三、 Producer消息发送过程
weixin_34258838的博客
01-16 231
Producer 消息发送 producer start producer启动过程如下图 public void start(final boolean startFactory) throws MQClientException { switch (this.serviceState) { case CREATE_JUST: this.servi...
Rocket MQ系列四 - 消息发送流程
javaJasonjava的博客
11-20 1761
RocketMQ客户端的消息发送通常分为以下3层： 业务层：通常指直接调用RocketMQ Client发送API的业务代码。 消息处理层：指RocketMQ Client获取业务发送的消息对象后，一系列的参数检查、消息发送准备、参数包装等操作。 通信层：指RocketMQ基于Netty封装的一个RPC通信服务，RocketMQ 的各个组件之间的通信全部使用该通信层。 总体上讲，消息发送流程首先是RocketMQ客户端接...
图解 RocketMQ 的系统架构
JavaShark的博客
07-12 321
今天给大家分享一篇我对学习 RocketMQ 系统架构核心知识点的梳理和总结,在讲解时力求精简、通俗易懂，通过图解来给正在学习 RocketMQ 的小伙伴带来帮助。RocketMQ 是阿里巴巴的分布式消息中间件，在 2012 年开源，在 2017 年成为 Apache 顶级项目。RocketMQ 的集群架构如下图：从上图可以看到，整个集群中有四个角色： Name Server集群、Broker主从集群、Producer、Consumer。Name Server 集群部署，但是节点之间并不会同步数据，因为每个
RocketMQ 延迟消息解析——图解、源码级解析
如切如磋，如琢如磨
08-05 2313
文章目录定义DDMQdelay service的设计细节RocketMQ中的延迟消息生产者发送延迟消息Broker端处理延迟消息延迟消息与消息重试机制的关系 定义 延迟消息： 生产者发送消息之后，不能立刻被消费者消费，而是应该等到一定时间之后才可以被消费。 例如： 在淘宝购物时，当用户提交一个订单之后，如果30min还没有支付的话，就给用户发送一条提示消息 Broker提供延迟消息功能的核心思路是一致的：将延迟消息先存放在一个临时的空间里，等到期后才发送给Topic 如上图所示，实现延迟消息的步骤如下：
深度好文 图解 RocketMQ 的系统架构
wui66655的博客
02-23 6924
今天给大家分享一篇学习 RocketMQ 系统架构核心知识点的梳理和总结,在讲解时力求精简、通俗易懂，通过图解来给正在学习 RocketMQ 的小伙伴带来帮助。 RocketMQ 是阿里巴巴的分布式消息中间件，在 2012 年开源，在 2017 年成为 Apache 顶级项目。 1 集群架构 RocketMQ 的集群架构如下图： 从上图可以看到，整个集群中有四个角色：Name Server集群、Broker主从集群、Producer、Consumer。 1.1 Name Server 集群 .
RocketMq事务消息发送代码流程详解
08-18
主要介绍了RocketMq事务消息发送代码流程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
RocketMQ原理-消息发送流程
公众号：该用户快成仙了
10-26 315
RocketMQ 源码版本 4.9.1 概述 整体架构 各角色说明： NameServer，负责提供路由服务 Producer，生产者，负责发送消息 Broker，消息队列，负责存储消息并提供相关的API操作 Consumer，消费者，负责消费消息 生产-消费模型 消息发送方式：同步，异步，单向 消息类型：普通消息（包含延迟消息），顺序消息（全局顺序与局部顺序），事务消息 本文通过同步发送普通消息的Demo，来了解消息发送的主要流程。 生产者 下面看到一个生产者发.
RocketMQ-消息发送源码分析(二)消息发送基本流程及Topic路由信息获取
hosaos的博客
08-11 911
文章目录问题点消息发送方式消息发送基本流程路由信息获取 问题点 同样，在介绍消息发送流程之前，先抛出几个问题 消息发送有哪几种方式？ producer是如何查找、维护topic对应的路由信息的？ 消息发送的实现类为DefaultMQProducer 消息发送方式 先看下DefaultMQProducer中有哪些发送方法 大体可分为三种 send(Message)为同步发送 send(Mes...
RocketMQ从入门到精通——消息发送
yyycheng的博客
07-19 650
消息发送概述 RocketMQ支持三种方式发送消息——同步，异步，Oneway。同步发送及producer消息发送后，同步等待直至broker响应；异步发送即需要消息发送成功后立即返回不等待，等待发送结束后回调函数会被调用。Oneway方式发送完成后不等待结果返回，也不不指定回调函数，消息有可能发送失败。 从性能方面来讲，三种发送方式从高到低依次是Oneway发送，异步发送，同步发送。 从可靠性方面来讲，三种发送方式从高到低依次是同步发送，异步发送，Oneway发送。 消息结构 消息类Message中包含t
RocketMQ高手之路系列之五：RocketMQ之消息发送（二）
07-17 497
引言
一张图进阶 RocketMQ - 消息发送
三此君的博客
07-05 789
三此君看了好几本书，看了很多遍源码整理的 一张图进阶 RocketMQ 图片链接，关于 RocketMQ 你只需要记住这张图。 今天主要从一个生产者示例开始，以两行代码为切入点，逐步剖析生产者启动流程以及同步消息发送流程。......
RocketMQ整个流程
qq_40384690的博客
05-21 1763
1.发送消息，producer会在本地缓存的broker列表里面获取一个broker，如果没有，那就会去namesrv获取broker的地址，然后发 送消息到broker。 2.broker接受到消息后，会进行一系列检查，然后把收到的消息，存入到commitLog当中，然后进行刷盘，如果是同步的刷盘策略 ，那么就会在写入到pageCache中时，再真正落地到磁盘的时候才会进行response的返回...
RocketMQ 发送消息存储流程
93张先生
01-24 355
存储总览 业务系统大多数需要 MQ 有持久存储的能力，能大大增加系统的高可用性。从存储方式和效率来看，文件系统高于 KV 存储，KV 存储又高于关系型数据库，直接操作文件系统肯定是最快的，但可靠性却是最低的，而关系型数据库的性能和可靠性与文件系统恰恰相反。 存储实现 RocketMQ 存储概要设计 消息发送存储流程 存储文件组织与内存映射机制 RocketMQ 存储文件 消息队列、索引文件构建和机制 RocketMQ 文件恢复机制 RocketMQ 刷盘机制 RocketMQ 文件删除机制 存储概要设计
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值