RocketMQ基础知识

原创 已于 2023-12-29 17:55:05 修改 · 1.1k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rocketmq

于 2023-12-27 15:00:58 首次发布

目录

一、基础概念

1、主题（Topic）

2、消息类型（MessageType）

3、消息队列 （MessageQueue）

4、消息 （Message）

5、消息视图（MessageView）

6、消息标签（MessageTag）

7、消息位点（MessageQueueOffset）

8、消费位点（ConsumerOffset）

9、消息索引（MessageKey）

10、生产者（Producer）

11、事务检查器（TransactionChecker）

12、事务状态（TransactionResolution）

13、消费者分组（ConsumerGroup）

14、消费者（Consumer）

15、消费结果（ConsumerResult）

16、订阅关系（Subscription）

二、消息存储机制

1、消息存储三个关键问题

2、消息存储文件结构

三、消息过期清理机制

四、部署模型

1、NameServer（名字服务器）

2、Broker

五、部署方式

一、基础概念

1、主题（Topic）

        RocketMQ中消息传输和储存的顶级容器，用于标识同一业务逻辑的消息。主题通过TopicName来做唯一标识和区分

        官网介绍

2、消息类型（MessageType）

        RocketMQ中按照消息传输特性的不同而定义的分类，用于类型管理和安全校验

        普通消息、事务消息、定时/延迟消息、顺序消息

3、消息队列 （MessageQueue）

        队列是消息传输和存储的实际容器，也是消息最小的存储单元。所有主题都有多个队列组成，以此实现队列数量的水平拆分和队列内部的流式存储。

        队列通过QueueId来做唯一标识和区分

        官网介绍

4、消息 （Message）

        消息是最小的数据传输单元

        生产者将业务数据打包成消息发送到服务端，服务端按照相关配置投递到消费端进行消费

        官网介绍

5、消息视图（MessageView）

        消息视图是面向开发视角提供的一种消息只读接口

        通过消息视图可以读取消息内容，但是不能对消息本身进行修改

6、消息标签（MessageTag）

        标签是更细粒度的分类属性，可以在Topic下做更进一步业务逻辑细分

        消费者通过tag可对消息进行消息过滤

7、消息位点（MessageQueueOffset）

        消息是按照到达服务端的先后顺序存储在指定主题下的多个队列中，每个消息在队列中有一个唯一的Long类型坐标，这个坐标就是消息位点

8、消费位点（ConsumerOffset）

        消息被某个消费者消费后不会立刻从队列中删除，RocketMQ会基于每个消费者分组记录消费过的最新一条消息的位点，这个位点就是消费位点

      （通俗来讲消费位点就是记录当前具体消费到哪条消息了）

9、消息索引（MessageKey）

        通过消息索引可快速查询到消息存储位置

10、生产者（Producer）

        生产者是生产消息的运行实体，一般运行在业务程序中，把业务数据打包成消息发送到服务端

        官网介绍

11、事务检查器（TransactionChecker）

        实物检查器是生产者用来检查本地事务和异常事务恢复的监听器。通过业务测数据状态来检查和判断事务消息的状态

12、事务状态（TransactionResolution）

        事务消息发送过程中，事务提交的状态标识，服务端通过事务状态控制事务消息是否应该提交和投递

        事务状态：事务提交、事务回滚、事务未决

13、消费者分组（ConsumerGroup）

        消费者分组是承载多个消费策略一致的消费者负载均衡分组

        消费者分组不是一个实体，只是一个逻辑资源。通过消费者分组内初始化多个消费者，可实现消费性能的水平拓展和高可用容灾

        同一分组下所有消费者的消费策略和消费重试策略必须一致（5.X同一从消费者分组获取，消费者不需要关注；3.X/4.X版本由消费者定义，需要注意）

        官网介绍

14、消费者（Consumer）

        消费者是接收消息并对消息进行处理的实体，一般是业务程序

        官网介绍

15、消费结果（ConsumerResult）

        PushConsumer消费监听器处理消息完成后返回的结果，用来标识本次消息是否正常处理

        消费结果包含消费成功和失败

16、订阅关系（Subscription）

        订阅关系是消费者获取、处理消息的规则和状态配置

        订阅关系由消费者分组动态注册到服务端系统，并在后续的消息传输中按照订阅关系定义的过滤规则进行消息匹配和消费进度维护

        官网介绍

二、消息存储机制

        消息按照先后到达服务端的顺序进行保存

1、消息存储三个关键问题

                a、消息存储管理粒度：消息的存储时长，并不按照主题或队列粒度

                b、消息存储判断依据：按照存储时长作为判断依据

                c、消息存储是否与消费状态有关：无

2、消息存储文件结构

                存储路径由storePathRootDir参数决定

                commitLog文件夹存储消息物理文件，consumerQueue文件夹存储逻辑队列索引

三、消息过期清理机制

        消息保存时长并不能完整控制消息的实际保存时间，因为消息存储仍然使用本地磁盘，本地磁盘空间不足时，为保证服务稳定性消息仍然会被强制清理，导致消息的实际保存时长小于设置的保存时长。

四、部署模型

1、NameServer（名字服务器）

        是一个简单的Topic路由注册中心，支持Topic、Broker的动态注册与发现

   主要功能：

        1)、 Broker管理：

                a、存储Broker集群的注册信息

                b、提供心跳检测机制，检查Broker是否存活

        2)、路由信息管理：

                存储整个Broker集群的整个路由信息和用于客户端查询的队列信息

    部署架构：

        一般部署多个实例，每个实例之间互不通信，Broker需要向每个NameServer进行注册

2、Broker

        负责消息的存储、投递、查询

        部署架构：

                standalone：单机部署

                Master-Slave：再次部署方式中，Broker分为Master节点和Slave节点，Master和Slave是一对多的方式；通过BrokerName进行指定对应关系；使用BrokerId区分Master和Slave节点，0是Master节点，非0是Slave节点。其中Master也可部署多个

五、部署方式

        官网介绍

古道湫风
关注
RocketMQ --- 基础篇
shuai_h的博客
06-26 1200
bin：启动脚本，包括shell脚本和CMD脚本conf：实例配置文件 ，包括broker配置文件、logback配置文件等lib：依赖jar包，包括Netty、commons-lang、FastJSON等Producer：消息的发送者；举例：发信者Consumer：消息接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例：各个邮局的管理机构Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；
一篇文章了解RocketMQ基础知识。
null
10-26 1066
快速认识RocketMQ， 了解核心组件，Topic，Tag，Queue，Message，Producer，Consumer，NameServer， Broker。 学习工作流程，交互原理。
RocketMQ架构原理和使用总结
weixin_45727359的博客
08-27 436
RocketMQ是一个分布式开放消息中间件，底层基于队列模型来实现消息收发功能。RocketMQ集群中包含4个模块：Namesrv, Broker, Producer, Consumer...
RocketMQ 知识点整理
阳光大男孩！！！的博客
01-11 1721
死信队列 如果一条消息没有被正常消息，会触发消费者的重试，当重试一定次数之后仍不可被正常消费，会将这条消息放到一个队列中，这个队列称之为死信队列。 死信消息拥有以下特性： 不会再被消费者正常消费，留存有效期与正常消息相同，均为3天 死信队列与Group ID是对应的，所以某个死信队列里存在的消息可能属于不同的topic 如果一个Group ID未产生死信消息，RMQ不会为其创建相应的死信队列 ......
RocketMQ的一些基础知识
程序员小董的专栏
04-09 292
消息的发送有3种形式，同步，异步，单向等 关于consumer 有pushconsumer，就是consumer写一个回调函数，borker把消息推过来（） 也有pullconsuemr，就是consumer自己去broker拉数据，代码比较复杂 关于consumer group 如果一个consumer group里面的多个consumer都指向同一个topic，且有的是集群模式，有是广播模式 ...
java RocketMQ快速入门基础知识
08-25
主要介绍了java RocketMQ快速入门基础知识，所以RocketMQ是站在巨人的肩膀上（kafka），又对其进行了优化让其更满足互联网公司的特点。它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。,...
RocketMQ基础--系列之一
qq_40776617的博客
03-19 894
本文主要介绍MQ的基础知识，后续针对MQ在日常工作中可能会遇到的问题及解决方案进行解析。
RocketMq基本知识
2301_79318558的博客
03-26 835
这是我根据官方文档整理的一篇小笔记。希望对看到的人，快速了解rocketmq有帮助。
RocketMQ基础入门
weixin_44315397的博客
11-13 593
所谓的消息队列，其实就是一个先进先出的数据结构，通过使用RocketMQ可以完成应用解耦、流量削峰、数据分发。应用解耦通过对高耦合的业务进行拆分，让各个业务之间的关联性不那么强，能够保证业务的流畅性。例如：用户创建订单后，耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障都会造成下单异常，影响用户使用体验。使用消息队列解耦合，比如物流系统发生故障，需要几分钟恢复，将物流系统要处理的数据缓存到消息队列中，用户的下单操作正常完成。等待物流系统正常后处理存在消息队列中的订单消息即可。
RocketMQ基础知识点
江无羡
07-22 815
RocketMQ基础简单介绍。
RocketMQ知识点总结
weixin_49199646的博客
08-12 1023
为什么需要消息队列 1、削峰 高并发情况下，服务器通过集群模式（即多机部署），可以抗住几万的并发，但数据库能承受的并发量是有限的，若服务器将所有请求直接打向数据库，会直接把数据库打垮。如图所示： 2、异步 对于实时性不是很高的业务，例如给用户发送短信、邮件通知，以及下单后的创建订单、削减库存等操作都可以放到消息队列里去。因为相对于核心订单流程来说，短信、邮件晚一些发送，对用户来说影响不是很大。同时还可以提升整个链路的响应时间。 1、解耦 多个服务通过消息队列关联在一起，相互之间不会产生耦合，一个服务挂了不
RocketMQ 基础入门
m0_46690280的博客
07-03 763
RocketMQ 基础入门RocketMQ 基础入门1 RocketMQ 介绍1.1 RocketMQ 特点1.2 RocketMQ 优势2 RocketMQ 基本概念2.1 NameServer2.1.1 NameServer作用2.1.2 和zk的区别2.1.3 高可用保障2.2 Broker2.2.1 部署方式2.3 生产者（Producer）2.3.1 同步发送2.3.2 异步发送2.3.3 单向发送2.3.4 生产者组2.3.5 高可用保障2.4 消费者（Consumer）2.4.1 消费者组2.
RocketMQ 入门篇-基础介绍
ming13849012515的博客
07-22 411
简介 阿里巴巴基于Java语言开发的分布式消息中间件。RocketMQ是Mateq3.0之后的开源版本。Metaq最早源于Kafka，早期借鉴了Kafka很多优秀的设计。 RocketMQ的使用场景 应用解耦 流量削峰 数据分发 应用解耦：系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。 流量削峰：应用系统如果遇到系统请求流量的瞬间猛增，有可...
快速学习-RocketMQ设计理念
逍遥云恋
09-18 716
设计(design) 1 消息存储 消息存储是RocketMQ中最为复杂和最为重要的一部分，本节将分别从RocketMQ的消息存储整体架构、PageCache与Mmap内存映射以及RocketMQ中两种不同的刷盘方式三方面来分别展开叙述。 1.1 消息存储整体架构 消息存储架构图中主要有下面三个跟消息存储相关的文件构成。 (1) CommitLog：消息主体以及元数据的存储主体，存储Producer端写入的消息主体内容,消息内容不是定长的。单个文件大小默认1G ，文件名长度为20位，左边补零，剩余为起始
RocketMq 入门
舌尖上的蛋炒饭的博客
06-25 2427
RocketMq 入门 主要摘取自 消息队列和 RocketMQ 入门总结 建议大家先取看原文，本文主要摘取自上面这片大佬文章，稍加删减并细化了部分内容。 本章主要能粗略解释的问题 消息队列出现的原因 消息队列的作用（异步，解耦，削峰） 消息队列带来的一系列问题（消息堆积、重复消费、顺序消费、分布式事务等等） 消息队列的两种消息模型——队列和主题模式 分析了 RocketMQ 的技术架构（NameServer、Broker、Producer、Comsumer） 结合着 RocketMQ 回答了消息队列副作用
RocketMQ入门教程
wywcool的博客
08-09 4193
RocketMQ是一款简单易上手的消息队列中间件，本文详细介绍了RocketMQ的基础使用流程，基础操作流程，对新手进行消息队列的学习具有很大的帮助。
rocketmq核心知识点
最新发布
05-08
### RocketMQ 核心知识点总结 #### Apache RocketMQ 简介 Apache RocketMQ 是一种分布式消息传递和流处理平台，最初由阿里巴巴开发并于 2016 年捐赠给 Apache 基金会[^1]。它是国内首个非 Hadoop 生态体系下的顶级项目（TLP），广泛应用于高吞吐量、低延迟的消息传递场景。 --- #### 核心组件与架构 RocketMQ 的核心架构主要由以下几个部分组成： 1. **NameServer** NameServer 是 RocketMQ 中的路由服务模块，负责管理 Broker 的注册信息并提供动态路由查询功能。它采用无状态设计，支持水平扩展[^3]。 2. **Broker** Broker 是 RocketMQ 的消息存储节点，分为 Master 和 Slave 两种角色。Master 节点负责写入消息，而 Slave 节点通过同步或异步的方式复制 Master 上的数据[^3]。 3. **Producer** Producer 是消息生产者的抽象，用于向指定 Topic 发送消息。可以通过设置合理的重试策略来提高可靠性[^4]。 4. **Consumer** Consumer 是消息消费者的抽象，用于从指定 Topic 订阅并消费消息。RocketMQ 支持多种消费模式，包括广播模式和集群模式[^3]。 5. **Topic** Topic 是消息的主题分类，用于逻辑上的隔离。每个 Topic 可以分布在多个 Queue 中，Queue 实际上是一个有序的消息列表。 --- #### 核心特性 以下是 RocketMQ 的一些关键特性和优势： 1. **高性能与高吞吐量** RocketMQ 使用高效的文件读写机制（如 MappedByteBuffer）实现持久化存储，能够满足大规模并发需求。 2. **可靠的消息传递** 提供 At-Least-Once 和 Exactly-Once 消息语义，确保消息不会丢失。通过主从同步机制，在硬件故障时仍能保障数据一致性。 3. **灵活的消息模型** 支持普通消息、顺序消息、定时/延时消息以及事务消息等多种类型。 4. **负载均衡** RocketMQ 自动分配消息到不同的 Queue，并通过 Rebalance 机制调整消费者之间的负载分布[^3]。 5. **可扩展性** 名字服务器和服务端均支持横向扩展，便于应对业务增长带来的压力[^3]。 --- #### 关键技术细节 1. **消息存储结构** - 物理存储：基于 CommitLog 文件记录消息偏移位置。 - 逻辑存储：通过 ConsumeQueue 映射物理地址至具体队列。 2. **主从同步** 主从之间可通过 SYNC_MASTER 或 ASYNC_FLUSH 方式进行数据复制。推荐使用 ASYNC_FLUSH 结合 SYNC_MASTER 来平衡性能与可靠性。 3. **消息重试与死信队列** 当消息首次投递失败时，可以触发多次重试；如果最终无法成功，则会被存入 Dead Letter Queue (DLQ)[^3]。 4. **消费幂等** 在某些场景下可能会发生重复消息的情况，因此需要开发者自行实现幂等逻辑以避免副作用[^3]。 5. **批量发送优化** 对于大批量的小型消息，建议启用批量发送功能以减少网络开销。 --- #### 生产者最佳实践 为了提升系统的稳定性和效率，以下是一些常见的生产者配置技巧： - 设置合适的 `retry` 参数控制失败后的尝试次数； - 利用压缩算法减小传输体积； - 尽可能利用批量操作降低单次调用成本[^4]。 ```java // 示例代码展示如何配置生产者参数 DefaultMQProducer producer = new DefaultMQProducer("example_group"); producer.setRetryTimesWhenSendFailed(3); producer.start(); List<Message> messages = Arrays.asList( new Message("TopicTest", "TagA", "Message Body 1".getBytes()), new Message("TopicTest", "TagB", "Message Body 2".getBytes()) ); try { SendResult result = producer.send(messages); } catch (Exception e) { System.out.println(e.getMessage()); } ``` --- #### 总结 通过对 RocketMQ 的深入分析可以看出，其不仅具备强大的基础能力，还提供了丰富的高级特性以适应复杂的实际应用场景。无论是金融支付还是电商促销活动，都可以借助这一工具完成高效的信息交互任务。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值