RocketMQ保证高可用和高性能的几种措施

最新推荐文章于 2025-04-16 10:30:00 发布
最新推荐文章于 2025-04-16 10:30:00 发布
阅读量1.1k 收藏 5
点赞数 1
分类专栏： java 面试 数据结构 文章标签： 队列 java 分布式 数据库 redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_46657043/article/details/107475048
版权
RocketMQ通过主从复制、刷盘机制和负载均衡确保高可用性。消息存储结构包括CommitLog、ConsumerQueue和IndexFile。同步/异步刷盘影响延迟与数据完整性。主从复制分为同步和异步模式。Producer负载均衡实现消息分散，Consumer负载均衡算法有多种选择。消息重试和死信队列策略保障消息不丢失，避免消费者阻塞。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

整体架构

rocketmq是通过broker主从机制来实现高可用的。相同broker名称，不同brokerid的机器组成一个broker组，brokerId=0表明这个broker是master，brokerId>0表明这个broker是slave。

消息生产的高可用：创建topic时，把topic的多个message queue创建在多个broker组上。这样当一个broker组的master不可用后，producer仍然可以给其他组的master发送消息。 rocketmq目前还不支持主从切换，需要手动切换

消息消费的高可用：consumer并不能配置从master读还是slave读。当master不可用或者繁忙的时候consumer会被自动切换到从slave读。这样当master出现故障后，consumer仍然可以从slave读，保证了消息消费的高可用

消息存储结构

RocketMQ保证高可用和高性能的几种措施

CommitLog：存储消息的元数据

ConsumerQueue：存储消息在CommitLog的索引

IndexFile：提供了一种通过key或者时间区间来查询消息的方法

刷盘机制

最低0.47元/天 解锁文章
RocketMQ（18）——高可用配置
Elim的博客
09-16 641
RocketMQ的核心概念中有Name Server和Broker，它们充当服务端，作为客户端生产者和消费者都需要和它们不断的进行交互。如果你的Name Server和Broker只有一台机器，并且挂了，那么与它们交互的这条路就断了。而如果作为客户端的生产者和消费者只有一台，而且挂了，那这个是属于业务问题，且对应的消息已经在Broker持久化了，下次消费者启动后可以继续消费，而且这块通常也会部署为多节点。所以对于RocketMQ的高可用，主要还是Name Server和Broker的高可用。
聊聊 RocketMQ 主从复制
m0_71777195的博客
07-03 355
RocketMQ 主从复制的实现思路非常简洁，Slave 启动一个线程，不断从 Master 拉取 Commit Log 中的数据，然后在异步 build 出 Consume Queue 数据结构。1、主从复制包含元数据复制和消息数据复制两个部分；2、元数据复制Slave Broker 定时任务每隔 10 秒向 Master Broker 发送 RPC 请求，将元数据同步到缓存后，然后持久化到磁盘里；3、消息数据复制Master 启动监听指定端口。
一文详解 RocketMQ 如何利用 Raft 进行高可用保障
阿里巴巴中间件
08-22 1091
前言AliwareApache RocketMQ 自诞生以来，因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商广泛采用。历经十余年的大规模场景打磨，RocketMQ 已经成为业内共识的金融级可靠业务消息首选方案，被广泛应用于互联网、大数据、移动互联网、物联网等领域的业务场景。由于其业务场景愈加丰富，在工业界的使用率日益提高，开发者们也必须更完善地考虑 RocketMQ ...
MQ（消息队列）死信队列（DLQ）
最新发布
qq_50847694的博客
04-16 835
死信队列是消息队列中一种非常重要的机制，能够帮助系统隔离无法处理的消息、解决消息消费异常问题、进行问题排查和调试。在使用MQ时，合理配置和管理死信队列可以提高系统的稳定性和可靠性。
【RocketMQ】高可用方案
qq_42320804的博客
12-02 1372
rocketmq高可用方案
RocketMQ的高可用和高可靠
a88137的博客
06-06 480
一个好的消息队列必须要满足两个条件，那就是高可靠性和高可用性。
3. RocketMQ的高可用
努力学习
11-27 1401
RocketMQ 的高可用 RocketMQ 中的高可用机制 RocketMQ 分布式集群是通过 Master 和 Slave 的配合达到高可用性的。 Master 和 Slave 的区别：在 Broker 的配置文件中，参数 brokerId 的值为 0 表明这个 Broker 是 Master，大于 0 表明这个 Broker 是 Slave，同时 brokerRole 参数也会说明这个 Broker 是 Master 还是 Slave。 Master 角色的 Broker 支持读和写，Slave 角
高可用 RocketMQ 集群搭建.doc
08-24
RocketMQ 是一款流行的开源消息队列系统，具有高性能、高可用性和低延迟等特点。为了确保 RocketMQ 集群的高可用性，需要对其进行合理的设计和部署。下面将详细介绍高可用 RocketMQ 集群搭建的主要知识点。 一、...
RocketMQ 核心原理 - 高可用架构分析
smart_an的专栏
05-29 1063
消息中间件是指在分布式系统中完成消息的发送和接收的基础软件。消息中间件也可以称消息队列（Message Queue / MQ），互联网场景中经常使用消息中间件进行消息路由、订阅发布、异步处理等操作，来缓解系统的压力。引入消息队列主要是为了解决如下问题的：1、解耦：如订单系统，可以通过消息队列把削减库存的工作交给库存系统去处理，而不用等实时响应。2、执行有序性：先进先出原理，按照进入消息队列的顺序处理业务事件。3、消息路由：按照不同的规则，将队列中消息发送到不同的业务服务中。4、
消息中间件 RocketMQ源码解析：高可用
weixin_34161064的博客
05-14 329
2019独角兽企业重金招聘Python工程师标准>>> ...
云原生中间件RocketMQ-核心原理之高可用机制
write less , do more
09-04 8445
Zookeeper为分布式应用程序提供协调服务，Zookeeper的功能很强大，包括自动Master选举，RocketMQ的设计决定了它不需要进行Master选举，用不到这些复杂的功能，只需要一个轻量级的元数据服务器就足够了。中间件对稳定性要求很高，RocketMQ的NameServer只有很少的代码，容易维护，所以不需要再依赖另一个中间件，从而减少整体维护成本。本文内容到此结束了，如有错误❌疑问💬欢迎各位指出。主页共饮一杯无的博客汇总👨‍💻保持热爱，奔赴下一场山海。🏃🏃🏃。
【RocketMQ】8.高可用机制——消息消费高可用，消息发送高可用，消息主从复制
qmqm33的博客
05-17 453
高可用机制 RocketMQ分布式集群是通过Master和Slave的配合达到高可用性 Master和Slave的区别：在Broker的配置文件中，参数brokerId的值为0表明这个Brocker是Master，大于0表明这个Brocker是Slave,同时BrokerRole参数也会说明这个Brocker是Master还是Slave Master角色的Brocker支持读和写，Slave角色的Brocker仅支持读，也即是Producer只能和Master角色的Broker连接写入消息；Consumer
RocketMQ如何保证高可用?
紫乾2014的博客
12-11 1236
消费者获取到消息之后，可以等到整个业务处理完成，再进行CONSUME_SUCCESS状态确认，如果业务处理过程中发生了异常那么就会触发broker的重试机制。当消息发送失败了，在消息重试的时候，会尽量规避上一次发送的 Broker，选择还没推送过该消息的Broker，以增大消息发送的成功率。避免用单节点或者简单的一主一从架构，可以采取多主从的架构，并且主从之间采用同步复制的方式进行数据双写。RocketMQ默认的异步刷盘，可以改成同步刷盘SYNC_FLUSH。3、生产消息的高可用。4、消费消息的高可用。
RocketMQ - 高可用设计
yang的博客
05-31 1267
计算机系统的可用性用平均无故障时间来度量，系统的可用性越高，则平均无故障时间越长。
14.RocketMQ之高可用性机制
qq_30635523的博客
06-26 1765
1.2 高可用性机制 RocketMQ分布式集群是通过Master和Slave的配合达到高可用性的。 Master和Slave的区别：在Broker的配置文件中，参数 brokerId的值为0表明这个Broker是Master，大于0表明这个Broker是 Slave，同时brokerRole参数也会说明这个Broker是Master还是Slave。 Master角色的Broker支持读...
RocketMQ教程(三) - 高可用部署
分享知识、分享进步
06-18 4903
目录 (一)基础(二)进阶(三)高可用部署(四)常见问题 正文 这里采用双主双从的配置，选择Linux系统，并假定两台服务器的私有IP分别为192.168.0.1和192.168.0.2。 下载 http://rocketmq.apache.org/dowloading/releases/ 解压 unzip rocketmq-all-4.5.0-bin-release.zip 分...
消息队列 策略_20k+面试题之保证消息队列高可用
weixin_39970994的博客
11-21 115
点击蓝色“IT乾坤”关注我哟加个“星标”，一起成长为什么要保证消息队列的高可用因为消息队列是多个服务之间沟通的桥梁，如果桥梁断了，那么会造成多个系统都出现问题，甚至造成服务直接瘫痪了，现实中确实有这样的例子。某大厂就是因为消息队列挂了直接损失达到几千万。所以我们既然引入了消息队列，那么一定要保证消息队列的高可用性。怎么保证消息队列的高可用这里通过rabbitMQ和kafka为例子来讲解消...
RocketMQ：高可用机制
上海一九四三
07-04 630
RocketMQ分布式集群是通过Broker节点的Master和Slave配合达到高可用性的。 Master和Slave的区别：在Broker的配置文件中，参数 brokerId的值为0表明这个Broker是Master，大于0表明这个Broker是 Slave，同时brokerRole参数也会说明这个Broker是Master还是Slave。 Master角色的Broker支持读和写，Slave角色的Broker仅支持读，也就是Producer只能和Master角色的Broker连接写入消息；Consu.
DDMQ:滴滴出行基于RocketMQ的高性能消息队列
Apache RocketMQ是一个分布式、高性能的消息中间件，支持多种语言和协议，具有高吞吐量、高可用性、可伸缩性和稳定性等特点。 DDMQ的特点主要有以下几点： 1. 低延迟：DDMQ能够实现消息的快速传递，满足业务对于...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值