RocketMQ双master双slave相关知识点

本文探讨了RocketMQ在开源版本与阿里闭源版本中主备节点的数据同步机制及故障转移策略。阐述了当主节点故障时,不同版本下备节点如何承担数据处理任务,并分析了这种设计对消息消费的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.双master双slave当一个主master挂了后,master对应的slave升级为master,等到master重启后,slave恢复到slave角色?

这种想法在阿里的关源的RocketMQ是错误的。当主从节点1和主从节点2没有挂的时候数据传输到RocketMQ,这个时候由于RocketMQ自动实现负载均衡,每个节点的消息都为4的倍数(具体为什么为4的倍数详情请看源码),这个时候两个节点RocketMQ消息数量几乎相同。如果其中的主节点1挂了的话如果再有数据往RocketMQ中传输的话就不再是负载均衡了,数据都会跑到没有挂掉的节点2当中。但是如果有服务端向客户端请求数据的时候主节点1的数据会和从节点1的数据同步,这个时候就会去的从节点1中取数据(从节点1是不能替代主节点1的),这个时候你可能会说这样闭源的双master双slave就没有意义了,你要想如果主节点挂掉的话,之前接收的数据还能继续被消费而不是说主节点挂掉了主节点的数据就不能被消费。

此处要注意以上说的是RocketMQ的开源版本的主从数据同步,如果是使用阿里闭源的话如果主节点1挂掉的话从节点1会自动升级为主节点1。如果主节点1重启的话那么从节点1恢复。

### RocketMQ 核心知识点总结 #### Apache RocketMQ 简介 Apache RocketMQ 是一种分布式消息传递和流处理平台,最初由阿里巴巴开发并于 2016 年捐赠给 Apache 基金会[^1]。它是国内首个非 Hadoop 生态体系下的顶级项目(TLP),广泛应用于高吞吐量、低延迟的消息传递场景。 --- #### 核心组件与架构 RocketMQ 的核心架构主要由以下几个部分组成: 1. **NameServer** NameServer 是 RocketMQ 中的路由服务模块,负责管理 Broker 的注册信息并提供动态路由查询功能。它采用无状态设计,支持水平扩展[^3]。 2. **Broker** Broker 是 RocketMQ 的消息存储节点,分为 MasterSlave 两种角色。Master 节点负责写入消息,而 Slave 节点通过同步或异步的方式复制 Master 上的数据[^3]。 3. **Producer** Producer 是消息生产者的抽象,用于向指定 Topic 发送消息。可以通过设置合理的重试策略来提高可靠性[^4]。 4. **Consumer** Consumer 是消息消费者的抽象,用于从指定 Topic 订阅并消费消息。RocketMQ 支持多种消费模式,包括广播模式和集群模式[^3]。 5. **Topic** Topic 是消息的主题分类,用于逻辑上的隔离。每个 Topic 可以分布在多个 Queue 中,Queue 实际上是一个有序的消息列表。 --- #### 核心特性 以下是 RocketMQ 的一些关键特性和优势: 1. **高性能与高吞吐量** RocketMQ 使用高效的文件读写机制(如 MappedByteBuffer)实现持久化存储,能够满足大规模并发需求。 2. **可靠的消息传递** 提供 At-Least-Once 和 Exactly-Once 消息语义,确保消息不会丢失。通过主从同步机制,在硬件故障时仍能保障数据一致性。 3. **灵活的消息模型** 支持普通消息、顺序消息、定时/延时消息以及事务消息等多种类型。 4. **负载均衡** RocketMQ 自动分配消息到不同的 Queue,并通过 Rebalance 机制调整消费者之间的负载分布[^3]。 5. **可扩展性** 名字服务器和服务端均支持横向扩展,便于应对业务增长带来的压力[^3]。 --- #### 关键技术细节 1. **消息存储结构** - 物理存储:基于 CommitLog 文件记录消息偏移位置。 - 逻辑存储:通过 ConsumeQueue 映射物理地址至具体队列。 2. **主从同步** 主从之间可通过 SYNC_MASTER 或 ASYNC_FLUSH 方式进行数据复制。推荐使用 ASYNC_FLUSH 结合 SYNC_MASTER 来平衡性能与可靠性。 3. **消息重试与死信队列** 当消息首次投递失败时,可以触发多次重试;如果最终无法成功,则会被存入 Dead Letter Queue (DLQ)[^3]。 4. **消费幂等** 在某些场景下可能会发生重复消息的情况,因此需要开发者自行实现幂等逻辑以避免副作用[^3]。 5. **批量发送优化** 对于大批量的小型消息,建议启用批量发送功能以减少网络开销。 --- #### 生产者最佳实践 为了提升系统的稳定性和效率,以下是一些常见的生产者配置技巧: - 设置合适的 `retry` 参数控制失败后的尝试次数; - 利用压缩算法减小传输体积; - 尽可能利用批量操作降低单次调用成本[^4]。 ```java // 示例代码展示如何配置生产者参数 DefaultMQProducer producer = new DefaultMQProducer("example_group"); producer.setRetryTimesWhenSendFailed(3); producer.start(); List<Message> messages = Arrays.asList( new Message("TopicTest", "TagA", "Message Body 1".getBytes()), new Message("TopicTest", "TagB", "Message Body 2".getBytes()) ); try { SendResult result = producer.send(messages); } catch (Exception e) { System.out.println(e.getMessage()); } ``` --- #### 总结 通过对 RocketMQ 的深入分析可以看出,其不仅具备强大的基础能力,还提供了丰富的高级特性以适应复杂的实际应用场景。无论是金融支付还是电商促销活动,都可以借助这一工具完成高效的信息交互任务。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值