Apache RocketMQ 集群搭建（两主两从）

Apache RocketMQ 集群搭建（两主两从）

Apache RocketMQ 系列介绍：
Apache RocketMQ之JMS基本概念及使用：https://blog.youkuaiyun.com/qq_34002221/article/details/85224067
Apache RocketMQ 基础概念及架构解析：https://blog.youkuaiyun.com/qq_34002221/article/details/85255791
Apache RocketMQ 的基础特性介绍:https://blog.youkuaiyun.com/qq_34002221/article/details/85552259
Apache RocketMQ 集群搭建（两主两从）:https://blog.youkuaiyun.com/qq_34002221/article/details/85552330
Apache RocketMQ 刷盘策略与复制策略:https://blog.youkuaiyun.com/qq_34002221/article/details/85565567

---

优秀博客：

https://www.jianshu.com/p/b30142c17ad0?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

---

RocketMQ 架构图

消息中间件和RPC最大区别：Broker Cluster存储

NameServer: 提供轻量级的服务发现和路由。 每个 NameServer 记录完整的路由信息，提供等效的读写服务，并支持快速存储扩展。

Broker: 通过提供轻量级的 Topic 和 Queue 机制来处理消息存储,同时支持推（push）和拉（pull）模式以及主从结构的容错机制。

Producer：生产者，产生消息的实例，拥有相同 Producer Group 的 Producer 组成一个集群。

Consumer：消费者，接收消息进行消费的实例，拥有相同 Consumer Group 的
Consumer 组成一个集群。

从 Broker 开始，Broker Master1 和 Broker Slave1 是主从结构，它们之间会进行数据同步，即 Date Sync。同时每个 Broker 与
NameServer 集群中的所有节
点建立长连接，定时注册 Topic 信息到所有 NameServer 中。

Producer 与 NameServer 集群中的其中一个节点（随机选择）建立长连接，定期从 NameServer 获取 Topic 路由信息，并向提供 Topic 服务的 Broker Master 建立长连接，且定时向 Broker 发送心跳。

Producer 只能将消息发送到 Broker master，但是 Consumer 则不一样，它同时和提供 Topic 服务的 Master 和 Slave
建立长连接，既可以从 Broker Master 订阅消息，也可以从 Broker Slave 订阅消息。

---

RocketMQ 集群部署模式

单 master 模式：

优点：除了配置简单没什么优点，适合个人学习使用。

缺点：不可靠，该机器重启或宕机，将导致整个服务不可用。

多 master 模式：

多个 master 节点组成集群，单个 master 节点宕机或者重启对应用没有影响。

优点：所有模式中性能最高

缺点：单个 master 节点宕机期间，未被消费的消息在节点恢复之前不可用，消息的实时性就受到影响。

注意：使用同步刷盘可以保证消息不丢失，同时 Topic 相对应的 queue 应该分布在集群中各个节点，而不是只在某各节点上，否则，该节点宕机会对订阅该 topic 的应用造成影响。

多 master 多 slave 异步复制模式：

在多 master 模式的基础上，每个 master 节点都有至少一个对应的 slave。master
节点可读可写，但是 slave 只能读不能写，类似于 mysql 的主备模式。

优点： 在 master 宕机时，消费者可以从 slave读取消息，消息的实时性不会受影响，性能几乎和多 master 一样。

缺点：使用异步复制的同步方式有可能会有消息丢失的问题。

多 master 多 slave 同步双写模式：

同多 master 多 slave 异步复制模式类似，区别在于 master 和 slave 之间的数据同步方式。

优点：同步双写的同步模式能保证数据不丢失。

缺点：发送单个消息 RT 会略长，性能相比异步复制低10%左右。

刷盘策略：同步刷盘和异步刷盘（指的是节点自身数据是同步还是异步存储）

同步方式：同步双写和异步复制（指的一组 master 和 slave 之间数据的同步）