【中间件】RocketMQ集群搭建（双主双从）

目录

一，集群介绍

1.1单Master模式

1.2多Master模式

1.3多Master多Slave模式（异步）

1.4多Master多Slave模式（同步）

二，双主双从集群搭建

1，工作流程

2，集群搭建

2.1 服务器环境

2.2 添加host信息（两台都要添加）

 2.3 防火墙配置

2.4 环境变量配置

2.5 创建消息存储路径（master与slave指定的储存路径名字不能相同）

 2.6 broker配置文件

1，master1

2，slave2

4，slave1

2.7修改启动脚本文件

2.8 启动NameServe集群

验证

---

一，集群介绍

1.1单Master模式

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

1.2多Master模式

一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下：

• 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；

• 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。

1.3多Master多Slave模式（异步）

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

• 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；

• 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。

1.4多Master多Slave模式（同步）

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

• 优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；

二，双主双从集群搭建

1，工作流程

消息高可用采用2m-2s（两个主节点，两个从节点，数据之间同步双写）的方式

 集群工作流程

- 1 ）启动NameServer，NameServer启动后开始监听端口，等待Broker、Producer、Consumer连接。

- 2 ）启动Broker时，Broker会与所有的NameServer建立并保持长连接，然后每 30 秒向NameServer定时发送心跳包。

- 3 ）发送消息前，可以先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，当然，在创建Topic时也会将Topic与Broker的关系写入到NameServer中。不过，这步是可选的，也可以在发送消息时自动创建Topic。

- 4 ）Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取路由信息，即当前发送的Topic消息的Queue与Broker的地址（IP+Port）的映射关系。然后根据算法策略从队选择一个Queue，与队列所在的Broker建立长连接从而向Broker发消息。当然，在获取到路由信息后，Producer会首先将路由信息缓存到本地，再每 30 秒从NameServer更新一次路由信息。

- 5 ）Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取其所订阅Topic的路由信息，然后根据算法策略从路由信息中获取到其所要消费的Queue，然后直接跟Broker建立长连接，开始消费其中的消息。Consumer在获取到路由信息后，同样也会每 30 秒从NameServer更新一次路由信息。不过不同于Producer的是，Consumer还会向Broker发送心跳，以确保Broker的存活状态。

2，集群搭建

2.1 服务器环境

序号	ip	角色	架构模式
1	192.168.135.188	nameserver，brokerserver	master1，slave2
2	192.168.135.189	nameserver，brokerserver	master2，slave1

2.2 添加host信息（两台都要添加）

vim /etc/hosts

配置如下

#nameserver
192.168.135.188 rocketmq-nameserver1
192.168.135.189 rocketmq-nameserver2
#broker
192.168.135.188 rocketmq-master1
192.168.135.188 rocketmq-slave2
192.168.135.189 rocketmq-master2
192.168.135.189 rocketmq-slave1

 配置完成后, 重启网卡

systemctl restart network

 2.3 防火墙配置

宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙

 # 关闭防火墙
 systemctl stop firewalld.service 
 # 查看防火墙的状态
 firewall-cmd --state 
&nbs