RocketMq集群搭建

关注

原创 2023-04-15 16:49:09 581 阅读 AI 写同款· GEO 优化 ›

RocketMQ集群搭建 Producer：消息的发送者；举例：发信者Consumer：消息的接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例：各个邮局的管理机构Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息Message Queue：相当于是Topic的分区；用于并行发送和接收消息。阅读详情

各个角色介绍：
- producer：消息的发送者；举例：发信者
- consumer：消息的接受者；举例：收信者
- broker：暂存和传输消息；举例：邮局
- NameServer：管理Broker；举例：各个邮局的管理机构
- Topic：区分消息的种类；一个发送者可以发送消息给一个或多个Topic；一个消息的接受者可以订阅一个或多个Topic的消息
- Message Queue：相当于Topic的分区；用于并行发送和接收消息

集群特点：

NameServer是一个几乎无状态的节点，可集群部署，节点之间无任何信息同步
Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Salve，但一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的Brokerld来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中所有节点建立长连接，定时注册Topic信息到所有的NameServer。
Producer与NameServer集群中的一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向Topic服务的Master建立长连接，并定时向Master发送心跳，Producer完全无状态，可集群部署。
Consumer与NameServer集群中的一个节点（随机选择），建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。

集群模式

1）单Master模式

这种方式风险较大，一旦Broker重启或宕机时，会导致整个服务的不可用。

2）多Master模式

一个集群无Slave，全是Master，这种模式的优缺点如下：

优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量信息，同步刷盘一条不丢），性能最高；
缺点：单台机器宕机期间，这机器上未被消费的消息在机器恢复之前不可订阅，消息实时会收到影响。

3）多Master多Slave模式（异步）

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制的方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应应用透明，不需要人工干预，性能同多Master模式几乎一样；
缺点：Master宕机，磁盘损坏情况不会丢失少量信息。

4）多Master多Slave模式

每个Master配置一个Slave,有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的有缺点如下：

优点：数据与服务都无单点故障，Master宕机的情况下，消息无延迟，服务可用性都非常高；
缺点：性能比异步复制模式略低（大约10%左右），发现单个消息的RT会略高，且目前版本在节点宕机后，备机不能自动切换为主机。

开/关闭NameServe

#开启nameServe
nohup sh bin/mqnamesrv &
#关闭nameServe
sh bin/mqshutdown namesrv

开/关闭Broker

nohup sh bin/mqbroker -c 双主双从配置地址 &
sh bin/mqshutdown broker

Host添加信息

服务器信息：

192.168.25.135

192.168.25.138

vim /etc/hosts

配置如下：

#nameServer
192.168.25.135 rocket-nameserver1
192.168.25.138 rocket-nameserver2
#broker
192.168.25.135 rocket-master1
192.168.25.138 rocket-slave2
192.168.25.135 rocket-master2
192.168.25.138 rocket-slave1

配置完成后，重启网卡

systemctl restart network

环境变量配置

vim /etc/profile

在profile末尾加入如下命令

#set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-5.1.0-bin-release
PATH=$PATH:$ROCKET_HOME/bin
export ROCKETMQ_HOME PATH

输入:wq!保存并退出，并使得配置立刻生效：

source /etc/profile

创建消息存储路径

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

broker配置文件

在这里插入图片描述

1）master1

服务器：192.168.25.135

vi /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-a.properties

修改配置如下：

#所属集群的名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示Master>0,表示Slave
brokerId=0
#nameServer地址，分号分隔
namersrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#在发送消息时，自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务监听的端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

slave2

服务器：192.168.25.135

vi /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-b-s.properties

修改配置：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/slave-store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/slave-store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/slave-store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/slave-store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/slave-store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/slave-store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

master2和slave1的配置与上述配置相似只需关注一下Broker对外服务监端口

服务启动

启动NameServe集群

分别在192.168.25.135和192.168.25.138

启动NameServe集群：

在192.168.25.135启动master1和slave2

启动Broker集群

master1:

cd /usr/local/rocketmq/bin
#nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties &
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-a.properties &

slave2:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &

在192.168.25.138上启动master2和slave1

master2：

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties &

slave1:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

部署到阿里云腾讯云服务器的
后边在broker主从文件配置中要加入如下配置

brokerIP1=服务器公网访问地址

标签

#java-rocketmq #rocketmq #mybatis

RocketMQ系列之集群搭建前言上节我们对RocketMQ（以下简称RMQ）有了一些基本的认识，大致知道了，什么是RMQ以及他能做什么，今天我们来讲讲如何搭建RMQ，与其说搭建RMQ不如说是搭建RMQ集群，为什么这么说呢？看完这篇文章自然就懂了。 RMQ几个重要角色？ NameServer：名称服务，这是RMQ的一个重点，他是一个几乎无状态的节点，可集群部署，节点之间无任何信息同步，这里可以充当ZK协调集群的作用； Broker：Broker消息中转角色，主要负责消息的存储转发，Broker分为Master和Sla. 阅读详情