rocketmq 双主双从集群搭建

最新推荐文章于 2024-09-19 15:26:02 发布
转载 最新推荐文章于 2024-09-19 15:26:02 发布 · 971 阅读 · 6 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/shi_hong_fei_hei/article/details/116109330
文章标签：

#rocketmq

RocketMQ双主双从模式集群拓扑图：

在这里插入图片描述

下载并解压

下载地址：https://archive.apache.org/dist/rocketmq/4.9.0/rocketmq-all-4.9.0-source-release.zip

解压：unzip rocketmq-all-4.9.0-bin-release.zip

环境变量配置

移动并重命名：mv rocketmq-all-4.9.0-bin-release /home/rocketmq

打开环境配置：vim /etc/profile

在文件末尾添加：

#set rocketmq
ROCKETMQ_HOME=/home/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

使得配置立刻生效：source /etc/profile

host添加信息：vim /etc/hosts

# nameserver
192.168.1.66 rocketmq1-nameserver-dev
192.168.1.67 rocketmq2-nameserver-dev
# broker
192.168.1.66 rocketmq1-master-dev
192.168.1.66 rocketmq1-slave-dev
192.168.1.67 rocketmq2-master-dev
192.168.1.67 rocketmq2-slave-dev

创建消息存储路径

mkdir /home/rocketmq-store

mkdir /home/rocketmq-store/master

mkdir /home/rocketmq-store/master/commitlog

mkdir /home/rocketmq-store/master/consumequeue

mkdir /home/rocketmq-store/master/index



mkdir /home/rocketmq-store/slave

mkdir /home/rocketmq-store/slave/commitlog

mkdir /home/rocketmq-store/slave/consumequeue

mkdir /home/rocketmq-store/slave/index

broker配置文件

config文件解释

在这里插入图片描述
我们搭建的是双主双从同步进入到2m-2s-sync

在这里插入图片描述

master1配置

vi /home/rocketmq/conf/2m-2s-sync/broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster-dev
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a-dev
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq1-nameserver-dev:9876;rocketmq2-nameserver-dev:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/rocketmq-store/master
#commitLog 存储路径 【commitLog存储真正消息的路径】
storePathCommitLog=/home/rocketmq-store/master/commitlog
#消费队列存储路径存储路径【每条信息在commitLog存储的路径】
storePathConsumeQueue=/home/rocketmq-store/master/consumequeue
#消息索引存储路径
storePathIndex=/home/rocketmq-store/master/index
#checkpoint 文件存储路径
storeCheckpoint=/home/rocketmq-store/master/checkpoint
#abort 文件存储路径
abortFile=/home/rocketmq-store/master/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#pullMessageThreadPoolNums=128
enablePropertyFilter=true
#允许slave读取数据, 不设置master节点宕机也无法从slave读取数据
slaveReadEnable=true

slave2配置

#所属集群名字
brokerClusterName=rocketmq-cluster-dev
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b-dev
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq1-nameserver-dev:9876;rocketmq2-nameserver-dev:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/rocketmq-store/slave
#commitLog 存储路径
storePathCommitLog=/home/rocketmq-store/slave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/rocketmq-store/slave/consumequeue
#消息索引存储路径
storePathIndex=/home/rocketmq-store/slave/index
#checkpoint 文件存储路径
storeCheckpoint=/home/rocketmq-store/slave/checkpoint
#abort 文件存储路径
abortFile=/home/rocketmq-store/slave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
enablePropertyFilter=true
#允许slave读取数据, 不设置master节点宕机也无法从slave读取数据
slaveReadEnable=true

master2配置

#所属集群名字
 brokerClusterName=rocketmq-cluster-dev
  #broker名字，注意此处不同的配置文件填写的不一样
 brokerName=broker-b-dev
  #0 表示 Master，>0 表示 Slave
 brokerId=0
  #nameServer地址，分号分割
 namesrvAddr=rocketmq1-nameserver-dev:9876;rocketmq2-nameserver-dev:9876
  #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
 defaultTopicQueueNums=4
  #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
 autoCreateTopicEnable=true
  #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
 autoCreateSubscriptionGroup=true
  #Broker 对外服务的监听端口
 listenPort=10911
  #删除文件时间点，默认凌晨 4点
 deleteWhen=04
  #文件保留时间，默认 48 小时
 fileReservedTime=120
  #commitLog每个文件的大小默认1G
 mapedFileSizeCommitLog=1073741824
  #ConsumeQueue每个文件默认存30W条，根据业务情况调整
 mapedFileSizeConsumeQueue=300000
  #destroyMapedFileIntervalForcibly=120000
 #redeleteHangedFileInterval=120000
 #检测物理文件磁盘空间
 diskMaxUsedSpaceRatio=88
  #存储路径
 storePathRootDir=/home/rocketmq-store/master
  #commitLog 存储路径
 storePathCommitLog=/home/rocketmq-store/master/commitlog
  #消费队列存储路径存储路径
 storePathConsumeQueue=/home/rocketmq-store/master/consumequeue
  #消息索引存储路径
 storePathIndex=/home/rocketmq-store/master/index
  #checkpoint 文件存储路径
 storeCheckpoint=/home/rocketmq-store/master/checkpoint
  #abort 文件存储路径
 abortFile=/home/rocketmq-store/master/abort
  #限制的消息大小
 maxMessageSize=65536
  #flushCommitLogLeastPages=4
 #flushConsumeQueueLeastPages=2
 #flushCommitLogThoroughInterval=10000
 #flushConsumeQueueThoroughInterval=60000
 #Broker 的角色
 #- ASYNC_MASTER 异步复制Master
 #- SYNC_MASTER 同步双写Master
 #- SLAVE
 brokerRole=SYNC_MASTER
  #刷盘方式
 #- ASYNC_FLUSH 异步刷盘
 #- SYNC_FLUSH 同步刷盘
 flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
enablePropertyFilter=true
#允许slave读取数据, 不设置master节点宕机也无法从slave读取数据
slaveReadEnable=true

slave1配置

#所属集群名字
 brokerClusterName=rocketmq-cluster-dev
  #broker名字，注意此处不同的配置文件填写的不一样
 brokerName=broker-a-dev
  #0 表示 Master，>0 表示 Slave
 brokerId=1
  #nameServer地址，分号分割
 namesrvAddr=rocketmq1-nameserver-dev:9876;rocketmq2-nameserver-dev:9876
  #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
 defaultTopicQueueNums=4
  #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
 autoCreateTopicEnable=true
  #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
 autoCreateSubscriptionGroup=true
  #Broker 对外服务的监听端口
 listenPort=11011
  #删除文件时间点，默认凌晨 4点
 deleteWhen=04
  #文件保留时间，默认 48 小时
 fileReservedTime=120
  #commitLog每个文件的大小默认1G
 mapedFileSizeCommitLog=1073741824
  #ConsumeQueue每个文件默认存30W条，根据业务情况调整
 mapedFileSizeConsumeQueue=300000
  #destroyMapedFileIntervalForcibly=120000
 #redeleteHangedFileInterval=120000
 #检测物理文件磁盘空间
 diskMaxUsedSpaceRatio=88
  #存储路径
 storePathRootDir=/home/rocketmq-store/slave
  #commitLog 存储路径
 storePathCommitLog=/home/rocketmq-store/slave/commitlog
  #消费队列存储路径存储路径
 storePathConsumeQueue=/home/rocketmq-store/slave/consumequeue
  #消息索引存储路径
 storePathIndex=/home/rocketmq-store/slave/index
  #checkpoint 文件存储路径
 storeCheckpoint=/home/rocketmq-store/slave/checkpoint
  #abort 文件存储路径
 abortFile=/home/rocketmq-store/slave/abort
  #限制的消息大小
 maxMessageSize=65536
  #flushCommitLogLeastPages=4
 #flushConsumeQueueLeastPages=2
 #flushCommitLogThoroughInterval=10000
 #flushConsumeQueueThoroughInterval=60000
 #Broker 的角色
 #- ASYNC_MASTER 异步复制Master
 #- SYNC_MASTER 同步双写Master
 #- SLAVE
 brokerRole=SLAVE
  #刷盘方式
 #- ASYNC_FLUSH 异步刷盘
 #- SYNC_FLUSH 同步刷盘
 flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
enablePropertyFilter=true
#允许slave读取数据, 不设置master节点宕机也无法从slave读取数据
slaveReadEnable=true

修改环境变量

需要根据内存大小进行适当的对JVM参数进行调整：

编辑runserver.sh：

vim /home/rocketmq/bin/runserver.sh

#java开发环境配置
 JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

编辑runbroker.sh：

vim /home/rocketmq/bin/runbroker.sh

#开发环境配置 JVM Configuration
 JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

服务启动

分别启动6nameserver

cd /home/rocketmq/bin
nohup sh mqnamesrv >namesrv.log &

分别启动master、slave

nohup sh mqbroker -c /home/rocketmq/conf/2m-2s-sync/broker-a.properties >master.log  &
nohup  sh mqbroker -c /home/rocketmq/conf/2m-2s-sync/broker-b-s.properties >slave.log &

查看是否启动成功

jps
ps -ef|grep java
在这里插入图片描述
查看集群情况:
/home/rocketmq/bin/mqadmin clusterList -n localhost:9876

在这里插入图片描述

安装rocketmq可视化管理界面rocketmq-dashboard

git地址：https://github.com/apache/rocketmq-dashboard

本低下载代码或者git clone https://github.com/apache/rocketmq-dashboard.git

clone若出现错误如：
在这里插入图片描述
可以设置 git config --global http.sslVerify "false"如：即可下载成功

在这里插入图片描述
修改application.properties文件配置：

在这里插入图片描述
项目打包：mvn install

使用java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar 运行项目

docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
【RocketMQ集群】Linux搭建RocketMQ双主双从集群
编码人生
10-23 577
在当今大数据时代，消息队列系统成为了构建高可用、可扩展和可靠的分布式应用的重要组件之一。而Apache RocketMQ作为一款开源的分布式消息中间件，以其高吞吐量、低延迟和可靠性而备受青睐。为了满足大规模应用的需求，搭建RocketMQ集群是一种常见的部署方式。本文将介绍如何在Linux系统上搭建RocketMQ双主双从集群。通过搭建双主双从集群，我们可以实现消息的高可用性和容错性，确保在单个Broker节点故障时仍能保持服务的正常运行。首先，让我们了解一下RocketMQ集群的基本概念。
RocketMQ集群（2主2从）搭建
qq_35059264的博客
07-29 462
勿以浮沙筑高台 基础准备：准备2台170,171机子并且安装了rocketMQ. 1.更改hosts信息 vi /etc/hosts # nameserver 192.168.95.170 rocketmq-nameserver1 192.168.95.171 rocketmq-nameserver2 # broker 192.168.95.170 rocketmq-master1 192.168.95.170 rocketmq-slave2 192.168.95.171 rocketmq-master
RocketMQ系列（二）双主双从集群搭建
雨剑的博客
04-18 867
文章目录一.配置文件1.1 配置文件说明1.2 服务环境准备1.3 配置文件修改二.集群启动2.1 启动nameserver集群2.2 启动borker集群三.rocketmq-console控制台3.1 下载rocketmq-externals3.2 启动rocketmq-console3.3 访问rocketmq-console 上一篇RocketMQ系列（一）下载安装介绍了单master模式，本文介绍双主双从的集群模式搭建。 一.配置文件 1.1 配置文件说明 安装包我们放在/data/applica
RocketMQ双主双从集群搭建
YHJ
05-23 2031
1 各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息 Message Queue：相当于是Topic的分区；用于并行发送和接收消息 2 集群搭建方式 2.1 集群特点 NameServer是一个几乎无
Rocketmq双主双从部署
weixin_48452961的博客
07-10 1401
总结：消息生产者生产消息前，会先向NameServer中获取Broker，这就要求Broker需先注册到NameServer中，producer获取到Broker以后，就可以生产消息并交由Broker存储，Broker内部调用模块MessageQueue存储消息，而MessageQueue又会被逻辑划分为一个一个的topic，之后，消息消费者从NameServer中获取Broker，获取到Broker后，取出消息进行消费。2）Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。
RocketMQ双主双从同步集群部署
小啊宇的博客
08-15 1737
RocketMQ双主双从同步集群部署
RocketMQ 的双主双从集群搭建
qq_40230026的博客
02-15 3173
文章目录1：介绍2：准备2.1 准备虚拟机2.2 修改虚拟机的ip地址 1：介绍 1：本次搭建集群采用异步复制，主备有短暂消息延迟，毫秒级 2：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。 3：Master 宕机，磁盘损坏情况，会丢失少量消息。这个是 rocket 3.5 之前都存在的，3.6之后可以支持主备切换，这个我们下次搭建。 2：准备 准备了 4台虚拟机，IP 地址准备设置成 192.168.1
RocketMQ双主双从集群搭建部署
aaronszm的博客
06-29 751
systemctl stop firewalld.service firewall-cmd --state systemctl disable firewalld.service 或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口： nameserver 默认使用 9876 端口 master 默认使用 10911 端口 slave 默认使用11011 端口 开放name server默
Linux环境下RocketMQ双主双从异步复制+异步刷盘搭建
最新发布
m0_48333563的博客
09-19 767
Linux环境下RocketMQ双主双从异步复制+异步刷盘搭建，亲测可用。
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
Centos安装RocketMQ之双主双从模式（同步双写方式）
lcgskycby的博客
01-13 1406
RocketMQ单机版模式，这种模式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试，单机版环境搭建可以参考文档。
RocketMQ 4.5.1 双主双从异步复制环境搭建
weixin_34248258的博客
05-26 380
基础环境 操作系统：CentOS7 实例：192.168.63.129，192.168.63.130，192.168.63.131，192.168.63.132 Java：jdk-8u191-linux-x64.tar.gz 安装JDK 先把系统里面自带的卸载掉 [root@localhost soft]# rpm -qa|grep java python-javapa...
rocketmq双主双从部署+dashbord
Grey_fantasy的博客
01-19 895
rocketmq双主双从部署+dashbord
RocketMQ各种集群模式介绍
Leon_Jinhai_Sun的博客
06-13 1499
集群模式 1）单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 2）多Master模式 一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下： 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3368
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
rocketmq集群搭建双主双从多主多从
ITzhongzi的博客
12-04 1009
原理图解： 讲解： 图中每个nameserver和broker都搭建在不同的机器上，broker采用双主双从，一个主broker对应一个从broker，主broker往从broker复制一份数据，采用同步方式，即同步双写。当主broker往从broker上数据备份完成之后，采用异步刷盘策略，把主从 broker内存中的数据写入磁盘里。 优点 如图所示： 当nameserver1 服务挂掉之后，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值