rocketMQ集群双主双从同步模式(2m-2s-sync)搭建

最新推荐文章于 2024-08-29 10:46:33 发布
置顶 最新推荐文章于 2024-08-29 10:46:33 发布
阅读量2.2k 收藏 7
点赞数 4
分类专栏： rocketMQ 文章标签： rocketmq 消息队列 集群 双主双从同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42043982/article/details/103602528
版权

目标：

简单搭建一个双主双从同步的rocketMq集群。

包含一个nameserver集群，一个broker集群。部署一个监控端。

 
下载最新的rocketmq发行版，
我用的是4.6版本（   rocketmq-all-4.6.0-bin-release.zip）；
下载二进制包（zip），解压路径我指定的是/usr/local/mq/rocketmq/目录下
另外需要JDK环境，此处不做详细说明；
 

一、准备工作

1）、服务器环境
规划：本地启动两台虚拟机；
序号
IP
角色
架构模式
1
192.168.75.128
nameserver,brokerserver
Master1,Slave2
2
192.168.75.129
nameserver,brokerserver
Master2,Slave1
 2）、Host添加信息（两台机器都要执行）
编辑hosts文件，添加域名信息
vim /etc/hosts
# nameserver
192.168.75.128 rocketmq-nameserver1
192.168.75.129 rocketmq-nameserver2
# broker
192.168.75.128 rocketmq-master1
192.168.75.128 rocketmq-slave2
192.168.75.129 rocketmq-master2
192.168.75.129 rocketmq-slave1
保存之后，重启网卡服务
systemctl restart network
 
3）、防火墙配置（两台机器都要执行）
可以开放端口，此处本地实现，简单粗暴点儿，直接关闭防火墙；
#检查状态
systemctl status firewalld
#关闭防火墙
systemctl stop firewalld
#禁止防火墙开机启动
systemctl disable firewalld
 
4）、环境变量配置
编辑profile文件，添加rocketmq环境变量
vim /etc/profile 
# set rocketmq
ROCKETMQ_HOME=/usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH
保存之后执行命令重新加载
source /etc/profile
   
5）、创建消息存储路径
因为同一台机器主从节点共用存储路径会冲突报错，这里我们分别创建两个目录避坑，我们在下一步中配置文件就用对应的路径就可以了；
#主节点使用目录
mkdir /usr/local/mq/rocketmq/mstore
mkdir /usr/local/mq/rocketmq/mstore/commitlog
mkdir /usr/local/mq/rocketmq/mstore/consumequeue
mkdir /usr/local/mq/rocketmq/mstore/index
 
#从节点使用目录
mkdir /usr/local/mq/rocketmq/store
mkdir /usr/local/mq/rocketmq/store/commitlog
mkdir /usr/local/mq/rocketmq/store/consumequeue
mkdir /usr/local/mq/rocketmq/store/index
 

二、broker配置文件

配置文件修改如下：
配置文件位置在conf文件目录下。
我们使用2m-2s-sync文件夹里面的配置，这个就是对应双主-双从-同步集群
下面配置文件可直接使用：
各配置文件主要区别有主要有以下几个点：brokerName、brokerId、listenPort、brokerRole、flushDiskType、存储路径；
 
首先对192.168.75.128机器上要部署的master1和slave2配置文件进行修改：
 
编辑broker-a.properties:
  
#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样;主从节点一样，也就是这个值区分broker组的；
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave；同一个组中区分主从的标识，只能有一个主；
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

编辑broker-b-s.properties: 
#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

然后对192.168.75.129机器上要部署的master2和slave1配置文件进行修改：
 
编辑broker-b.properties: 
#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/mq/rocketmq/mstore
#commitLog存储路径
storePathCommitLog=/usr/local/mq/rocketmq/mstore/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/mq/rocketmq/mstore/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/mq/rocketmq/mstore/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/mq/rocketmq/mstore/checkpoint
#abort 文件存储路径
abortFile=/usr/local/mq/rocketmq/mstore/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

编辑broker-a-s.properties: 
#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/usr/local/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 

三、修改启动脚本

修改配置文件runserver.sh,runbroker.sh
主要是修改JVM参数:因为rocketmq默认配置的JVM参数太大，本地资源有限，所以就改小点儿；
cd /usr/local/mq/rocketmq/rocketmq-all- 4.6.0-bin-release/bin
进入编辑 vim runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
进入编辑 vim runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"
两台机器上的都要修改；

四、服务启动

启动nameserver集群
分别在192.168.75.128和192.168.75.129上启动nameServer
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqnamesrv &
启动broker集群
在192.168.75.128上启动master1和slave2
master1:
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a.properties &
slave2:
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &
在192.168.75.129上启动master2和slave1
master2:
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b.properties &
slave1:
cd /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a-s.properties &

五、部署一个服务监控端

去这个网址下载rocketmq扩展项目代码；
本地解压目录如下
我们需要的就是rocketmq-console这个项目；
该项目是springboot开发的，我们进入项目目录下本地用maven，打个jar包，然后将jar包上传到服务器启动就可以了；
此处要【注意】：该项目需要对接nameserver集群进行监控，所以要去配置nameserver集群地址：
去resource下找到application.properties文件进行编辑
指定nameSrvAddr为你的nameserver集群信息就可以了，用分号分隔；
然后回到项目根目录打包
mvn package -Dmaven.test.skip=true
等待打包完成.......
去target下面拷贝jar包上传到任意一台虚机任意位置
然后用nohup java -jar  rocketmq-console-ng-1.0.1
启动完成，在本地浏览器访问8080端口就可以了（默认为8080端口）；
 
 
 
 
 
 
docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
Rocketmq的双主双从安装（2m-2s-syn）
意外
04-18 482
1.准备工作 Centos7（2台） JDK1.8 rocketmq-4.4 说明：这里为了简单只使用2台机器 使用unzip解压rocketmq的二进制包 unzip rocketmq-all-4.4.0-bin-release 2.环境配置 配置host 192.168.205.10 rocketmq-nameserver1 192.168.205.11 rocketmq-nam...
Centos7.2下RocketMQ 集群部署(2m-2s-sync)
随便起个不重复的名字
03-17 492
一、环境准备与介绍 1、部署架构、 使用的模式是 2m-2s-sync 2、broker机器信息 Master 1：192.168.31.5 Slave 1：192.168.31.6 Master 2：192.168.31.7 Slave 2：192.168.31.8 3、nameserver机器信息 Name Server 1：192.168.31.5 Name Server 2：192.168.31.6 Name Server 3：192.168.31.7 4、安装jdk 安装jdk-8u1
RocketMQ集群搭建(2m-2s-sync)及搭建中遇到的问题
qq_36816062的博客
01-23 818
RocketMQ集群搭建(2m-2s-sync)及搭建中遇到的问题       在学习一门技术之前，首先应该弄明白这门技术的使用流程或者说是运行流程，这样在代码开发、环境搭建上都会有很大的帮助，首先我们梳理下2m-2s-sync的原理图，如下： 1.各个角色及功能 (1)Producer生产者：生产并发送消息 (2)Consumer消费者：消费处理消息 (3)Broker：消息存储，生产者发送消息到broker，同时broker可完成消息的持久化
【RocketMQ 系列三】RocketMQ集群搭建（2m-2s-sync）
码农飞哥
10-16 635
RocketMQ集群搭建（2m-2s-sync）
docker-compose搭建rocketmq集群（虚拟机）(双主双从，同步双写)
最新发布
weixin_42134685的博客
08-29 1032
10.在134中修改/usr/local/rocketmq/broker-1-s/conf/broker.conf配置文件。7.在133中修改/usr/local/rocketmq/broker-1-m/conf/broker.conf配置文件。8.在133中修改/usr/local/rocketmq/broker-2-s/conf/broker.conf配置文件。9.在134中修改/usr/local/rocketmq/broker-2-m/conf/broker.conf配置文件。
docker-compose单机部署rocketmq集群(双主双从，同步双写)
weixin_42134685的博客
08-27 810
6.修改/usr/local/rocketmq/broker-1-m/conf/broker.conf配置文件。7.修改/usr/local/rocketmq/broker-2-s/conf/broker.conf配置文件。8.修改/usr/local/rocketmq/broker-2-m/conf/broker.conf配置文件。9.修改/usr/local/rocketmq/broker-1-s/conf/broker.conf配置文件。14.显示成功，就是成功了。4.创建消息存储路径。
Linux教程：RocketMq介绍以及集群服务搭建（双主双从同步双写）并安装可视化平台RocketMq-Dashboard
wfeil211的博客
09-27 5776
Linux教程：RocketMq介绍以及集群服务搭建（双主双从同步双写）并安装可视化平台RocketMq-Dashboard
Linux Centos 环境下搭建RocketMq集群（双主双从）
gonghua0502的专栏
06-15 1025
worker2中配置两个文件：broker-a.properties、broker-b-s.properties。worker3中配置两个文件：broker-b.properties、broker-a-s.properties。启动顺序为：先启动3台服务器的nameserver，再启动worker2和worker3中的broker.worker1 只需要启动nameserver即可。
Linux下RocketMQ环境的配置
weixin_33716557的博客
10-10 487
　　RocketMQ是一款分布式消息系统，最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统，满足线上海量堆积的需求，在去年捐赠给Apache开源基金会，并列为孵化项目，今年成功的正式成为了apache顶级项目；早期阿里曾经基于ActiveMQ研发的消息系统，随着业务消息的规模增大，瓶颈逐渐明显，后来也考虑过Kafka，但是因为在低延迟和高可靠性...
RocketMQ 2m-2s-async搭建
w907645377的博客
02-18 1386
RocketMQ 2m-2s-async搭建 两主两从异步复制搭建
多 Master 多 Slave 模式，同步双写
weixin_33724046的博客
03-14 911
2019独角兽企业重金招聘Python工程师标准>>> ...
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
RocketMq 集群搭建 部署 (2m-2s-async)
qq_33925869的博客
09-17 731
转载自：https://blog.youkuaiyun.com/weixin_40533111/article/details/84451219 1.下载安装包并上传（压缩包已经在上级目录中）（两台服务器即两个节点的意思） 将压缩包上传至服务器的指定目录中 2.解压 执行：unzip rocketmq-all-4.3.2-bin-release.zip 解压并更改文件的目录为rocketmq...
RocketMQ (二) 双主双从同步复制集群方案
wanght笔记
07-09 8034
建文件夹 mkdir /usr/local/rocketmq/store/ mkdir /usr/local/rocketmq/store/broker-a mkdir /usr/local/rocketmq/store/broker-a/commitlog mkdir /usr/local/rocketmq/store/broker-b mkdir /usr/local/rocketmq/store/broker-b/commitlog mkdir /usr/local/rocketmq/store/br
RocketMq 集群搭建 部署 (2m-2s-async)(二)
热门推荐
weixin_40533111的博客
11-26 1万+
前言 本文基于最新版rocketmq 4.3.2搭建,2个节点,A节点部署A-m和B-s,B节点部署A-s和B-m 目录 1.准备环境 2.开始搭建 正文 1.准备环境 1.linux服务器2台(centos7) 2.maven(3.5以上) 3.jdk(本文使用的1.8(有人说使用系统自带的可能导致一些问题,未测试,此处是手动装的)) 4.工具:使用的xshell+xftp 部署结构图如下: ...
RocketMQ集群部署文档（2m-2s-async模式）
从前不爱吃面的大叔
11-20 6572
第一章、安装文件的准备 1、64bit OS, Linux/Unix/Mac is recommended; 2、64bit JDK 1.8+; 3、Maven 3.2.x 4、Git 第二章、集群安装 JDK每台机器都需要安装，maven和git只需要一台安装即可，编译好rocketmq之后使用scp命令拷贝到其他机器。   1、安装64位jdk配置环境变量 J
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值