RocketMQ docker集群搭建多Master多Slave模式

已于 2022-07-06 23:17:27 修改
阅读量711 收藏 2
点赞数
分类专栏： 消息队列 文章标签： rocketmq docker rocketmq集群
于 2022-07-06 23:15:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Extraordinarylife/article/details/125630033
版权

1、安装内容说明

每个Master配置一个Slave，有多对Master-Slave，HA（双机集群）采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

  • 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；

  • 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。

安装模块

  • NameServer是一个非常简单的Topic路由注册中心，其角色类似Dubbo中的zookeeper，支持Broker的动态注册与发现。

    主要包括两个功能：

    • Broker管理，NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。然后提供心跳检测机制，检查Broker是否还存活；

    • 路由信息管理，每个NameServer将保存关于Broker集群的整个路由信息和用于客户端查询的队列信息。然后Producer和Conumser通过NameServer就可以知道整个Broker集群的路由信息，从而进行消息的投递和消费。NameServer通常也是集群的方式部署，各实例间相互不进行信息通讯。Broker是向每一台NameServer注册自己的路由信息，所以每一个NameServer实例上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了，Broker仍然可以向其它NameServer同步其路由信息，Producer和Consumer仍然可以动态感知Broker的路由的信息。

  • BrokerServer：Broker主要负责消息的存储、投递和查询以及服务高可用保证

  • rocketmq-console 控制台（可选）：通过UI界面监控和管理mq

  1. 下载镜像包

    docker pull apache/rocketmq:4.9.0

  2. 首先运行命令启动Name Server

    docker run -d \
--restart=always \
--name rmqnamesrv \
-p 9876:9876 \
-v /home/RocketMQ/nameServer/log:/root/logs \
-v /home/RocketMQ/nameServer/store:/root/store \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m"  \
-e "JAVA_OPTS=-Duser.home=/opt" \
apache/rocketmq:4.9.0 \
sh mqnamesrv

    sh mqnamesrv：执行启动启动namesrv服务
    JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m jvm信息可以进入容器中查看运行的sh文件
    在这里插入图片描述

  3. 配置broker主从节点
    如果nameServer是多节点则namesrvAddr=192.168.0.134:9876;192.168.0.135:9876以;分割配置多个节点
    创建四个broker的配置文件listenPort分别为10611、10711、10811、10911，一主一从一组。这里提供一主一从供参考，其余只需要修改brokerName和listenPort即可
    在这里插入图片描述

    master节点配置文件

    # 两个server的地址加端口号
namesrvAddr=192.168.0.134:9876
# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
# broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker01
# 0表示Master，大于0表示不同的slave
brokerId = 0
# 表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
# 在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
# 有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = ASYNC_MASTER
# 刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH
# 设置broker节点所在服务器的ip地址
brokerIP1 = 192.168.0.134
brokerIP2 = 192.168.0.134
# 监听端口
listenPort=10611
# 磁盘使用达到95%之后,生产者再写入消息会报错 CODE: 14 DESC: service not available now, maybe disk full
diskMaxUsedSpaceRatio=95

    slave配置文件

    # 两个server的地址加端口号
namesrvAddr=192.168.0.134:9876
# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
# broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker01
# 0表示Master，大于0表示不同的slave
brokerId = 1
# 表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
# 在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
# 有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = ASYNC_MASTER
# 刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH
# 设置broker节点所在服务器的ip地址
brokerIP1 = 192.168.0.134
brokerIP2 = 192.168.0.134
# 监听端口
listenPort=10711
# 磁盘使用达到95%之后,生产者再写入消息会报错 CODE: 14 DESC: service not available now, maybe disk full
diskMaxUsedSpaceRatio=95

    运行docker命令启动Broker集群

    
docker run -d  \
--restart=always \
--name rmqbrokerMaster1 \
-p 10611:10611 \
-p 10901:10909 \
-v  /home/liushiwei/tools/RocketMQ/brokerServer01/masterLogs:/root/logs \
-v  /home/liushiwei/tools/RocketMQ/brokerServer01/masterStore:/root/store \
-v /home/liushiwei/tools/RocketMQ/brokerServer01/conf/masterBroker.conf:/opt/rocketmq-4.9.0/conf/broker.conf \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m"  \
-e "JAVA_OPTS=-Duser.home=/opt" \
apache/rocketmq:4.9.0 \
sh mqbroker -c /opt/rocketmq-4.9.0/conf/broker.conf 

docker run -d  \
--restart=always \
--name rmqbrokerSlave1 \
-p 10711:10711 \
-p 10902:10909 \
-v  /home/RocketMQ/brokerServer01/slaveLogs:/root/logs \
-v  /home/RocketMQ/brokerServer01/slaveStore:/root/store \
-v /home/RocketMQ/brokerServer01/conf/slaveBroker.conf:/opt/rocketmq-4.9.0/conf/broker.conf \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m"  \
-e "JAVA_OPTS=-Duser.home=/opt" \
apache/rocketmq:4.9.0 \
sh mqbroker -c /opt/rocketmq-4.9.0/conf/broker.conf 

docker run -d  \
--restart=always \
--name rmqbrokerMaster2 \
-p 10811:10811 \
-p 10903:10909 \
-v  /home/RocketMQ/brokerServer02/masterLogs:/root/logs \
-v  /home/RocketMQ/brokerServer02/masterStore:/root/store \
-v /home/RocketMQ/brokerServer02/conf/masterBroker.conf:/opt/rocketmq-4.9.0/conf/broker.conf \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m"  \
-e "JAVA_OPTS=-Duser.home=/opt" \
apache/rocketmq:4.9.0 \
sh mqbroker -c /opt/rocketmq-4.9.0/conf/broker.conf 

docker run -d  \
--restart=always \
--name rmqbrokerSlave2 \
-p 10911:10911 \
-p 10904:10909 \
-v  /home/RocketMQ/brokerServer02/slaveLogs:/root/logs \
-v  /home/RocketMQ/brokerServer02/slaveStore:/root/store \
-v /home/RocketMQ/brokerServer02/conf/slaveBroker.conf:/opt/rocketmq-4.9.0/conf/broker.conf \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m"  \
-e "JAVA_OPTS=-Duser.home=/opt" \
apache/rocketmq:4.9.0 \
sh mqbroker -c /opt/rocketmq-4.9.0/conf/broker.conf

    Broker与Slave配对是通过指定相同的BrokerName参数来配对，Master的BrokerId必须是0，Slave的BrokerId必须是大于0的数。另外一个Master下面可以挂载多个Slave，同一Master下的多个Slave通过指定不同的BrokerId来区分

  4. 安装rockermq-console容器

    docker run -d \
--restart=always \
--name rmqadmin \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.0.134:9876 \
-Dcom.rocketmq.sendMessageWithVIPChannel=false" \
-p 9999:8080 \
pangliang/rocketmq-console-ng

    在这里插入图片描述

详细说明GitHub官方文档这里讲的非常非常非常详细

docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
Docker部署RocketMQ5.2.0集群
cnzzs的博客
07-27 594
部署架构 说明： (1)Producer：生产者 (2)Consumer：消费者 (3)NameServer：RockerMQ的注册中心，多个实例组成集群，但相互独立，没有信息交换。每个Broker都向所有NameServer实例注册。 (4)Broker：负责存储消息、转发消息。 部署模式 RocketMQ作为消息中间...
RocketMQ(2)---Docker部署RocketMQ集群
后端元宇宙
02-20 4984
RocketMQ(2)—Docker集群部署RocketMQ =前言= 1、因为自己只买了一台阿里云服务器，所以RocketMQ集群都部署在单台服务器上只是端口不同，如果实际开发，可以分别部署在多台服务器上。 2、这里有关 Broker 和 NameServer 分别都做了了集群部署(各部署两个），且BroKer是按两主进行部署。 之所以选用Docker部署主要还是考虑 ：通过Docker部署...
Docker部署RocketMQ集群
Eddie'Blog
02-06 426
文章目录前言一、写配置文件二、环境部署 前言 本文转载 https://www.cnblogs.com/qdhxhz/p/11096682.html 亲测可用, 学习参考，使用伪集群形式搭建。 一、写配置文件 1、创建所需文件夹 mkdir -p /opt/rocketmq/logs/nameserver-a mkdir -p /opt/rocketmq/logs/nameserver-b mkdir -p /opt/rocketmq/store/nameserver-a mkdir -p /opt
Rocket MQ【6】集群 - 多Master模式
说淑人的所思所想
01-06 1603
Rocket MQ【6】集群 - 多Master模式
docker部署rocketmq集群。
IT从业者
07-04 996
1.镜像 rocketmqinc/rocketmq：4.4.0 rocketmq镜像 styletang/rocketmq-console-ng rocketmq的管理界面 2.集群方式 主要有3种：2m-2s-async、2m-2s-sync、2m-noslave。m表示master，s表示slave，由于机器及目前业务有限，使用2m-noslave方式，本文部署在同一个机器上。 2个namesrv+2个broker 3.namesrv部署 创建两个文件夹nameserve...
rocketmq 多master集群部署
weixin_30270889的博客
12-20 207
rocketmq 并且编译下载 wget http://mirror.bit.edu.cn/apache/rocketmq/4.3.2/rocketmq-all-4.3.2-source-release.zip unzip rocketmq-all-4.3.2-source-release.zip cd rocketmq-all-4.3.2/ mvn -Prelease-all...
docker-compose搭建rocketmq集群（虚拟机）(双主双从，同步双写)
weixin_42134685的博客
08-29 1041
10.在134中修改/usr/local/rocketmq/broker-1-s/conf/broker.conf配置文件。7.在133中修改/usr/local/rocketmq/broker-1-m/conf/broker.conf配置文件。8.在133中修改/usr/local/rocketmq/broker-2-s/conf/broker.conf配置文件。9.在134中修改/usr/local/rocketmq/broker-2-m/conf/broker.conf配置文件。
RocketMQ部署单机版及集群版本(Docker部署)
最新发布
StaticKing的博客
08-29 1395
废话不多直接上干货，我负责踩坑，你负责指导。
RocketMQ多Master集群搭建（一）
删繁就简三秋树
04-29 597
RocketMQ是什么？为啥要使用RocketMQ?如何搭建RocketMQ？
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
RocketMQ，基于docker的集群环境搭建
天涯明月
04-19 1046
安装 　　由于资源有限，这里在同一个VM中搭建基于Docker的集群环境，个人已有镜像dnmy/rocket:tag01。关于Dockerfile文件内容参考https://blog.youkuaiyun.com/w1673492580/article/details/44038151 [root@localhost /]# docker pull dnmy/rocket:tag01 tag01: Pul...
Docker搭建建2master+2slave的RocketMQ集群
qq_41479635的博客
07-04 138
想要安装单master的RocketMQ，可以参考我的另一篇博文。
RocketMQ： 双主双从同步集群配置，发送消息返回状态码：SLAVE_NOT_AVAILABLE
maomao520520的专栏
06-30 546
原因：从机的broker.conf文件中，brokerName与主机的brokerName不一致导致的。 解决：同一个M-S中，它们共享同一个brokerName，客户端是通过brokerId来区分主机和从机的，所以不能把主从的brokerName设置得不一样。 ...
docker部署rocketmq双主双从模式
binggoling
02-02 1012
文章目录docker部署rocketmq双主双从模式环境准备1.镜像拉取2.配置文件3.启动容器1）启动namesrv2）启动broker4.安装rocketmq-console控制台可视化界面1）镜像2）启动容器3）访问界面 docker部署rocketmq双主双从模式 环境准备 机器两台：192.168.56.121，192.168.56.122，192.168.56.123，192.168.56.124 1.镜像拉取 docker pull foxiswho/rocketmq:4.7.0 2.配
rocketmq双Master集群模式搭建
qq_36902628的博客
11-09 785
环境介绍 服务器ip 环境 安装的服务 主机名 10.10.10.136 centos7 nameServer+broker nameserver1/master1 10.10.10.138 centos7 nameServer+broker nameserv..
RocketMQ【3】Rocketmq集群部署（多master多slave）异步复制
wangleleb的博客
03-06 587
一个master对应一个slave，master负责读写，slave负责数据的备份不参与读写，这里属于是主备。一台机器需要同时配置主备。由于异步复制的优点，所以一台机器需要有master1和slave2，另一台机器徐瑶瑶master2和slave1，这样在一台机器挂了之后，剩下的一台机器可以直接将从节点转换为主节点。这里初步描述如何启动控制台，其他内容。
使用docker初步实现redis master-slave模式
Falling_away的博客
02-19 685
第一步：拉取redis镜像 命令： docker pull redis 第二步：启动3个redis容器 命令1：redis容器1 docker run -p 6379:6379 --name redis-6379 -d redis 命令2：redis容器2 docker run -p 6380:6379 --name redis-6380 -d redis 命令3：redis容器3 docker run -p 6381:6379 --name redis-6381 -d redis 第三步：执行ma
基于docker容器搭建rocketmq集群(3主三从)
学无止步的博客
02-10 5344
基于docker容器搭建rocketmq集群(3主三从) 一、安装前准备 1.1、服务器准备 本次集群搭建使用docker容器模拟服务器资源，因为要搭建三主三从集群，因此需要准备三个docker容器充当三台服务器资源。 本文中的容器使用搭建redis集群的三台容器，本次准备使用三台容器模拟中间件服务器，在三个容器中搭建三个中间件集群，本篇博客为第二个中间件—rocketmq。具体的容器准备(局域网搭建、ip分配、容器环境)见上篇博客基于docker容器搭建redis集群(3主三从)。 本次规划上做三主三从，
使用docker-compose部署RocketMQ 5.1.0集群（双主双从）
本资源是关于使用docker-compose搭建Apache RocketMQ 5.1.0集群的教程，集群采用双主双从模式，确保高可用性。集群中的组件包括NameServer、rocketmq-dashboard以及两个主从对的Broker节点，分别命名为broker-a和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值