RocketMQ  双主双从  docker安装在两台虚拟机上

最新推荐文章于 2024-08-27 09:55:24 发布
最新推荐文章于 2024-08-27 09:55:24 发布
阅读量514 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： docker 文章标签： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40633152/article/details/115414517
本文详细介绍了如何在两台虚拟机上使用Docker部署Apache RocketMQ的双主双从集群。首先确保Docker已安装，然后拉取镜像，接着编写配置文件，包括主备Broker的配置以及docker-compose.yml文件。通过docker-compose启动服务，创建必要的目录并挂载到容器中。最终，成功实现了RocketMQ的高可用部署。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考了官网（[http://rocketmq.apache.org/docs/quick-start/](http://rocketmq.apache.org/docs/quick-start/）给的配置：在下载好的目录下：rocketmq-all-4.8.0-bin-release\conf\2m-2s-sync 有具体的配置。
好了下面讲讲我是怎么在docker上安装好双主双从在两台虚拟机上的，

1：默认条件docker已经安装好了

我的docker版本Docker version 18.09.0, build 4d60db4

2:利用dokcer拉去镜像 

docker pull foxiswho/rocketmq:4.8.0

3:编写配置文件：

虚拟机一配置文件 

  • broker-m-1.conf
#集群名称
brokerClusterName=DefaultCluster
#broker名称
brokerName=broker-1
#brokerId master用0 slave用其他
brokerId=0
#清理时机
deleteWhen=4
#文件保留时长 72小时
fileReservedTime=72
#broker角色 -ASYNC_MASTER异步复制 -SYNC_MASTER同步双写 -SLAVE
brokerRole=SYNC_MASTER
#刷盘策略 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#主机ip
brokerIP1=192.168.101.21
#对外服务的监听接口，同一台机器上部署多个broker,端口号要不相同
listenPort=10909
#namesvr
namesrvAddr=192.168.101.21:19876;192.168.101.22:19876
#是否能够自动创建topic
autoCreateTopicEnable=true
  • broker-s-1.conf
#集群名称
brokerClusterName=DefaultCluster
#broker名称
brokerName=broker-1
#brokerId master用0 slave用其他
brokerId=1
#清理时机
deleteWhen=4
#文件保留时长 72小时
fileReservedTime=72
#broker角色 -ASYNC_MASTER异步复制 -SYNC_MASTER同步双写 -SLAVE
brokerRole=SLAVE
#刷盘策略 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#主机ip
brokerIP1=192.168.101.21
#对外服务的监听接口，同一台机器上部署多个broker,端口号要不相同
listenPort=10910
#namesrv
namesrvAddr=192.168.101.21:19876;192.168.101.22:19876
#是否能够自动创建topic
autoCreateTopicEnable=true
  • docker-compose.yml  
version: '3.5'
services:
  namesrv1:
    image: foxiswho/rocketmq:4.8.0
    container_name: namesrv1
    ports:
      - 19876:9876
    volumes:
      - /rocketMq/namesrv1/log:/opt/logs
      - /rocketMq/namesrv1/data:/opt/store
    command: sh mqnamesrv
    networks:
      rocketmq:
        aliases:
          - namesrv1
  broker-m-1:
    image: foxiswho/rocketmq:4.8.0
    container_name: broker-m-1
    links:
      - namesrv1:namesrv1
    ports:
      - 10909:10909
    environment:
      TZ: Asia/Shanghai
      NAMESRV_ADDR: "namesrv1:19876"
      JAVA_OPTS: "-Duser.home=/opt"
      JAVA_OPT_EXT: "-server -Xms256m -Xmx256m -Xmn256m"
    volumes:
      - /rocketMq/broker-m-1/log:/opt/logs
      - /rocketMq/broker-m-1/data:/opt/store
      - /rocketMq/broker-m-1/conf/broker-m-1.conf:/opt/rocketmq-4.8.0/conf/broker-m-1.conf
    command: sh mqbroker -c /opt/rocketmq-4.8.0/conf/broker-m-1.conf autoCreateTopicEnable=true &
    networks:
      rocketmq:
        aliases:
          - broker-m-1
  broker-s-1:
    image: foxiswho/rocketmq:4.8.0
    container_name: broker-s-1
    links:
      - namesrv1:namesrv1
    ports:
      - 11909:10909
    environment:
      TZ: Asia/Shanghai
      NAMESRV_ADDR: "namesrv1:19876"
      JAVA_OPTS: "-Duser.home=/opt"
      JAVA_OPT_EXT: "-server -Xms256m -Xmx256m -Xmn256m"
    volumes:
      - /rocketMq/broker-s-1/log:/opt/logs
      - /rocketMq/broker-s-1/data:/opt/store
      - /rocketMq/broker-s-1/conf/broker-s-1.conf:/opt/rocketmq-4.8.0/conf/broker-s-1.conf
    command: sh mqbroker -c /opt/rocketmq-4.8.0/conf/broker-s-1.conf autoCreateTopicEnable=true &
    networks:
      rocketmq:
        aliases:
          - broker-s-1
networks:
  rocketmq:
    name: rocketmq
    driver: bridge

虚拟机二配置文件

  •  broker-m-1.conf
#集群名称
brokerClusterName=DefaultCluster
#broker名称
brokerName=broker-2
#brokerId master用0 slave用其他
brokerId=0
#清理时机
deleteWhen=4
#文件保留时长 72小时
fileReservedTime=72
#broker角色 -ASYNC_MASTER异步复制 -SYNC_MASTER同步双写 -SLAVE
brokerRole=SYNC_MASTER
#刷盘策略 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#主机ip
brokerIP1=192.168.101.22
#对外服务的监听接口，同一台机器上部署多个broker,端口号要不相同
listenPort=10909
#namesvr
namesrvAddr=192.168.101.21:19876;192.168.101.22:19876
#是否能够自动创建topic
autoCreateTopicEnable=true
  • broker-s-1.conf
#集群名称
brokerClusterName=DefaultCluster
#broker名称
brokerName=broker-2
#brokerId master用0 slave用其他
brokerId=1
#清理时机
deleteWhen=4
#文件保留时长 72小时
fileReservedTime=72
#broker角色 -ASYNC_MASTER异步复制 -SYNC_MASTER同步双写 -SLAVE
brokerRole=SLAVE
#刷盘策略 - ASYNC_FLUSH 异步刷盘 - SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#主机ip
brokerIP1=192.168.101.22
#对外服务的监听接口，同一台机器上部署多个broker,端口号要不相同
listenPort=10910
#namesrv
namesrvAddr=192.168.101.21:19876;192.168.101.22:19876
#是否能够自动创建topic
autoCreateTopicEnable=true
  • docker-compose.yml
version: '3.5'
services:
  namesrv1:
    image: foxiswho/rocketmq:4.8.0
    container_name: namesrv1
    ports:
      - 19876:9876
    volumes:
      - /rocketMq/namesrv1/log:/opt/logs
      - /rocketMq/namesrv1/data:/opt/store
    command: sh mqnamesrv
    networks:
      rocketmq:
        aliases:
          - namesrv1
  broker-m-1:
    image: foxiswho/rocketmq:4.8.0
    container_name: broker-m-1
    links:
      - namesrv1:namesrv1
    ports:
      - 10909:10909
    environment:
      TZ: Asia/Shanghai
      NAMESRV_ADDR: "namesrv1:19876"
      JAVA_OPTS: "-Duser.home=/opt"
      JAVA_OPT_EXT: "-server -Xms256m -Xmx256m -Xmn256m"
    volumes:
      - /rocketMq/broker-m-1/log:/opt/logs
      - /rocketMq/broker-m-1/data:/opt/store
      - /rocketMq/broker-m-1/conf/broker-m-1.conf:/opt/rocketmq-4.8.0/conf/broker-m-1.conf
    command: sh mqbroker -c /opt/rocketmq-4.8.0/conf/broker-m-1.conf autoCreateTopicEnable=true &
    networks:
      rocketmq:
        aliases:
          - broker-m-1
  broker-s-1:
    image: foxiswho/rocketmq:4.8.0
    container_name: broker-s-1
    links:
      - namesrv1:namesrv1
    ports:
      - 11909:10909
    environment:
      TZ: Asia/Shanghai
      NAMESRV_ADDR: "namesrv1:19876"
      JAVA_OPTS: "-Duser.home=/opt"
      JAVA_OPT_EXT: "-server -Xms256m -Xmx256m -Xmn256m"
    volumes:
      - /rocketMq/broker-s-1/log:/opt/logs
      - /rocketMq/broker-s-1/data:/opt/store
      - /rocketMq/broker-s-1/conf/broker-s-1.conf:/opt/rocketmq-4.8.0/conf/broker-s-1.conf
    command: sh mqbroker -c /opt/rocketmq-4.8.0/conf/broker-s-1.conf autoCreateTopicEnable=true &
    networks:
      rocketmq:
        aliases:
          - broker-s-1
networks:
  rocketmq:
    name: rocketmq
    driver: bridge

ps:因为nameserver 没有使用配置文件，所以docker容器里面的端口使用需要注意（19876：9876），前面的映射端口只要不重复就好，后面的使用默认9876端口。

执行命令建立目录

mkdir -p /rocketMq/namesrv1/log &&
mkdir -p /rocketMq/namesrv1/data &&
mkdir -p /rocketMq/broker-m-1/log &&
mkdir -p /rocketMq/broker-m-1/data &&
mkdir -p  /rocketMq/broker-m-1/conf &&
mkdir -p  /rocketMq/broker-s-1/log &&
mkdir -p /rocketMq/broker-s-1/data &&
mkdir -p  /rocketMq/broker-s-1/conf

将配置文件放到对应的目录下面

前提安装好docker-compose（https://docs.docker.com/compose/install/）

ps:安装docker-compose命令

sudo curl -L "https://github.com/docker/compose/releases/download/1.28.6/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

执行命令：

docker-compose -f docker-compose.yml up -d

至此dokcer 安装rocketmq 结束

 

docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
docker-compose搭建rocketmq集群（虚拟机）(双主双从，同步双写)
weixin_42134685的博客
08-29 1071
10.在134中修改/usr/local/rocketmq/broker-1-s/conf/broker.conf配置文件。7.在133中修改/usr/local/rocketmq/broker-1-m/conf/broker.conf配置文件。8.在133中修改/usr/local/rocketmq/broker-2-s/conf/broker.conf配置文件。9.在134中修改/usr/local/rocketmq/broker-2-m/conf/broker.conf配置文件。
docker-compose单机部署rocketmq集群(双主双从，同步双写)
weixin_42134685的博客
08-27 909
6.修改/usr/local/rocketmq/broker-1-m/conf/broker.conf配置文件。7.修改/usr/local/rocketmq/broker-2-s/conf/broker.conf配置文件。8.修改/usr/local/rocketmq/broker-2-m/conf/broker.conf配置文件。9.修改/usr/local/rocketmq/broker-1-s/conf/broker.conf配置文件。14.显示成功，就是成功了。4.创建消息存储路径。
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
docker搭建rocketmq集群
鶸者为何战斗
03-07 3928
借鉴于 https://www.cnblogs.com/qdhxhz/p/11096682.html 但是其中有一些错误，本人进行了修改 docker-compose.yml version: '3.5' services: rmqnamesrv-a: image: rocketmqinc/rocketmq:4.3.0 container_name: rmqnames...
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
RocketMQ集群部署——双主双从同步机制
天羽云龙的博客
02-22 1562
RocketMQ集群部署——双主双从同步机制
RocketMQ 的双主双从集群搭建
qq_40230026的博客
02-15 3177
文章目录1：介绍2：准备2.1 准备虚拟机2.2 修改虚拟机的ip地址 1：介绍 1：本次搭建集群采用异步复制，主备有短暂消息延迟，毫秒级 2：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。 3：Master 宕机，磁盘损坏情况，会丢失少量消息。这个是 rocket 3.5 之前都存在的，3.6之后可以支持主备切换，这个我们下次搭建。 2：准备 准备了 4台虚拟机，IP 地址准备设置成 192.168.1
RocketMQ(二)双主双从同步复制集群
qq_46691679的博客
03-22 759
作为测试环境，我们使用两台虚拟机来部署双主双从环境，具体结构如下： 整个集群由两个 name server 实例和四个 broker 实例组成 name server: 两台服务器分别启动两个name server broker A 主从: 服务器1部署 broker A 主服务 服务器2部署 broker A 从服务 broker B 主从: 服务器2部署 broker B 主服务 服务器1部署 broker B 从服务
RocketMQ (二) 双主双从同步复制集群方案
wanght笔记
07-09 8061
建文件夹 mkdir /usr/local/rocketmq/store/ mkdir /usr/local/rocketmq/store/broker-a mkdir /usr/local/rocketmq/store/broker-a/commitlog mkdir /usr/local/rocketmq/store/broker-b mkdir /usr/local/rocketmq/store/broker-b/commitlog mkdir /usr/local/rocketmq/store/br
linstor-server：用于容器，云和虚拟化的高性能软件定义块存储。 与Docker，Kubernetes，Openstack，Proxmox等完全集成
02-03
什么是LINSTOR:registered: LINBIT开发的LINSTOR:registered:是一种软件，可以管理一组计算机上的复制卷。 通过与Kubernetes的本机集成，LINSTOR使构建，运行和控制块存储变得简单。 LINSTOR:registered:是开源软件，旨在管理大型Linux服务器群集的块存储设备。 它用于为cloudnative和hypervisor环境提供持久Linux块存储。 以前，LINSTOR最初是作为DRBD:registered:的资源文件生成器开始的，方便地创建了LVM / ZFS卷。 随着时间的推移，LINSTOR稳步增长并获得了双向的新功能和驱动程序，即快照，LUKS，dm-cache，dm-writecache或nvme之类的南向驱动程序，以及 ， ， ， 和北向驱动程序。 这个怎么运作 LINSTOR系统由多个服务器和客户端组件组成。 LINSTOR控制器管理LINSTOR集群及其所有托管存储资源的配置。 LINSTOR附属组件在提供或使用LINSTOR管理的存储资源的每个节点上管理存储资源的创建，修改和删除。 可以通过直
【云原生 | Kubernetes 系列】—K8S部署RocketMQ集群（双主双从+同步模式）
云录
12-31 2848
Rocket双主双从同步：部署四个节点，每个主节点都有一个从节点，主与从节点的信息通过同步的方式进行保存。优点：消息不会丢失，即：主节点挂了后，从节点的消息也不会造成丢失，只不过没法接受新消息，只能消费，但是能保证我消费的消息一定是准确的。双主双从异步：与双主双从一致，只不过在主从数据传输是通过异步的方式，优点：客户端能快速的接收到服务器的消息，缺点：主节点挂的情况，从节点会丢失一部分消息。rocketMQ高可用有很多种方式，比如：单机部署，多主集群，双主双从同步部署，双主双从异步部署，以及多主多从部署。
Docker部署 RocketQM双主模式
weixin_42562106的博客
03-11 237
本次IP为： 192.168.8.137 192.168.8.143 137上的配置 cat <<END>broker-a.properties brokerClusterName=DefaultCluster brokerName=broker-a brokerId=0 namesrvAddr=192.168.8.143:9876;192.168.8.137:9876 brokerIP1=192.168.8.137 defaultTopicQueueNums=4 autoCre..
docker部署rocketmq双主双从模式
binggoling
02-02 1023
文章目录docker部署rocketmq双主双从模式环境准备1.镜像拉取2.配置文件3.启动容器1）启动namesrv2）启动broker4.安装rocketmq-console控制台可视化界面1）镜像2）启动容器3）访问界面 docker部署rocketmq双主双从模式 环境准备 机器两台：192.168.56.121，192.168.56.122，192.168.56.123，192.168.56.124 1.镜像拉取 docker pull foxiswho/rocketmq:4.7.0 2.配
docker在两台服务器上部署zookeeper集群（亲测可用）
吴英峰的博客
10-30 1765
假设有A和B两台服务器，在A部署一个zk容器，B部署两个zk容器，一共3个（zk建议最好是奇数） 步骤： 1、在A的服务器中创建zookeeper1的文件夹 mkdir -p ~/docker/zookeeper1 　　mkdir ~/docker/zookeeper1/data 　 cd ~/docker/zookeeper1 　 echo 1 > data/myid 2、在创建z...
Docker部署 RocketQM双主双从模式
weixin_42562106的博客
03-12 262
本次IP为： 192.168.8.137 192.168.8.143 在137上准以下两个文件 cat <<END> broker-a.properties brokerClusterName=DefaultCluster brokerName=broker-a brokerId=0 namesrvAddr=192.168.8.143:9876;192.168.8.137:9876 brokerIP1=192.168.8.137 brokerIP2=192.168.8.137..
手把手搭建RocketMQ双主双从同步集群&&Dledger搭建
【原】编程界的小学生
07-20 1385
编程界的小学生一、环境准备1、补充2、机器二、开始搭建1、说明2、古老的集群搭建2.1、准备2.2、Master12.3、Slave12.4、Master22.5、Slave22.6、总结2.7、启动2.7.1、启动namesrv2.7.2、启动broker2.8、验证2.9、问题3、Dledger搭建3.1、说明3.2、搭建3.2.1、官方搭建手册3.2.2、准备3.2.3、配置3.2.4、配置说明3.2.5、启动3.2.6、验证3.3、补充三、常见问题1、Lock failed,MQ already s
在一台服务器上用docker-compose双主双从的rocketmq消息队列----rocketmq双主双从模式
m0_60747626的博客
12-07 1223
rocketmq消息队列
搭建双机热备并迁移docker
玩IT的川
10-28 1508
搭建双机热备并迁移docker 实验要求： 1)两台keepalined做负载均衡，让在keepalined上面做nginx的反向代理服务。 2)一台NFS服务器提供nginx的页面 3)两台docker上面做nginx，并且页面必须是NFS上面的页面。 4)最后将docker上面的nginx迁移到另一台主机上面。 使用拓扑图： 实验环境： 实验...
docker安装rocketmq双主双从
最新发布
03-04
### 安装和配置 RocketMQ 双主双从集群 #### 准备工作 为了在 Docker 中安装并配置 RocketMQ 的双主双从集群，需先准备好必要的环境。确保已安装 Docker 和 Docker Compose 工具。 #### 配置文件准备 创建一个目录用于保存所有的配置文件和服务定义： ```bash mkdir rocketmq-docker-cluster && cd $_ ``` 在此目录下创建 `docker-compose.yml` 文件来描述服务架构[^1]。 #### 编写 docker-compose.yml 编写如下所示的 `docker-compose.yml` 文件以启动四个 NameServer 实例以及两个 Master Broker 和两个 Slave Broker 实例组成的高可用集群: ```yaml version: '3' services: namesrv1: image: apache/rocketmq:latest container_name: rmq-namesrv1 environment: - JAVA_OPTS=-server -Xms512m -Xmx512m -XX:+UseG1GC command: sh mqnamesrv ports: - "9876:9876" namesrv2: image: apache/rocketmq:latest container_name: rmq-namesrv2 environment: - JAVA_OPTS=-server -Xms512m -Xmx512m -XX:+UseG1GC command: sh mqnamesrv ports: - "9877:9876" broker-a-master: image: apache/rocketmq:latest container_name: rmq-broker-a-master depends_on: - namesrv1 - namesrv2 environment: - JAVA_OPTS=-server -Xms512m -Xmx512m -XX:+UseG1GC - NAMESRV_ADDR=rmq-namesrv1:9876;rmq-namesrv2:9876 volumes: - ./broker-a-master:/home/rocketmq/store command: sh mqbroker -n rmq-namesrv1:9876;rmq-namesrv2:9876 -c /opt/software/apache-rocketmq/conf/broker-a.properties broker-a-slave: image: apache/rocketmq:latest container_name: rmq-broker-a-slave depends_on: - namesrv1 - namesrv2 - broker-a-master environment: - JAVA_OPTS=-server -Xms512m -Xmx512m -XX:+UseG1GC - NAMESRV_ADDR=rmq-namesrv1:9876;rmq-namesrv2:9876 volumes: - ./broker-a-slave:/home/rocketmq/store command: sh mqbroker -n rmq-namesrv1:9876;rmq-namesrv2:9876 -c /opt/software/apache-rocketmq/conf/broker-a-s properties broker-b-master: image: apache/rocketmq:latest container_name: rmq-broker-b-master depends_on: - namesrv1 - namesrv2 environment: - JAVA_OPTS=-server -Xms512m -Xmx512m -XX:+UseG1GC - NAMESRV_ADDR=rmq-namesrv1:9876;rmq-namesrv2:9876 volumes: - ./broker-b-master:/home/rocketmq/store command: sh mqbroker -n rmq-namesrv1:9876;rmq-namesrv2:9876 -c /opt/software/apache-rocketmq/conf/broker-b.properties broker-b-slave: image: apache/rocketmq:latest container_name: rmq-broker-b-slave depends_on: - namesrv1 - namesrv2 - broker-b-master environment: - JAVA_OPTS=-server -Xms512m -Xmx512m -XX:+UseG1GC - NAMESRV_ADDR=rmq-namesrv1:9876;rmq-namesrv2:9876 volumes: - ./broker-b-slave:/home/rocketmq/store command: sh mqbroker -n rmq-namesrv1:9876;rmq-namesrv2:9876 -c /opt/software/apache-rocketmq/conf/broker-b-s.properties ``` 注意上述命令中的 `-c` 参数指定了不同的配置文件路径，这些配置文件应预先放置于容器内的 `/opt/software/apache-rocketmq/conf/` 路径下，并设置好相应的参数以便区分各个节点的角色（Master 或者 Slave），同时指定同步模式和其他必要选项。 #### 启动集群 完成以上步骤之后，在包含 `docker-compose.yml` 文件的同一目录执行下面这条指令即可一键部署整个 RocketMQ HA 集群： ```bash docker-compose up -d ``` 这将会以后台守护进程的方式运行所有组件实例，并自动连接形成一个完整的消息队列网络结构。 #### 测试集群功能 通过向任意一台Broker发送测试消息验证集群是否正常运作；可以利用官方提供的工具如 `tools.sh org.apache.rocketmq.example.quickstart.Producer` 来实现这一点。同样地，也可以尝试消费端逻辑确认数据能够被正确接收处理。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值