RocketMQ集群搭建

最新推荐文章于 2025-04-04 16:57:21 发布
最新推荐文章于 2025-04-04 16:57:21 发布
阅读量746 收藏
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZGL_cyy/article/details/111413588
版权

目录

1 RocketMQ集群分类

  1. 单机
    1. 一个broker提供服务（宕机后服务瘫痪）
  2. 集群
    1. 多个broker提供服务（单机宕机后消息无法及时被消费）
    2. 多个master多个slave
      1. master到slave消息同步方式为同步（较异步方式性能略低，消息无延迟）
      2. master到slave消息同步方式为异步（较同步方式性能略高，数据略有延迟）

在这里插入图片描述

2 RocketMQ集群特征

在这里插入图片描述

RocketMQ集群工作流程

  1. 步骤1：NameServer启动，开启监听，等待broker、producer与consumer连接
  2. 步骤2：broker启动，根据配置信息，连接所有的NameServer，并保持长连接
  3. 步骤2补充：如果broker中有现存数据， NameServer将保存topic与broker关系
  4. 步骤3：producer发信息，连接某个NameServer，并建立长连接
  5. 步骤4：producer发消息
    1. 步骤4.1若果topic存在，由NameServer直接分配
    2. 步骤4.2如果topic不存在，由NameServer创建topic与broker关系，并分配
  6. 步骤5：producer在broker的topic选择一个消息队列（从列表中选择）
  7. 步骤6：producer与broker建立长连接，用于发送消息
  8. 步骤7：producer发送消息

comsumer工作流程同producer

在这里插入图片描述

双主双从集群搭建:

在这里插入图片描述

在这里插入图片描述

  1. 配置服务器环境:

    vim /etc/hosts

    # nameserver
192.168.184.128 rocketmq-nameserver1
192.168.184.129 rocketmq-nameserver2
# broker
192.168.184.128 rocketmq-master1
192.168.184.129 rocketmq-slave2
192.168.184.129 rocketmq-master2
192.168.184.128 rocketmq-slave1

  2. 配置完毕后重启网卡，应用配置

systemctl restart network

  1. 关闭防火墙或者开发指定端口对外提供服务

    # 关闭防火墙
systemctl stop firewalld.service
# 查看防火墙的状态
firewall-cmd --state
# 禁止firewall开机启动
systemctl disable firewalld.service

  2. 开启指定端口对外提供服务

    # 开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent
# 重启防火墙
firewall-cmd --reload

  3. 配置服务器环境

    vim /etc/profile

    #set rocketmq
ROCKETMQ_HOME=/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

  4. 配置完毕后重启网卡，应用配置

    source /etc/profile

  5. 创建集群服务器的数据存储目录

    mkdir /rocketmq/store
mkdir /rocketmq/store/commitlog
mkdir /rocketmq/store/consumequeue
mkdir /rocketmq/store/index

  6. 注意master与slave如果在同一个虚拟机中部署，需要将存储目录区分开

  7. broker-a.properties

    #所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

  8. broker-b-s.properties

    #所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/rocketmq/store-slave
#commitLog 存储路径
storePathCommitLog=/rocketmq/store-slave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/rocketmq/store-slave/consumequeue
#消息索引存储路径
storePathIndex=/rocketmq/store-slave/index
#checkpoint 文件存储路径
storeCheckpoint=/rocketmq/store-slave/checkpoint
#abort 文件存储路径
abortFile=/rocketmq/store-slave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

  9. 检查启动内存

    vim /rocketmq/bin/runbroker.sh

    # 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

  10. 启动服务器（在bin目录下依次启动）

    nohup sh mqnamesrv &


    nohup sh mqbroker -c ../conf/2m-2s-syncbroker-a.properties &


    nohup sh mqbroker -c ../conf/2m-2s-sync/broker-b-s.properties &

broker-b.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

broker-a-s.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/rocketmq/store-slave
#commitLog 存储路径
storePathCommitLog=/rocketmq/store-slave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/rocketmq/store-slave/consumequeue
#消息索引存储路径
storePathIndex=/rocketmq/store-slave/index
#checkpoint 文件存储路径
storeCheckpoint=/rocketmq/store-slave/checkpoint
#abort 文件存储路径
abortFile=/rocketmq/store-slave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3 rocketmq-console集群监控平台搭建

  1. incubator-rocketmq-externals是一个基于rocketmq的基础之上扩展开发的开源项目
  2. 获取地址：https://github.com/apache/rocketmq-externals
  3. rocketmq-console是一款基于java环境开发的（springboot）的管理控制台工具
RocketMQ部署单机版及集群版本(Docker部署)
StaticKing的博客
08-29 1390
废话不多直接上干货，我负责踩坑，你负责指导。
Rocketmq,单机，集群部署
qq_21562243的博客
07-05 336
RocketMQ： 一款分布式、队列模型的消息中间件。 1 能够保证严格的消息顺序 2 提供丰富的消息拉取模式 3 高效的订阅者水平扩展能力 4 实时消息订阅机制 5 亿级消息堆积能力 强调集群无单点，可扩展，任意一点高可用，水平扩展。 MQ待解决问题： 1 如何保证MQ高可用？ 2 如何保证消息重复消费？消息丢失？消息传递顺序性问题? 3 一致性问题： A系统处理完业务，通过MQ给B、C、D三个系统发送消息数据，如果 B系统，C系统处理成功，D系统处理失败。如何保证消息数据处理的一致性？ https://
centos7安装rocketmq及其集群
最新发布
weixin_48208008的博客
04-04 707
22、brocker.conf文件最后面添加：autoCreateTopicEnable=true。
2、RocketMQ 2主2从异步刷盘集群搭建
matrixlzp的博客
07-01 349
首先准备三台虚拟机 CentOS7修改三台机器 hosts 文件确保每台机器上都能 ping 通另外两台机器就说明我们 hosts 配置没有问题。
分布式-MQ-04 RocketMQ单机、集群及管理台搭建
csfun1的博客
03-04 2866
rocketmq时阿里云旗下的开源项目，在无法自建mq工程的情况下，复用其能力还是很可靠的。本文使用2台虚拟机针对rocketmq单机、集群、管理台搭建进行搭建。
02_单机docker搭建rocketmq集群
低调的烂笔头的博客
12-30 322
单机docker搭建rocketmq集群
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
在本压缩包中，你将找到搭建RocketMQ集群所需的全部资源，包括必要的jar包和war包。 首先，我们来了解一下RocketMQ集群的基本概念。在RocketMQ中，集群主要由NameServer、Broker和Producer/Consumer等角色组成。...
高可用 RocketMQ 集群搭建.doc
08-24
高可用 RocketMQ 集群搭建 RocketMQ 是一款流行的开源消息队列系统，具有高性能、高可用性和低延迟等特点。为了确保 RocketMQ 集群的高可用性，需要对其进行合理的设计和部署。下面将详细介绍高可用 RocketMQ ...
window进行rocketMQ集群搭建--简单无错版
weixin_45309354的博客
07-11 800
window集群rocketmq
rocketmq集群搭建所需文件
02-10
rocketmq集群搭建所需文件，不要积分即可下载，下载后还请动下小手点个关注，支持一下作者，集群搭建详细步骤见https://blog.youkuaiyun.com/qq_40756113/article/details/122865394
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
rocketmq windows版本 安装(单机和集群) 后台服务注册
01-31
rocketmq windows版本安装 含单机和集群 与后台服务注册 亲测书写的文档，
RocketMQ集群(二主二从异步集群部署)
小白的技术之路
11-01 719
RocketMq下载地址 4.7.1 一、节点规划 第一台机器 192.168.124.30 端口规划： 9876 NameServer1 10910 BrokerA-master 10921 BrokerB-slave 第二台机器 192.168.124.31 端口规划： 9876 NameServer2 10920 BrokerB-master 10911 BrokerA-slave 二、解压 (文件路径 /soft/rocketmq) 解压后，把文件夹改个名字 unzip rocketmq-all
RocketMQ-双主双从集群+DashBorad搭建(云服务器)
HGW的博客
12-22 1997
本文从理论知识垫基础到基于云服务器部署双主双从的RocketMQ集群，可谓是通透～
RocketMQ双主双从集群搭建
赶考书生
09-27 344
集群搭建方式 集群特点 NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。 Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时
Rocketmq 双主双从集群搭建
weixin_43866043的博客
03-16 2669
rocketmq简介：RocketMQ 是阿里巴巴开源的分布式消息中间件。2017年捐献给apache开源基金会，次年成为apache顶级项目 是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式等特点 liunx 下 rocketmq 双主双从集群搭建 IP地址 角色 192.168.180.133 master1 192.168.180.133 master2-slave 192.168.180.245 master2 192.168
Rocketmq两主两从集群部署
茶半香初
05-06 7981
环境准备 准备两台服务器或者虚拟机 服务器一：192.***.*.31 服务器二：192.***.*.32 部署模式： 2M-2S-SYNC(两主两从同步写) 相关安装包存储路径：/root/svr/rocketmq 部署 下载安装包 Apache: https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.2.0/rocketmq-all-4.2...
RocketMQ超详细教程：涵盖单机、集群部署及核心功能应用！
邓邓子的博客
10-06 1783
RocketMQ是由阿里巴巴开源的一个分布式消息中间件和流计算平台，它为用户提供了丰富的消息服务模式，包括顺序消息、延迟消息、批量消息等，旨在解决大规模分布式系统中消息传递的一致性、可靠性和高性能问题。RocketMQ的集群模式主要包括NameServer集群和BrokerServer集群两部分。NameServer集群负责服务注册和发现，而BrokerServer集群则负责消息的存储和转发。集群模式可以支持多种部署方式，如双主模式、主从模式等。：一个可视化的管理控制台，用于管理和监控RocketMQ集群。
rocketmq集群搭建
10-17
好的，关于 RocketMQ 集群搭建，一般可以分为以下几个步骤： 1. 下载 RocketMQ 的压缩包，并解压到指定目录。 2. 修改配置文件，包括 namesrv 的配置和 broker 的配置。 3. 启动 namesrv 和 broker。 4. 配置集群模式，包括主从同步和负载均衡等。 5. 测试集群是否正常工作。 具体的步骤可以参考官方文档：https://rocketmq.apache.org/docs/quick-start/
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赵广陆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值