RocketMq

最新推荐文章于 2024-06-29 16:24:55 发布
最新推荐文章于 2024-06-29 16:24:55 发布
阅读量506 收藏 1
点赞数
分类专栏： 环境搭建 rocketmq 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CMLXZL/article/details/119532980
版权
本文详细介绍了如何搭建2m-2s-sync RocketMQ集群，包括集群中的各种角色（Producer、Consumer、Broker、NameServer）、工作流程以及服务器环境配置。在服务器环境部分，涉及到Host配置、防火墙设置和端口开放。接着，文章逐步讲解了Broker的目录设置、配置文件修改和启动脚本调整。最后，文中提到了如何启动NameServer集群和Broker集群，并提供了检查集群状态和部署监控平台的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RocketMq安装及练习

2m-2s-sync集群搭建

  1. 集群各角色介绍
  • Producer：消息发送者
  • Consumer：消息接收者
  • Broker：暂存和传输消息
  • NameServer：管理Broker
  • Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息
  1. 集群工作流程
  • 启动NameServer，NameServer起来后监听端口9876，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心
  • Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系
  • 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic
  • Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息
  • Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息
  1. 服务器环境
序号IP角色架构模式
1192.168.10.101nameserver、brokerserverMaster1、Slave2
2192.168.10.102nameserver、brokerserverMaster2、Slave1
  1. Host添加信息
vim /etc/hosts

#分别在两台Linux主机上配置如下信息
# nameserver
192.168.253.128 rocketmq-nameserver1
192.168.253.129 rocketmq-nameserver2
# broker
192.168.253.128 rocketmq-master1
192.168.253.128 rocketmq-slave2
192.168.253.129 rocketmq-master2
192.168.253.129 rocketmq-slave1

配置完成重启网卡

systemctl restart network
  1. 防火墙配置
    宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙
# 关闭防火墙
systemctl stop firewalld.service
# 查看防火墙的状态
firewall-cmd --state
# 禁止firewall开机启动
systemctl disable firewalld.service

RocketMQ默认使用3个端口：9876、10911、11011

  • nameserver 默认使用 9876 端口
  • master 默认使用 10911 端口
  • slave 默认使用11011 端口
    执行以下命令：
# 开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent
# 重启防火墙
firewall-cmd --reload
  1. 创建消息持久化存储路径
    Broker Master 目录设置
mkdir -p /data/rocketmq/store
mkdir -p /data/rocketmq/store/commitlog
mkdir -p /data/rocketmq/store/consumequeue
mkdir -p /data/rocketmq/store/index

  Broker Slave 目录设置

mkdir -p /data/rocketmq/store-s
mkdir -p /data/rocketmq/store-s/commitlog
mkdir -p /data/rocketmq/store-s/consumequeue
mkdir -p /data/rocketmq/store-s/index
  1. broker配置文件
    1> master1
vim /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-a.properties

修改配置如下

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样 master和salve通过这个名字来配对
brokerName=broker-a
# 0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地>址可能读取错误
brokerIP1=192.168.10.101
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

2> slave2

vim /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-b-s.properties

修改配置如下

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地>址可能读取错误
brokerIP1=192.168.10.102
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store-s
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3> master2

vim /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-b.properties

修改配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地>址可能读取错误
brokerIP1=192.168.10.102
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

4> slave1

vim /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-a-s.properties

修改配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地>址可能读取错误
brokerIP1=192.168.10.102
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store-s
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
  1. 修改启动脚本文件，修改内存大小
    1> runbroker.sh
vim /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/bin/runbroker.sh

# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

2> runserver.sh

vim /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/bin/runserver.sh

# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"
  1. 服务启动
    1> 启动NameServer集群
    分别在两台服务器上启动
cd /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/bin
nohup sh mqnamesrv &

    2> 启动Broker集群

  • 在192.168.10.101 上启动master1和slave2
# master1
cd /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/bin
nohup sh mqbroker -c /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-a.properties

#slave2
cd /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/bin
nohup sh mqbroker -c /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-b-s.properties
  • 在192.168.10.102 上启动master2和slave1
# master2
cd /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/bin
nohup sh mqbroker -c /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-b.properties

#slave1
cd /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/bin
nohup sh mqbroker -c /opt/module/rocketmq/rocketmq-all-4.9.0-bin-release/conf/2m-2s-sync/broker-a-s.properties
  • jps 查看是否启动成功
    在这里插入图片描述-
  • 查看集群监控状态
sh mqadmin clusterlist -n 192.168.10.101:9876

在这里插入图片描述

  1. RocketMQ监控平台部署
  • 下载并编译打包
git clone https://github.com/apache/rocketmq-externals
cd rocketmq-console
  • 打包前在 rocketmq-console 中配置 namesrv 集群地址
vim /opt/module/rocketmq/rocketmq-externals/rocketmq-console/src/main/resources/application.properties
rocketmq.config.namesrvAddr=192.168.10.101:9876;192.168.10.102:9876
mvn clean package -Dmaven.test.skip=true
  • 启动jar包
nohup java -jar rocketmq-console-ng-1.0.0.jar &
  • 启动之后浏览器访问：192.168.10.101:8080
    在这里插入图片描述
RocketMQ集群部署
wangqingjia的博客
06-22 9767
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
rocketmq常用端口（需开放端口）
k_c123456的博客
02-28 5961
10909：fastRemotingServer使用的监听端口，与remotingServer类似，vipChannelEnabled开启时，消息发送到fastRemotingServer。使用中遇到的场景：10911端口未开发，消费者订阅进行消费时，无消息可消费，查看客户端日志发现getConsumerIdListByGroup exception失败。9876：NameServer通信端口。客户端通过该端口与NameServer通信。rocketmq 常用默认端口：9876、10911、10909。
RocketMQ集群搭建
yanyf的博客
12-24 331
各角色介绍 Producer：消息的发送者，举例：发信者 Consumer：消息的接收者，举例：收信者 Broker：暂存和传输消息，举例：邮局 NameServer：管理Broker，举例：各个邮局的管理机构 Topic：区分消息的种类，一个发送者可以发送消息给一个或多个Topic，一个消息的接收者可以订阅一个或者多个Topic消息 MessageQueue：相当于是Topic的...
RocketMQ的broker集群模式
XiWangDeFengChe的博客
02-07 2777
1、普通集群模式，主从模式 有一个master节点，其他都是slave节点，master响应客户端的请求，并存储消息；slave只同步master节点的消息（同步模式是：同步同步或者异步同步），也会响应部分客户端读请求。 master挂了的话，slave节点不会转变为master，也就是会导致集群不可用。 2、Dledger集群模式 Dledger集群是rocketmq在4.5版本之后引入的高可用集群模式，采用Raft算法来随机选举master节点，master节点在挂掉不可用的时候，slave节点
【RocketMQ】原理分析：Broker集群模式、队列分区
热门推荐
A minor
11-18 1万+
1.Broker集群模式（宏观） RocketMQ天生对集群的支持非常友好，天然支持高可用，它可以支持多主多从的部署架构，这也是和kafka大区别之一。 那为什么要将这么多broker组织成多主多从，而不是采用一主多从然后主节点down机后再选举啊？因为。。。RocketMQ中并没有master选举功能，在RocketMQ集群中，1台机器只能要么是Master，要么是Slave，这个在初始的机器配置里面，就定死了。不会像kafka那样存在master动态选举的功能，所以通过配置多个master节点来保证r
RocketMQ 5.2.0
02-29
Apache RocketMQ 是一款开源的分布式消息中间件，主要设计用于处理大规模实时数据传输。在5.2.0版本中，它提供了一系列优化和增强的功能，使其在高并发、低延迟、高可用性和可扩展性方面表现更加出色。本篇文章将...
rocketmq安装包及RocketMQ 控制台JAR包
10-18
RocketMQ 是一款开源的分布式消息中间件，由阿里巴巴开发并贡献给Apache基金会，它主要用于解决大规模分布式系统中的异步处理和解耦问题。本话题主要围绕RocketMQ的安装以及RocketMQ控制台JAR包的使用进行详细介绍。...
RocketMQ黑马笔记
06-08
"RocketMQ黑马笔记" RocketMQ是阿里巴巴开源的消息中间件，在阿里内部历经了双十一等很多高并发场景的考验，能够处理亿万级别的消息。2016年开源后捐赠给Apache，现在是Apache的一个顶级项目。目前RocketMQ在阿里云...
RocketMQ
01-07
RocketMQ: 　支持集群，效率高，同时支持上万队列，支持消息持久化，重试机制等等; RocketMQ包含的组件 NameServer：单点，供Producer和Consumer获取Broker地址 Producer：产生并发送消息 Consumer：接受并消费消息 ...
rocketmq集群部署
08-11
centos7系统搭建rocketmq集群手册
rocketmq-all-5.3.1
最新发布
12-24
RocketMQ是一个开源的分布式消息中间件，它源于阿里巴巴的实践，并且是阿里巴巴分布式消息中间件的开源版本。它具有高性能、高可靠性和伸缩性的特点，并且能够支持分布式系统中的各种场景，如异步消息、削峰填谷、...
windows安装RocketMQ4.9.0
qq_45752401的博客
07-08 2035
1，首先去官网下载安装包（我这里是4.9.0的版本，你们随意） 前提条件：已安装jdk1.8及maven 2，选择想要安装的目录，直接解压就行 3，配置环境变量 4，启动 （1）启动NAMESERVER 使用cmd打开命令窗口，进入到rocketmq的bin目录下，执行：start mqnamesrv.cmd，若成功会弹出如下提示框，请勿关闭此框 （2）启动BROKER 同样在rocketmq的bin目录下，执行：start mqbroker.cmd -n 127.0.0.1:9876 aut
Rocketmq-集群部署(Master-Slave)
X_yufei的博客
06-29 663
【代码】Rocketmq-集群部署(Master-Slave)
RocketMQ 集群部署
weixin_50395990的博客
04-26 251
RocketMQ 集群部署 系统部署架构，使用的模式是 2m-2s-sync broker 机器信息 Master 1：172.18.24.5 Slave 1：172.18.24.6 Master 2：172.18.24.7 Slave 2：172.18.24.8 namesrv 机器信息（这里复用了 3 台主机做 Name Server。正式生产环境应该要考虑配置单独的 3 台机器做 Name Server） Name Server 1：172.18.24.5 Name Ser...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值