RocketMQ 双主 集群搭建

最新推荐文章于 2024-06-15 15:51:13 发布
最新推荐文章于 2024-06-15 15:51:13 发布
阅读量943 收藏
点赞数 1
分类专栏： rocketmq 文章标签： rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zzqtty/article/details/85680836
版权

1.目录

2.优势

 分布式；

严格的消息顺序；

海量消息堆积；

3.集群搭建

修改  vim etc/hosts    底层是netty 的心跳检查，用自带的nameserver实现

10.10.1.59  rocketmq-nameserver1
10.10.1.59  rocketmq-master1
10.10.1.46  rocketmq-nameserver2
10.10.1.46  rocketmq-master2

重启网卡

service network restart

 ping

ping rocketmq-nameserver2

 解压

tar -zxvf alibaba-rocketmq-3.2.6.tar.gz  -C /usr/local

 创建软连接

ln -s alibaba-rocketmq rocketmq

 存储路径

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog

mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

 修改  vim /usr/local/rocketmq/conf/2m-noslave/broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 修改 vim /usr/local/rocketmq/conf/2m-noslave/broker-b.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

修改日志配置文件  mkdir -p /usr/local/rocketmq/logs

 cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml

 启动nameserver

cd /usr/local/rocketmq/bin

nohup sh mqnamesrv &

 启动brokerserverA

cd /usr/local/rocketmq/bin

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

 启动b

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &

端口

firewall-cmd --add-port=9876/tcp

 

查看

 netstat -ntlp
 jps
 tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log
 tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

 结果  broker日志

2019-01-04 00:19:21 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver1:9876 OK
2019-01-04 00:19:21 INFO BrokerControllerScheduledThread1 - register broker to name server rocketmq-nameserver2:9876 OK

 环境搭建完成

------------------------------------------------------------------------------------------------------------------

在tomcat中部署rocket的客户端；

使用eclipse做helloword；

【RocketMQ集群】Linux搭建RocketMQ双主双从集群
编码人生
10-23 489
在当今大数据时代，消息队列系统成为了构建高可用、可扩展和可靠的分布式应用的重要组件之一。而Apache RocketMQ作为一款开源的分布式消息中间件，以其高吞吐量、低延迟和可靠性而备受青睐。为了满足大规模应用的需求，搭建RocketMQ集群是一种常见的部署方式。本文将介绍如何在Linux系统上搭建RocketMQ双主双从集群。通过搭建双主双从集群，我们可以实现消息的高可用性和容错性，确保在单个Broker节点故障时仍能保持服务的正常运行。首先，让我们了解一下RocketMQ集群的基本概念。
搭建RocketMQ主从异步集群
冲出仁川，走出马德里，故事还会再继续
06-10 734
为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成的。
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
RocketMQ双主双从集群搭建
YHJ
05-23 2011
1 各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息 Message Queue：相当于是Topic的分区；用于并行发送和接收消息 2 集群搭建方式 2.1 集群特点 NameServer是一个几乎无
rocketmq双主模式
weixin_30530523的博客
03-07 964
1、官网 https://rocketmq.apache.org/ 官方安装文档 https://rocketmq.apache.org/docs/quick-start/ 2、rocketmq多主配置文件参考（conf/2m-noslave/broker-a.properties） 10.0.0.2服务器 [root@a ~]# cat /usr/local/r...
双主模式rocketmq搭建
等待着雨水,茁壮成长--李建敏
04-18 782
简介 RocketMQ是一款分布式,队列模型的消息中间件,具有以下的特点: 能够保证严格的消息顺序;提供丰富的消息拉取模式;高效的订阅者水平扩展能力 实时的消息订阅机制;亿级消息堆积能力 选用理由 强调集群无单点,可扩展,任意一点高可用.水平可扩展 消息堆积能力,消息堆积后,写入低延迟 支持上万个队列 消息失败重试机制 消息可查询 开源社区活跃 成熟度,已经经历过了双十一的考...
MySQL数据库集群(双主双从)
qq56hm的博客
02-07 3321
文章目录MySQL数据库集群(双主双从)双主双从(实验一)双主双从 MySQL数据库集群(双主双从) 双主双从(实验一) 双主 主服务器单节点设置，如果主服务器故障则会影响全局的写入事件，所以要设置为双主。在前面的实验中已经将master1设置为master2的主服务器，这里只需要设置master2为master1的主服务器。 设置master2为master1的主服务器 登录master2的mysql数据库授权并且刷新 grant replication slave,replication cli
RocketMQ 的双主双从集群搭建
qq_40230026的博客
02-15 3142
文章目录1：介绍2：准备2.1 准备虚拟机2.2 修改虚拟机的ip地址 1：介绍 1：本次搭建集群采用异步复制，主备有短暂消息延迟，毫秒级 2：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。 3：Master 宕机，磁盘损坏情况，会丢失少量消息。这个是 rocket 3.5 之前都存在的，3.6之后可以支持主备切换，这个我们下次搭建。 2：准备 准备了 4台虚拟机，IP 地址准备设置成 192.168.1
Linux Centos 环境下搭建RocketMq集群（双主双从）
gonghua0502的专栏
06-15 1017
worker2中配置两个文件：broker-a.properties、broker-b-s.properties。worker3中配置两个文件：broker-b.properties、broker-a-s.properties。启动顺序为：先启动3台服务器的nameserver，再启动worker2和worker3中的broker.worker1 只需要启动nameserver即可。
ActiveMQ下载与安装
热门推荐
Running_Tiger的博客
01-09 2万+
ActiveMQ下载与安装 11.下载 官方网站 http://activemq.apache.org/ 2.安装 3.启动 4.重启 5.关闭
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
配置rocketMQ 双主双从模式
qq_44257753的博客
04-14 571
NAMESERVER: 管理broker; 相当于各个邮局的管理机构 broker: 暂存和传输消息; 相当于邮局 producer: 消息的发送者; 相当于发信者 consumer: 消息的接收者; 相当于收信者 Topic: 区分消息的种类; Message Queue: 相当于Topic的分区; 1.首先需要搭建两台服务器。并开启防火墙端口，出入站都需要。 9876，11009，1090...
windows快速安装 Rabbit MQ
Small_StarOne的博客
11-01 536
最近一个项目用到rabbitmq由于网络原因只能在本地安装一个Rabbit MQ服务。一下是在本地Windows系统进行安装的步骤： Rabbit MQ基础信息 1、消息模型：MQ是消费-生产者模型的一个典型的代表，一端往消息队列中不断写入消息， 而另一端则可以读取或者订阅队列中的消息。 MQ和JMS类似，但不同的是JMS是SUN JAVA消息中间件服务的一个标准和API定义， 而MQ则是遵循了A...
Linux安装系列：构建RocketMQ集群（双主）
CancerKing的博客
11-26 333
Linux安装系列：构建RocketMQ集群（双主）
Centos安装RocketMQ之双主双从模式（同步双写方式）
lcgskycby的博客
01-13 1315
RocketMQ单机版模式，这种模式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试，单机版环境搭建可以参考文档。
RocketMQ-部署双Master模式
qq_40102178的博客
06-01 724
> unzip rocketmq-all-4.7.0-source-release.zip > cd rocketmq-all-4.7.0/ > mvn -Prelease-all -DskipTests clean install -U > cd distribution/target/rocketmq-4.7.0/rocketmq-4.7.0
rocketMq之双主双从同步模式搭建（四）
qq_19831379的博客
12-07 552
物理架构图 工作流程 启动NameServer，等待Broker、Producer、Consumer建立长连接，相当于注册中心 Broker启动后，与NameServer建立长连接，定时发送心跳包，心跳包包含Broker信息（ip+port）和存储所有的Topic信息，注册成功后，NameServer就有Topic与Broker的映射关系 收发消息前，先创建Topic，知道Topic存储再哪些Broker上，也可以发送消息自动发送Topic 启动Producer后，与NameServer建立.
RocketMq的安装-双主模式
lihongtai的专栏
11-26 460
0.RocketMQ架构 1.修改/etc/hosts文件 [root@base-linux ~]# vi /etc/hosts [root@base-linux ~]# systemctl restart network [root@base-linux ~]# cat /etc/hosts 2.官网下载binary-release版本的安装包 3.上传至linux环境的/us...
RocketMQ双主双从同步集群部署
小啊宇的博客
08-15 1682
RocketMQ双主双从同步集群部署
rocketmq高可用集群搭建
最新发布
01-11
### RocketMQ 高可用集群搭建教程 #### 了解RocketMQ架构 Apache RocketMQ 是一款分布式消息中间件，支持高吞吐量和低延迟的消息传递。为了确保系统的高可用性和可靠性，在生产环境中通常会部署多副本的Broker实例来组成集群[^2]。 #### 准备工作环境 在开始之前，确认已准备好至少两台服务器用于构建主从结构的Broker节点。每一对Broker之间保持网络互通，并且时间同步服务正常运行。此外，还需安装JDK并设置好JAVA_HOME环境变量[^4]。 #### 安装与初始化 下载官方发布的最新稳定版本二进制包至各目标机器上解压。对于每一个打算作为Name Server的角色来说，只需启动该进程而无需额外配置；而对于计划成为Broker的服务端，则需依据实际需求调整`broker.conf`中的参数设定[^1]。 #### 修改默认配置文件 进入解压缩后的目录下的`conf/2m-2s-sync`路径找到适用于双Master加双Slave模式同步刷盘方式的模板文件。重点编辑如下几项： - `brokerRole=ASYNC_MASTER` 或者 `SYNC_MASTER`: 设置当前Broker角色为主节点还是异步复制类型的从节点。 - `flushDiskType=ASYN_FLUSH` : 控制磁盘刷新机制为异步操作以提高性能。 - 更新监听IP(`listenPort`) 和其他必要的连接属性以便于远程访问控制。 ```properties # Example of broker configuration file snippet. brokerClusterName=DefaultCluster brokerName=broker-a brokerId=0 namesrvAddr=localhost:9876 storePathRootDir=/home/wangym/rocketmq/store storePathCommitLog=/home/wangym/rocketmq/store/commitlog ``` #### 启动组件 按照先启动NameServer再依次开启各个Broker的原则执行命令行指令完成整个集群的激活过程。注意观察日志输出确保没有任何错误提示发生。 ```bash nohup sh bin/mqnamesrv & nohup sh bin/mqbroker -n localhost:9876 & ``` #### 测试验证 通过发送测试消息到主题(Topic)，然后尝试读取消息的方式检验集群是否能够正确处理请求。可以借助工具类如`tools.sh`来进行简单的生产和消费模拟实验[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值