RocketMQ简介以及双Master模式的配置

RocketMQ是一款分布式消息中间件,强调集群无单点,具备海量消息堆积能力。本文详细介绍了RocketMQ的双Master模式配置,包括启动NameServer、在不同机器上启动Master和Slave,以及RocketMQ的关键概念和集群部署方式,旨在实现高可用和数据安全性。

1、RocketMQ介绍
(最开始RocketMQ是阿里研究出来的,在2016-11-28捐赠给了开源软件基金会Apache。)

1.1. 简介
RocketMQ 是一款分布式、队列模型的消息中间件,具有以下特点:

能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力
选用理由:
 强调集群无单点,可扩展,任意一点高可用,水平可扩展。
 海量消息堆积能力,消息堆积后,写入低延迟。
 支持上万个队列
 消息失败重试机制
 消息可查询
 开源社区活跃
 成熟度(经过双十一考验)

1.2 关键概念

1.2.1. 主题与标签
主题Tpoic:第一级消息类型,书的标题 标签Tags:第二级消息类型,书的目录,可以基于Tag做消息过滤
例如:
主题:
订单交易 标签:
订单交易-创建
订单交易-付款
订单交易-完成

1.2.2. 发送与订阅群组
这里写图片描述

生产组:用于消息的发送。
消费组:用于消息的订阅处理。

生产组和消费组,方便扩缩机器,增减处理能力,集群组的名字,用于标记用 途中的一员。每次只会随机的发给每个集群中的一员。

2、RocketMQ集群方式
推荐的几种 Broker 集群部署方式,这里的Slave 不可写,但可读,类似于 Mysql
主备方式。

2.1.单个 Master
这种方式风险较大,一旦Broker 重启或者宕机时,会导致整个服务不可用,不建议线上环境使用。

2.2.多 Master 模式
一个集群无 Slave,全是 Master,例如 2 个 Master 或者 3 个 Master

优点:配置简单,单个Master 宕机或重启维护对应用无影响,在磁盘配置为 RAID10 时,即使机器宕机不可恢复情况下,由与 RAID10 磁盘非常可靠,消息也不会丢(异步刷盘丢失少量消息,同步刷盘一条不丢)
。性能最高。

缺点:单台机器宕机期间,这台机器上未被消费的消息在机器恢复之前不可订 阅,消息实时性会受到受到影响。

先启动 NameServer
在机器 A,启动第一个 Master
在机器 B,启动第二个 Master

2.3.多 Master 多 Slave 模式,异步复制
每个 Master 配置一个 Slave,有多对Master-Slave,HA采用异步复制方式,主备有短暂消息延迟,毫秒级。
优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,因为Master 宕机后,消费者仍然可以从 Slave消费,此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。
缺点:Master 宕机,磁盘损坏情况,会丢失少量消息。

先启动 NameServer
在机器 A,启动第一个 Master
在机器 B,启动第二个 Master
在机器 C,启动第一个 Slave
在机器 D,启动第二个 Slave

2.4.多 Master 多 Slave 模式,同步双写
每个 Master 配置一个 Slave,有多对Master-Slave,HA采用同步双写方式,主备都写成功,向应用返回成功。

优点:数据与服务都无单点,Master宕机情况下,消息无延迟,服务可用性与 数据可用性都非常高
缺点:性能比异步复制模式略低,大约低 10%左右,发送单个消息的 RT会略高。目前主宕机后,备机不能自动切换为主机,后续会支持自动切换功能。

先启动 NameServer
在机器 A,启动第一个 Master
在机器 B,启动第二个 Master
在机器 C,启动第一个 Slave
在机器 D,启动第二个 Slave

以上 Broker 与 Slave 配对是通过指定相同的brokerName 参数来配对,Master 的 BrokerId 必须是 0,Slave 的BrokerId 必须是大与 0 的数。另外一个 Master 下面可以挂载多个 Slave,同一 Master 下的多个 Slave通过指定不同的 BrokerId 来区分。
3、RocketMQ部署【双Master方式】
3.1. 服务器环境
序号 IP 用户名 密码 角色 模式
1 192.168.3.201 root nameServer1,brokerServer1 Master1
2 192.168.3.202 root nameServer2,brokerServer2 Master2

3.2. Hosts添加信息

vim /etc/hosts

添加以下内容
192.168.3.201 rocketmq-nameserver1
192.168.3.201 rocketmq-master1
192.168.3.202 rocketmq-nameserver2
192.168.3.202 rocketmq-master2

两台机子之间相互ping下。看是否连通。如果未通,且重启也不行。
修改:/etc/sysconfig/network文件,分别将HOSTNAME修改成对应的别名,如下:
NETWORKING=yes
HOSTNAME=service1
修改后重启网络服务
service network restart
3.3. 下载编译原文件【两台机器】
3.3.1 环境准备:
1、liunx系统建议64位,这样才能发挥它较好的性能。
2、64bit JDK 1.8+;(JDK安装方法:http://blog.youkuaiyun.com/u014182745/article/details/77155427
3、Maven 3.2.x;(Maven的安装方法:http://blog.youkuaiyun.com/u014182745/article/details/77155589
4、Git;(Git安装方法:yum install git)

3.3.2 下载并编译

git clone -b develop https://github.com/apache/incubator-rocketmq.git
cd incubator-rocketmq
mvn -Prelease-all -DskipTests clean install -U
cd distribution/target/apache-rocketmq

如果您觉得麻烦。这是编译好的:http://download.youkuaiyun.com/download/u014182745/9932251

3.4. 创建存储路径【两台机器】
mkdir -p /zdq/temp/rocketmq/store
mkdir -p /zdq/temp/rocketmq/store/commitlog
mkdir -p /zdq/temp/rocketmq/store/consumequeue
mkdir -p /zdq/temp/rocketmq/store/index

3.5. RocketMQ配置文件【两台机器】

#   vim /zdq/rocketmq/conf/2m-noslave/broker-a.properties
#   vim /zdq/rocketmq/conf/2m-noslave/broker-b.properties

删除broker-a.properties和broker-b.properties里面的全部内容,配置成以下内容;

#所属集群名字 
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样如果在broker-a.properties使用:broker-a,在broker-b.properties使用:broker-b
brokerName=broker-a
#0 表示 Master,>0 表示 Slave 
brokerId=0
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时 
fileReservedTime=120
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整 
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间 
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/zdq/temp/rocketmq/store
#commitLog 存储路径 
storePathCommitLog=/zdq/temp/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/zdq/temp/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/zdq/temp/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/zdq/temp/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/zdq/temp/rocketmq/store/abort
#限制的消息大小 
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000

#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER

#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

3.6. 修改日志配置文件【两台机器】
可能您刚开始看不懂,其实就是批量修改conf目录下的*.xml文件,修改路径

#   mkdir -p /zdq/apache-rocketmq/logs
#   cd /zdq/apache-rocketmq/conf && sed -i 's#${user.home}#/zdq/apache-rocketmq#g' *.xml

3.7. 修改启动脚本参数【两台机器】(本人使用的虚拟机,经济条件有限,所以需要修改小一点的运行,如果您内存比较大,就不需要修改,Xms至少配置1g的内存,不然会报错。)

#   vim /zdq/apache-rocketmq/bin/runbroker.sh
修改:JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

#   vim /zdq/apache-rocketmq/bin/runserver.sh 
修改:JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

3.8. 启动NameServer【两台机器】

#   cd /zdq/apache-rocketmq/bin
#   nohup sh mqnamesrv &

3.9. 启动BrokerServer A【192.168.3.201】

#   cd /zdq/apache-rocketmq/bin
#   nohup sh mqbroker -c /zdq/apache-rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &
#   netstat -ntlp
#   jps
#   tail -f -n 500 /zdq/temp/rocketmq/logs/rocketmqlogs/broker.log
#   tail -f -n 500 /zdq/temp/rocketmq/logs/rocketmqlogs/namesrv.log

3.10. 启动BrokerServer B【192.168.3.202】

#   cd /zdq/apache-rocketmq/bin
#   nohup sh mqbroker -c /zdq/apache-rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &
#   netstat -ntlp
#   jps
#   tail -f -n 500 /zdq/temp/rocketmq/logs/rocketmqlogs/broker.log
#   tail -f -n 500 /zdq/temp/rocketmq/logs/rocketmqlogs/namesrv.log

3.11. RocketMQ Console(界面管理)
RocketMQ Console:下载:http://download.youkuaiyun.com/download/u014182745/9932258
下载下来后,直接将war包放在tomcat的webapps目录,打开http://ip:8080/rocketmq-console 即可访问,第一次访问不成功,需要修改webapps/rocketmq-console/WEB-INF/classes/config.properties 里的nameserver地址.(此处我部署在192.168.3.201上)

这里写图片描述

具体里面的功能我就不过多解析了。
3.12. 数据清理

#   cd /zdq/apache-rocketmq/bin
#   sh mqshutdown broker
#   sh mqshutdown namesrv
#   --等待停止
#   rm -rf /zdq/temp/rocketmq/store
#   mkdir /zdq/temp/rocketmq/store
#   mkdir /zdq/temp/rocketmq/store/commitlog
#   mkdir /zdq/temp/rocketmq/store/consumequeue
#   mkdir /zdq/temp/rocketmq/store/index
#   --按照上面步骤重启NameServer与BrokerServer

RocketMQ运维指令整理:http://download.youkuaiyun.com/download/u014182745/9932607

### 配置RocketMQ 5.3.1三主节点集群 #### 创建必要的目录结构和环境准备 为了部署三个主节点的RocketMQ集群,首先需要创建用于存储日志和其他数据文件的相关目录。假设这些操作在一个Linux环境中执行。 ```bash mkdir -p /opt/rocketmq/{namesrv,master1,master2,master3} chown -R rocketmq:rocketmq /opt/rocketmq/ ``` 这里`/opt/rocketmq/namesrv`, `/opt/rocketmq/master1`, `...master3`分别代表Name Server以及各个Broker Master实例的工作路径[^1]。 #### 下载并解压RocketMQ软件包 获取指定版本(此处为5.3.1)的官方二进制分发版,并将其放置到所有计划运行Broker的服务端上: ```bash wget https://archive.apache.org/dist/rocketmq/5.3.1/apache-rocketmq-5.3.1-bin-release.zip unzip apache-rocketmq-5.3.1-bin-release.zip -d /usr/local/ ln -s /usr/local/apache-rocketmq-5.3.1 /usr/local/rocketmq ``` 上述命令会下载、解压缩并将最新版本链接至更短的名字以便于管理。 #### 修改配置文件适应多Master场景 编辑位于`/usr/local/rocketmq/conf/broker.conf`中的参数来支持多个Master Broker: ```properties brokerClusterName=DefaultCluster brokerName=broker-a # 对应第一个Master, 其他两个依次命名为 broker-b 和 broker-c brokerId=0 # 所有Master都应该是0表示这是个Leader角色 deleteWhen=04 # 清理过期消息的时间点可以自定义调整 fileReservedTime=72 # 日志保留天数也可以按需设定 ... listenPort=10911 # 每台机器上的监听端口应该不同; 如此处设定了10911,则其他两台可分别为10912, 10913 storePathRootDir=/opt/rocketmq/master1/store # 存储根目录同样要针对每台服务器单独设置 storePathCommitLog=/opt/rocketmq/master1/store/commitlog accessMessageInDiskBySwitch=false # 如果磁盘性能良好建议关闭该选项提高吞吐量 autoCreateTopicEnable=true # 自动创建主题功能开启与否取决于具体需求 defaultTopicQueueNums=4 # 默认队列数量可根据业务特点适当增减 filterServerNums=1 # 过滤器服务数目一般保持默认即可 flushDiskType=ASYNC_FLUSH # 同步刷写还是异步刷写视硬件条件而定 enableOrder=true # 是否启用有序消费特性 ``` 注意以上配置项仅作为示例,在实际应用中应当依据实际情况做出相应修改。 #### 启动Nameserver和服务进程 确保所有的Nameservers已经启动完毕之后再逐一启动各Broker Master节点: ```bash nohup sh /usr/local/rocketmq/bin/mqnamesrv & sleep 3s && tail -f ~/logs/rocketmqlogs/namesrv.log # 查看启动状态直到成功为止 for i in {a..c}; do \ nohup sh /usr/local/rocketmq/bin/mqbroker -n localhost:9876 -c /usr/local/rocketmq/conf/${i}.conf &\ done; tail -f ~/logs/rocketmqlogs/broker*.log # 监控每个Broker的日志输出确认无误后继续下一步 ``` 通过这种方式可以在一台或多台物理机上面搭建起具备高可用特性的三主架构RocketMQ集群。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值