1.RocketMQ简介
RocketMQ是一款由阿里巴巴开源的分布式消息中间件。它具有低延迟、高吞吐量、高可用性和高可靠性等特点,适用于构建具有海量消息堆积和异步解耦功能的应用系统。
1.1.基本概念
● 生产者(Producer):也称为消息发布者,是RocketMQ中用来构建并传输消息到服务端的运行实体。
● 主题(Topic):Topic是RocketMQ中消息传输和存储的顶层容器,用于标识同一类业务逻辑的消息;Topic是一个逻辑概念,并不是实际的消息容器;
● 消息队列(MessageQueue):队列是RocketMQ中消息存储和传输的实际容器,也是消息的最小存储单元。
● 消费者(Consumer):也称为消息订阅者,是RocketMQ中用来接收并处理消息的运行实体。
● 消费者组(ConsumerGroup):消费者组是RocketMQ中承载多个消费行为一致的消费者负载均衡分组。和消费者不同,消费者组是一个逻辑概念。
● NameServer:可以理解成注册中心,负责更新和发现Broker服务。在NameServer的集群中,NameServer与NameServer之间是没有任何通信的,它是无状态的。
● Broker:可以理解为消息中转角色,负责消息的存储和转发,接收生产者产生的消息并持久化消息;当用户发送的消息被发送到Broker时,Broker会将消息转发到与之关联的Topic中,以便让更多的接收者进行处理。
1.2.消息模型
1.3. 部署模型
2.下载RocketMQ
RocketMQ的官网地址:https://rocketmq.apache.org/
Github地址:https://github.com/apache/rocketmq
下载地址:https://rocketmq.apache.org/zh/download/
3.安装RocketMQ
3.1.安装前需要准备一个CentOS7的Linux机器
https://rocketmq.apache.org/zh/download/
3.2.安装JDK
3.2.1.推荐使用JDK1.8版本
3.2.2. 配置jdk环境变量,配置rocketMQ环境变量
进入etc/profile,配置jdk环境变量,将JAVA_HOME变量加上;将path路径替换成相应配置(红框部分)
#jdk解压后的目录路径
export JAVA_HOME=/usr/java/jdk1.8.0_121/
PATH=$ROCKETMQ_HOME/bin:$JAVA_HOME/bin:$PATH:$HOME/.local/bin:$HOME/bin
#set rocketmq
ROCKETMQ_HOME=/home/rocketmq/rocketmq-all-5.0.0-bin-release
export NAMESRV_ADDR='worker1:9876;worker2:9876;worker3:9876'
3.2.3.更新配置并查看jdk版本
source /etc/profile
java -version
3.3.安装RocketMQ.
3.3.1将安装包上载到 /home目录下,并解压
3.3.2.配置rocketMQ环境变量 ,参考3.2.2 绿框部分
编辑etc/profile
#set rocketmq
ROCKETMQ_HOME=/home/rocketmq/rocketmq-all-5.0.0-bin-release
export NAMESRV_ADDR='worker1:9876;worker2:9876;worker3:9876'
3.4.RocketMQ工作原理
官网5.0版本速览链接:https://rocketmq.apache.org/zh/version/
RocketMQ5.0 引入了全新的弹性无状态代理模式,将当前的Broker职责进行拆分,对于客户端协议适配、权限管理、消费管理等计算逻辑进行抽离,独立无状态的代理角色提供服务,Broker则继续专注于存储能力的持续优化。值得注意的是RocketMQ 5.0的全新模式是和4.0的极简架构模式相容相通的,5.0的代理架构完全可以以Local模式运行,实现与4.0架构完全一致的效果。开发者可以根据自身的业务场景自由选择架构部署,本教程也是部署的Local模式。
RocketMQ启动流程如下:
■ 启动NameServer
■ 启动Broker
3.5.NameServer服务搭建
启动NameServer非常简单,在$ROCKETMQ_HOME/bin目录下有个mqnamesrv。直接执行这个脚本就可以启动RocketMQ的NameServer服务。
由于RocketMQ默认预设的JVM内存是4G,这是RocketMQ给我们的最佳配置。但是通常我们用虚拟机的话都是不够4G内存的,所以需要调整下JVM内存
大小。修改的方式是直接修改runserver.sh。
3.5.1.修改NameServer启动配置
编辑runserver.sh文件(红框)
-server -Xms4g -Xmx4g -Xmn2g 修改为 -server -Xms512m -Xmx512m -Xmn256m
3.5.2.启动NameServer
nohup ./mqnamesrv &
3.6.1.修改broker启动脚本配置
编辑 runbroker.sh
server -Xms8g -Xmx8g" 修改为 JAVA_OPT=“${JAVA_OPT} -server -Xms512m -Xmx512m”
3.6.2.修改broker配置文件
brokerIP1 当前broker监听的IP
brokerIP2 存在broker主从时,在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步。
默认不配置brokerIP1和brokerIP2时,都会根据当前网卡选择一个IP使用,当你的机器有多块网卡时,很有可能会有问题。
参考:https://blog.youkuaiyun.com/qq_36777191/article/details/116901928
autoCreateTopicEnable=true
namesrvAddr=localhost:9876
brokerIP1=X.X.XX.XXX
#listenPort=8911
3.6.3.启动broker服务
nohup ./mqbroker -c ../conf/broker.conf &
可用jps 命令查看 nameserver 与broker 是否成功启动
3.7.测试RocketMQ消息发送与消费
在RocketMQ的安装包中,提供了一个tools.sh工具可以用来在命令行快速验证RocketMQ服务。
1.我们在bin录下执行以下命令测试消息发送,默认会发1000条消息,发送完成自动关闭
[root@localhost bin]# export NAMESRV_ADDR='localhost:9876'
[root@localhost bin]# ./tools.sh org.apache.rocketmq.example.quickstart.Producer
2.出现以下提示则代表消息发送成功
3.执行以下命令测试消息接收,Consumer执行不会自动关闭,会一直挂起等待新消息过来;
[root@localhost bin]# export NAMESRV_ADDR='localhost:9876'
[root@localhost bin]# ./tools.sh org.apache.rocketmq.example.quickstart.Consumer
4.出现以下提示则代表消息接收成功
3.8.关闭RocketMQ服务
1.关闭Broker
sh ./mqshutdown broker
2.关闭NameServer
sh ./mqshutdown namesrv
4.1.RocketMQ集群架构解析
一个完整的RocketMQ集群中,有如下几种角色 :
● Producer:消息的发送者;举例:发信者
● Consumer:消息接收者;举例:收信者
● Broker:暂存和传输消息;举例:邮局
● NameServer:管理Broker;举例:各个邮局的管理机构
● Topic:区分消息的种类;一个发送者可以发送消息给一个或者多个Topic;一个消息的接收者可以订阅一个或者多个Topic消息 。
● Message Queue:相当于是Topic的分区;用于并行发送和接收消息。