RocketMQ 详解

RocketMQ 详解

1、 安装步骤

​ 1、下载并解压安装包

​ 2、进入安装目录

​ 建议在 /usr/local 下创建 rocketmq 目录。并将rocketmq拷贝到该目录下面。

2、目录介绍

- bin: 启动脚本，包括 shell 脚本和 CMD 命令。
- conf: 实例配置文件，包括 broker 配置文件，logback 配置文件等。
- lib：依赖 jar 包，包括 Netty、commons-lang、FastJSON 等。

3、启动 RockerMQ

​ 3.1、启动 NameServer

# 1.启动 NameServer
nohup sh bin/mqnamesrv &
# 2.查看启动日志
tail -f ~/log/rocketmqlogs/namesrv.log

​ 3.2、启动 Broker

# 1. 启动 Broker
nohup sh bin/mqbroker -n localhost:9876 &
# 2. 查看启动日志
tail -f ~/logs/rocketmqlogs/broker.log

• 问题描述

  Rockermq默认的虚拟机内存较大，启动 Broker 如果因为内存不足失败，需要编辑如下两个配置文件，需要修改 JVM内存大小。

# 编辑 runbroker.sh  和 runserver.sh 修改默认 JVM大小
vi runbroker.sh
vi runserver.sh

• 参考设置

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmn128m -XX:metaspaceSize=128m -XX:MaxMetaspaceSize=320m"

注：如果修改内存大小还是无法正常启动 broker，需要将 nameserver 也重新启动。

4、测试 RockerMQ

可以使用RocketMQ自带的 example 测试代码可以检验MQ是否启动成功。

​ 4.1 发送消息

# 1.设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2.使用安装包的 Demo 发送消息
sh bin/tools.sh org.apache.rokectmq.example.quickstart.Product

​ 4.2 接收消息

# 1。设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2. 接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

5、关闭 RocketMQ

# 1. 关闭 NameServer
sh bin/mqshutdown namesrv
# 2. 关闭 Broker
sh bin/mqshutdown broker

6、 RocketMQ 集群搭建

​ 6.1 各角色介绍

• Producer：消息的发送者，举例：发信者

• Consumer：消息接收者。举例：收信者

• Broker：暂存和传输消息，接收生产者的消息，提供消息给消费者消费；举例：邮局

• NameServer：管理 Broker；举例：各邮局的管理机构

• Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个 Topic；一个消息的接收者可以订阅一个或者多个 Topic 消息。

• Message Queue：相当于是 Topic 的分区，用于并行发送和接收消息；相当于 Topic下面的一个分区（子分类）

  6.2 集群的特点

• 由于 NameServer 是无状态的，当启动之后 Broker 会自动同步数据给到 NameServer，而且多个 NameServer 对等的，各个节点内容是一致的，节点之间没有任何消息同步，故如果需要搭建集群，直接启动多台 NameServer即可。

• 而 Broker 是主从模式，一个Master可以有多个 slaver，但一个slaver 只能有一个 master。主节点主要处理写操作，读取生产者生产的消息，读取消息队列中，从节点主要处理读操作，读取消息队列中的消息。在同一组 Broker 通过0(主节点) 和 非0(从节点) 区别主从节点。NameServer 通过 BrokerName 来区分是否是同一组，通过 BrokerId 来区分主从节点。

• Producer 与 NameServer 集群中的其中一个节点（随机选择）建立长连接，定期从NameServer 取 Topic 路由信息，并向提供 Topic 服务的 Master、Slaver 建立长连接，且定时向 Master、Slaver 发送心跳。Producer 完全无状态，可以集群部署。

• Consumer 与 NameServer 集群中的其中一个节点（随机选择）建立长连接，定期从 NameServer 取 Topic 路由信息，并向提供Topic 服务的 Master、Slaver 建立长连接，且定时向 Master、Slaver 发送心跳。 Consumer 既可以从 Master 订阅消息，也可以从 Slaver 订阅消息，订阅规则由 Broker 配置决定。

6.2 各种集群方式

• 1）单 Master 模式

  这种方式风险较大，一旦 Broker 重启或者宕机时，会导致整个服务不可用。不建议线上环境使用，可以用于本次测试。

• 2）多 Master 模式

  一个集群无 Slave，全是 Master，例如 2 个 Master 或者 3 个 Master，这种模式的优缺点如下：

  • 优点：配置简单，单个 Master 宕机或重启维护对应用无影响，在磁盘配置为 RAID10 时，及时机器宕机不可恢复情况下，由于 RAID10 磁盘非常可靠，消息也不会丢失(异步刷盘丢失少量消息，同步刷盘一条不丢)，性能最高。
  • 缺点：单台机器宕机期间，这台机器上违背消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。

• 3）多 Master 多 Slaver 模式（异步）

  每个 Master 配置一个 Slave，有多对 Master-Slave，HA 采用异步复制方式，准备有短暂消息延迟（毫秒级），这个模式的优缺点如下：

  • 优点：及时磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时 Master 宕机后，消费者仍然可以从 Slave消费，而且此过程对应用透明，不需要人工干预，性能同多 Master 模式机会一样。
  • 缺点：Master、 宕机，磁盘损坏情况下会丢失少量消息。

• 4）多 Master 对 Slave 模式（同步）

  每个 Master 配置一个 Slave，有多个 Master-Slave， HA 采用同步爽写方式，级只有准备都写成功，才向应用返回成功，这种模式的优缺点如下：

  • 优点：数据与服务都无单点故障，Master 宕机情况下，消息无延迟，服务可用性都非常高。
  • 缺点：性能比一部复制模式略低（大约低10%左右），发送单个消息的 RT 会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。

  6.3 集群工作流程

  1. 启动 NameServer，NameServer 起来后监听端口，等待 Broker、Producer、Consumer 连上来，相当于一个路由控制中心。
  2. Broker 启动，跟所有的 NameServer 保持长连接，定时发送心跳包。心跳包中包含当前 Broker 信息（IP+端口等）以及春初所有 Topic信息。注册成功后，NameServer 集群阿訇就有 Topic 跟 Broker 的映射关系。
  3. 收发消息前，先创建 Topic，创建 Topic 时需要指定该 Topic 要存储在哪些 Broker 上，也可以在发送消息时自动创建 Topic。
  4. Producer 发送消息，启动时先跟 NameServer 集群中的其中一台建立长连接，并从 NameServer 中获取当前发送的 Topic 存在哪些 Broker 上，轮询从队列列表选择一个队列，然后与队列所在的 Broker 建立长连接从而向 Broker 发消息。
  5. Consumer 跟 Producer 类似，跟其中一台 NameServer 建立长连接，获取当前订阅 Topic 存在哪些 Broker 上，然后直接跟 Broker 建立连接通道，开始消费消息。