RocketMQ部署 Linux方式和Docker方式

原创 已于 2023-08-17 14:29:54 修改 · 1.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rocketmq #linux #docker

于 2023-08-15 16:23:11 首次发布
本文介绍了RocketMQ在Linux和Docker Compose环境下的部署方法。在Linux部署中，需配置JDK、下载配置、启动服务并进行测试；在Docker Compose部署时，要拉取镜像、创建挂载目录、准备配置文件，最后进行消息发送和消费测试。

一、Linux部署

准备一台Linux机器，部署单master rocketmq节点

系统 ip 角色 模式
CENTOS 10.4.7.126 Nameserver,broker Master

1. 配置JDK

rocketmq运行需要依赖jdk，安装步骤略。

2. 下载和配置

  1. 从官网下载安装包 https://rocketmq.apache.org/zh/download/ ，并上传到CENTOS系统中，并进行解压
cd /data
# 解压
unzip rocketmq-all-5.1.3-bin-release.zip
# 创建目录软链接
ln -s rocketmq-all-5.1.3-bin-release rocketmq
# 创建目录
#  消息存储及位点目录
 mkdir -p /data/rocketmq/store
 mkdir -p /data/rocketmq/store/commitlog
 mkdir -p /data/rocketmq/store/consumequeue
 mkdir -p /data/rocketmq/store/index
#  创建日志目录
 mkdir -p /data/rocketmq/logs
# 进入配置文件目录并替换日志配置文件中的日志目录的位置
cd /data/rocketmq/conf && sed -i 's#${user.home}#/data/rocketmq#g' *.xml

修改rocketmq启动所需配置文件

# 进入rocketmq自带的配置文件目录
[root@mq-126 conf]# cd /data/rocketmq/conf/
[root@mq-126 conf]# ls
# 2master 2slave 异步消息同步配置目录
2m-2s-async
# 2master 2slave 同步消息同步配置目录
2m-2s-sync
# 2master no slave 配置目录
2m-noslave
# 单点配置目录
broker.conf
container
controller
dledger
plain_acl.yml
# 日志配置文件
rmq.broker.logback.xml
rmq.client.logback.xml
rmq.controller.logback.xml
rmq.namesrv.logback.xml
rmq-proxy.json
rmq.proxy.logback.xml
rmq.tools.logback.xml
tools.yml
[root@mq-126 conf]# vi broker.conf

将下面的配置赋值到broker.conf中

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer 地址，分号分割
namesrvAddr=127.0.0.1:9876
#在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4 点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store/consumequeue #消息索引存储路径
storePathIndex=/data/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

修改启动脚本的jvm参数，找到对应行进行修改，原配置设置的内存太大，我的虚拟机是1g内存的，会无法正常启动，需要改小。

  • vim /data/rocketmq/bin/runbroker.sh

    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

  • vim /data/rocketmq/bin/runserver.sh

    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

3. 启动

  1. 启动nameserver

    [root@mq-126 rocketmq]# nohup sh /data/rocketmq/bin/mqnamesrv &

[root@mq-126 rocketmq]# jps
2617 NamesrvStartup
2654 Jps
[root@mq-126 rocketmq]# netstat -ano | grep 9876
tcp6       0      0 :::9876                 :::*                    LISTEN      off (0.00/0/0)
tcp6       0      0 10.4.7.126:9876         10.4.7.126:53946        ESTABLISHED off (0.00/0/0)
tcp6       0      0 10.4.7.126:9876         10.4.7.125:42368        ESTABLISHED off (0.00/0/0)
tcp6       0      0 10.4.7.126:53946        10.4.7.126:9876         ESTABLISHED off (0.00/0/0)

  2. 启动broker

    [root@mq-126 bin]# nohup sh /data/rocketmq/bin/mqbroker -c /data/rocketmq/conf/broker.conf &
[2] 2829
[root@mq-126 bin]# jps
2796 NamesrvStartup
2861 BrokerStartup
2893 Jps

  3. 启动dashboard

    启动dashboard最快的方式是通过docker进行启动。

    [root@mq-126 bin]# systemctl start docker
[root@mq-126 bin]# docker run -d --name rocketmq-dashboard -e "JAVA_OPTS=-Drocketmq.namesrv.addr=10.4.7.126:9876" -p 8080:8080 -t apacherocketmq/rocketmq-dashboard:latest
d55cb8b7ff0e9d19964c2019eaf4bba8301cfc2cf1b8a3eb01bff09df134f90e

    然后就可以访问dashboard了

    如果没有docker环境 在官网下下载源码包，使用maven编译后进行启动

    https://rocketmq.apache.org/zh/download/

4. 发送和消费测试代码

Producer

package cn.shutdown.mq;

import org.apache.rocketmq.client.exception.MQBrokerException;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.exception.RemotingException;

/**
 * 消息生产者
 * @author Domino.J
 * @date 2023/8/11
 */
public class Producer {
   
   

    public static final String NAMESRV_ADDR = "10.4.7.126:9876";
    public static void main(String[] args)
            throws MQClientException, MQBrokerException, RemotingException, InterruptedException {
   
   
        DefaultMQProducer producer = new DefaultMQProducer("test_quick_producer_name");
        producer.
最低0.47元/天 解锁文章
Linux单机部署RocketMQ
qq_41765664的博客
11-19 1525
修改内存大小（这步不是必须的，如果你的机器内存足够，可以跳过这步，我的机器内存只有4g，因此需要修改内存大小）编辑 runbroker.sh 文件和 runserver.sh 文件，修改内存大小。编辑 runbroker.sh 文件，将 8g 修改为 512m。在 broker.conf 文件中配置如下内容，直接覆盖即可。如果没有安装 unzip，可以执行下面命令安装。进入 rocketmq 安装目录。在 bin 目录下，执行下面命令。指定配置文件并启动 broke。将安装包解压到新的安装目录。
Linux上单机部署RocketMq
qq_41931364的博客
11-19 2230
linux上单机部署Rocket以及Mqrocketmq控制台（可视化界面）搭建
Linux环境部署RocketMQ
画雨笼山
08-12 234
✅ 成功提示：查看namesrv.log日志，出现The Name Server boot success。✅ 成功提示：查看broker.log日志，出现The broker boot success。Name Server内存配置（runserver.sh）Broker内存配置（runbroker.sh）若服务器内存不大，可调整JVM参数。
记录在Linux中安装RocketMQ
最新发布
weixin_40625417的博客
10-15 257
在Linux系统中安装RocketMQ
RocketMQ-RocketMQ部署(Linux、docker)
HGW的博客
12-02 1826
本篇博客主要阐述了如何单机部署RocketMQ，以及可视化管理工具rocketmq-console。涉及两种方式，分别是Linux部署和Docker部署～（小伟使用腾讯云CentOS6.7、本机M1P芯片Mac演示）
linux下docker安装rocketMq
茴香豆的博客
08-13 1058
linux下docker安装rocketMq （一）安装NameSrv 1、创建nameSrv数据挂载文件夹 mkdir -p /usr/data/rocketMQ/data/namesrv/logs mkdir -p /usr/data/rocketMQ/data/namesrv/store 2、拉取镜像 docker pull rocketmqinc/rocketmq:4.4.0 3、运行NameSrv新容器 docker run -d -p 9876:9876 -v /usr/data/roc
Linux下Docker安装RocketMQ
高艳艳的博客！
03-20 676
sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf | 指定配置文件启动。rocketmqinc/rocketmq | 使用的镜像名称。| 把容器内的端口9876挂载到宿主机9876上面。| 设置容器的最大堆内存为100000000。| 把容器的名字设置为rmqnamesrv。| 把容器的非vip通道端口挂载到宿主机。| 把容器的vip通道端口挂载到宿主机。| 指定broker服务的最大堆内存。数据存储目录挂载到宿主机的。| 把容器的名字设置为。
使用docker安装RocketMQ
热门推荐
皓亮君的博客
10-14 5万+
文章目录1.拉取镜像2.创建namesrv服务创建namesrv数据存储路径构建namesrv容器3.创建broker节点创建broker数据存储路径创建配置文件构建broker容器安装rocketmq控制台拉取镜像构建rocketmq控制台服务容器需要关闭防火墙或者开放namesrv和broker端口关闭防火墙开放指定端口访问控制台 1.拉取镜像 docker pull rocketmqinc/rocketmq 2.创建namesrv服务 创建namesrv数据存储路径 mkdir -p /docke
linux安装docker启动rocketmq
weixin_36853518的博客
07-14 193
在Linux上安装Docker并启动RocketMQ 什么是Docker和RocketMQ Docker是一种容器化技术，它可以快速部署应用程序，提高开发和运维效率。RocketMQ是阿里巴巴开源的分布式消息中间件，具有高性能、高可靠性和可扩展性。 安装Docker 首先，我们需要在Linux上安装Docker。以下是在U...
Linux部署RocketMQ
成长永远没有尽头
01-14 1320
1.官网下载压缩包，下载地址：RocketMQ下载地址 两种方式（一种源码版需要maven编译，一种直接release版本） 我用的是安装包版本 2.将下载好的压缩包上传到服务器 /usr/local 下 3.解压安装包 unzip rocketmq-all-4.9.2-bin-release.zip 4.配置内存地址 如果是在真实的linux服务器上安装rocketmq，则内存是足够的，如果是在虚拟机上安装rocketmq进行学习用，可能虚拟机的内存只分配了1G，那么是不够用的。启动rocke
【Rocketmq】linux部署rocketmq
weixin_44589578的博客
03-07 491
linux上安装rocketmq 1 .unzip rocketmq-all-4.4.0-bin-release.zip -d /usr/local 2 .mv /usr/local/rocketmq-all-4.4.0-bin-release/ /usr/local/rocketmq-4.4 3 .mv /usr/local/rocketmq-all-4.4.0-bin-release/ /usr/local/rocketmq-4.4 4 .vi /usr/local/rocketmq-4.4/bin/r
Linux搭建RocketMQ
BrandoLv
05-05 484
注意所有的操作都是以当前目录进行操作.这里选用 v4.9.4 版本。
Linux部署RocketMQ并使用SpringBoot创建生产、消费者
是江迪呀 的博客
08-28 1649
RoceketMQ的使用。
Linux环境部署RocketMQ单节点以及双主双从集群环境
洛晓关的博客
12-03 1412
bin：启动脚本，包括shell脚本和CMD脚本conf：实例配置文件 ，包括broker配置文件、logback配置文件等lib：依赖jar包，包括Netty、commons-lang、FastJSON等Producer：消息的发送者；举例：发信者Consumer：消息接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例：各个邮局的管理机构Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；
Linux下RocketMQ的安装部署
小小分享
06-13 921
Linux下rocketMQ的安装部署
linux安装部署RocketMQ+可视化控制台
weixin_44556848的博客
04-14 1799
记录linux安装部署RocketMQ。
Linux环境下RocketMQ的部署及简单应用
qq_40977047的博客
03-10 2135
@[TOC]RocketMQ的部署及简单应用 RocketMQ的部署 1、获取最新版本RocketMQ 在github上找到对应的版本，获取到下载链接，https://github.com/apache/rocketmq/releases 选择自己想安装的版本，这里选择的是最新的4.9.3版本 2、执行下载命令 在Linux选择要安装的目录执行 wget https://github.com/apache/rocketmq/archive/rocketmq-all-4.9.3.tar.gz 下载完成进
Linux环境下安装RocketMQ（单机、集群）
路漫漫其修远兮，吾将上下而求索
04-22 1万+
为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成。RocketMQ官方提供了三种集群搭建方式：2主2从异步通信方式使用异步方式进行主从之间的数据复制，吞吐量大，但可能会丢消息。使用 conf/2m-2s-async 文件夹内的配置文件做集群配置。2主2从同步通信方式使用同步方式进行主从之间的数据复制，保证消息安全投递，不会丢失，但影响吞吐量使用 conf/2m-2s-sync 文件夹内的配置⽂件做集群配置。2主无从方式会存在单点故障，且读的性能没有前两种方式好。
Docker-Compose快速部署RocketMQ安装包指南
- 首先需要在系统上安装Docker和Docker Compose工具。 - 下载rocketmq的docker-compose配置文件，该文件定义了RocketMQ服务的运行环境和配置参数。 - 根据配置文件创建服务。配置文件中通常会定义若干个服务，如...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值