RocketMQ启动内存不足

已于 2022-03-09 20:33:13 修改
阅读量1.6k 收藏 2
点赞数 3
文章标签： java 开发语言
于 2022-03-09 19:35:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lang_xin/article/details/123384954
版权

在用云服务器（Linux）启动rocketmq时出现的问题，话不多说，上图。

总的意思就是内存不足了。

解决办法

分别找到runserver.sh、runbroker.sh和tools.sh，然后进入编辑模式（编辑模式也顺带说一下，就是用vi +这个文件的路径，按‘a’键，编辑完以后按ESC键，然后在输入:wq，回车就退出了），接着在里面改一写东西，为了方便，我就放到这直接粘贴了。

tips：进图编辑模式以后输入：%d会清空，然后再复制进去，这样比较方便。

runserver.sh


#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=${BASE_DIR}/lib/rocketmq-namesrv-4.5.0.jar:${BASE_DIR}/lib/*:${BASE_DIR}/conf:${CLASSPATH}
#export CLASSPATH=.:${BASE_DIR}/conf:${CLASSPATH}
#echo "BASE_DIR:$BASE_DIR"
#echo "CLASSPATH:$CLASSPATH"

#===========================================================================================
# JVM Configuration
#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
#JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
JAVA_OPT="${JAVA_OPT} -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8"
JAVA_OPT="${JAVA_OPT} -verbose:gc -Xlog:gc:/dev/shm/rmq_srv_gc.log"
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT}  -XX:-UseLargePages"
#JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

$JAVA ${JAVA_OPT} $@

runbroker.sh

#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
export CLASSPATH=.CLASSPATH=.${JAVA_HOME}/jre/lib/ext:${BASE_DIR}/lib/*:${BASE_DIR}/conf:${CLASSPATH}

#===========================================================================================
# JVM Configuration
#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128"
JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"
JAVA_OPT="${JAVA_OPT} -verbose:gc -Xloggc:/dev/shm/mq_gc_%p.log -XX:+PrintGCDetails"
JAVA_OPT="${JAVA_OPT} -XX:-OmitStackTraceInFastThrow"
JAVA_OPT="${JAVA_OPT} -XX:+AlwaysPreTouch"
JAVA_OPT="${JAVA_OPT} -XX:MaxDirectMemorySize=15g"
JAVA_OPT="${JAVA_OPT} -XX:-UseLargePages -XX:-UseBiasedLocking"
#JAVA_OPT="${JAVA_OPT} -Xdebug -Xrunjdwp:transport=dt_socket,address=9555,server=y,suspend=n"
JAVA_OPT="${JAVA_OPT} ${JAVA_OPT_EXT}"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

numactl --interleave=all pwd > /dev/null 2>&1
if [ $? -eq 0 ]
then
        if [ -z "$RMQ_NUMA_NODE" ] ; then
                numactl --interleave=all $JAVA ${JAVA_OPT} $@
        else
                numactl --cpunodebind=$RMQ_NUMA_NODE --membind=$RMQ_NUMA_NODE $JAVA
        ${JAVA_OPT} $@
        fi
else
        $JAVA ${JAVA_OPT} --add-exports=java.base/jdk.internal.ref=ALL-UNNAMED $@
fi

tools.sh

#!/bin/sh

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#===========================================================================================
# Java Environment Setting
#===========================================================================================
error_exit ()
{
    echo "ERROR: $1 !!"
    exit 1
}

[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"

export JAVA_HOME
export JAVA="$JAVA_HOME/bin/java"
export BASE_DIR=$(dirname $0)/..
#export CLASSPATH=.:${BASE_DIR}/conf:${CLASSPATH}
export CLASSPATH=.${JAVA_HOME}/jre/lib/ext:${BASE_DIR}/lib/*:${BASE_DIR}/conf:${CLASSPATH}

#===========================================================================================
# JVM Configuration
#===========================================================================================
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn256m -XX:PermSize=128m -XX:MaxPermSize=128m"
#JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${BASE_DIR}/lib:${JAVA_HOME}/jre/lib/ext"
JAVA_OPT="${JAVA_OPT} -cp ${CLASSPATH}"

$JAVA ${JAVA_OPT} $@

 最后出现boot success就算是成功了。

浪心?
关注
rocketMQ 删除过期文件(磁盘空间不足导致mq消息发送不了)
DN金猿的博客
05-31 3668
commitLog 删除文件的策略 指定时间到了，磁盘不足，人工删除，满足任一条件，判断文件是否过期或者磁盘严重不足（超过 85%），是则删除，一批次最多删除 10 个文件。 有个地方需要注意，mmap 写文件，windows 观察，发现文件的修改时间戳一直不变，linux 还未验证。 commitLog，consumeQueue，indexFile 的删除策略如下图： commitLog 尾部是有空洞的，当一个消息在当前文件放不下时，rocketmq 认为下一个文件一定能放下该消息，..
RocketMQ占用内存过大的解决方法
邓邓子的博客
05-18 8013
目录一、问题描述二、解决方法1.runserver.sh 修改2.runbroker.sh 修改 一、问题描述 RocketMQ 启动后，一下子把内存撑爆了。 二、解决方法 修改启动参数，分别对 bin 目录下的 runserver.sh 和 runbroker.sh 进行修改。 1.runserver.sh 修改 修改前： JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceS
启动rocketmq失败，显示内存不足
weixin_52911459的博客
07-26 1921
liunx中启动rocketmq失败，查看日志显示内存不足
RocketMQ系列笔记：手把手部署与调优，拒绝“内存爆炸”
nihao2q的博客
03-17 618
作为一只刚入门的RocketMQ小白的时候，你是否经历过以下崩溃瞬间？启动Broker时内存爆炸，直接OOM（OutOfMemory）原地升天NameServer启动后秒退，日志里写满“端口被占用”的哀嚎发消息时疯狂报错，发现Broker根本没上线别慌！这篇笔记将用保姆级教程带你从零部署RocketMQ，并解决90%的配置坑点！通过本文你已掌握：✅ RocketMQ单机部署全流程✅ 内存参数调优技巧✅ 生产级配置建议✅ 常见问题排查方法。
RocketMQ 启动报错内存不足处理方案
Wayfreem的博客
01-11 4378
RocketMQ 启动报错内存不足处理方案，由于启动的时候没有修改对应的启动文件，就导致启动不了
rocketmq启动报内存不足的问题
03-01 1336
RocketMQ默认的启动内存事8g，如果内存不足的话可以修改启动参数。 解决方法： 　　修改broker启动脚本runbroker.sh里面的jvm参数 JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g" 改为 JAVA_OPT="${JAVA_OPT} -server -Xms128m -Xmx256m -Xmn256m" 然后重新启动broker。 ...
搭建RocketMQ踩的坑-内存不足
weixin_33207551的博客
02-01 1634
JRE version: (8.0_172-b11) (build )  Java VM: Java HotSpot(TM) 64-Bit Server VM (25.172-b11 mixed mode linux-amd64 compressed oops)  Java运行时环境的内存不足，无法继续，本机内存分配（mmap）未能映射8589934592字节，用于提交保留内存  解决办法，找到r...
搭建RocketMQ报错内存不足
雷嘉辉的博客
04-21 823
修改bin目录两个文件 runserver.sh JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" runbroker.sh JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -...
rocketMQ搭建以及内存不足解决
weixin_58073467的博客
11-16 1308
rokectmq搭建，虚拟机内存不足引起的启动失败
记一次 RocketMQ broker 因内存不足导致的启动失败
江先生的杂货铺
01-12 3799
通过问题排查的思路，介绍 RocketMQ 的堆内存计算逻辑，详细分析 RocketMQ broker 内存不足导致启动失败的原因。
rocketmq启动流程
baidu_32223873的博客
11-01 1494
根据配置文件和命令行参数，创建4个配置类：BrokerConfig、NettyServerConfig、NettyClientConfig、MessageStoreConfig，配置文件通过-c参数指定，如果没指定，使用默认配置。用于判断进程上一次是否强制退出，启动时会创建，目录是${user.home}/store/abort，启动失败、或正常退出执行shutdownhook时删除该文件，强制退出执行kill -9时不会删除该文件。创建完4个配置类后，根据配置类创建brokerController，
RocketMQ的安装与启动
timeup417的博客
06-23 2632
NameServer是一个Broker与Topic路由的注册中心，支持Broker的动态注册与发现。Broker管理：接受Broker集群的注册信息并且保存下来作为路由信息的基本数据;提供心跳检测机制，检查Broker是否还存活。路由信息管理：每个NameServer中都保存着Broker集群的整个路由信息和用于客户端查询的队列信息。Producer和Conumser通过NameServer可以获取整个Broker集群的路由信息，从而进行消息的投递和消费。
RocketMQ内存不足
xcc_2269861428的博客
09-08 1811
输入命令：（./mqbroker -m） 报内存错误 在次启动就好了
RocketMQ安装内存不足的问题
Leon_Jinhai_Sun的博客
10-31 1547
这是因为bin 目录下启动 nameserv 与 broker 的 runbroker.sh 和 runserver.sh 文件中默认分配的内存太大，rocketmq比较耗内存，所以默认分配的内存比较大，而系统实际内存却太小导致启动失败，通常像虚拟机上安装的 CentOS 服务器内存可能是没有高的，只能调小。实际中应该根据服务器内存情况，配置一个合适的值 # There is insufficient memory for the Java Runtime Environment to continu.
RocketMQ启动出现内存不足的解决方法
qq_38796327的博客
05-09 8001
按照官网启动rocketMQ会造成ｊａｖａ运行内存的不足．需要修改找到runserver.sh和runbroker.sh，编辑 JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" 启动mq（broker）按官网配置会出现无法找到t...
RocketMQ Windows环境下启动导致C盘爆满原因及解决办法
V_S1r的博客
07-20 1551
RocketMQ Windows环境下启动导致C盘爆满原因及解决办法
RocketMQ-ONS 内存占用过大问题处理
安魂
05-04 1798
【代码】RocketMQ-ONS 内存占用过大问题处理。
RocketMQ 内存优化
热门推荐
weixin_38989540的博客
12-14 1万+
RocketMQ 内存优化1.启动脚本的内存调整1.mqbroker和mqnamesrv的内存调整 RocketMQ 的默认内存占用非常高，是4×4g的，普通人是消耗不起的，所以第一件事情就是调整RocketMQ的占用内存。 调整RocketMQ的内存目前我所知道的有两个方面 MQ的启动脚本可以调整内存 mqbroker和mqnamesrv的配置可以调整内存 1.启动脚本的内存调整 启动脚本可...
rocketmq启动报上面的错
最新发布
04-17
<think>好的，我现在需要解决用户的问题：RocketMQ启动时出现内存不足的Java运行时错误，错误信息是OpenJDK 64-Bit Server VM warning: Cannot allocate memory。用户希望找到解决方案。 首先，我得仔细看看用户提供的引用内容。引用1、2、3、4都提到了类似的内存分配失败的问题，错误信息中都指出无法分配大量内存，比如8589934592字节（大约8GB）或者2147483648字节（2GB）。这些错误通常是因为系统物理内存不足，或者JVM配置的内存参数超过了系统可用内存。 接下来，我应该考虑常见的解决方案。首先想到的是调整JVM内存参数。RocketMQ的启动脚本（比如runserver.sh和runbroker.sh）中设置了JAVA_OPT参数，包括-Xms（初始堆大小）、-Xmx（最大堆大小）、-Xmn（新生代大小）。如果这些值设置得过高，而系统内存不足，就会导致无法分配内存的错误。例如，用户引用中的错误显示尝试分配8GB，可能这些脚本中的参数被设置为较高的值，而系统实际可用内存不足。 然后是检查系统内存使用情况。用户可能需要使用free -h或者top命令查看可用内存和交换空间。如果物理内存不足，可以考虑增加交换空间，或者关闭一些占用内存的进程。 另外，JVM版本和垃圾回收器的问题也可能导致警告，比如引用2提到的CMS收集器已被弃用，但主要问题还是内存不足。所以暂时可能不需要处理GC警告，但用户如果使用旧版JDK，可能需要升级。 接下来，分步骤解决。首先修改JVM参数，降低-Xms、-Xmx的值。比如设置为2g或更小，根据系统可用内存调整。然后检查系统内存，必要时增加交换空间。如果问题依旧，可能需要检查是否有内存泄漏，或者优化RocketMQ的配置，比如减少Broker的堆内存需求。 同时，用户可能遇到的另一个问题是，启动多个实例时，每个实例都会占用配置的内存，导致总量超过系统内存。需要确认是否同时启动了多个服务，如NameServer和Broker，或者多个Broker实例，导致内存总和超过限制。 另外，查看错误日志文件（如hs_err_pid53279.log）可以提供更详细的错误信息，帮助诊断具体原因。用户应该检查这些日志，看看是否有其他线索。 最后，建议用户逐步调整参数，逐步测试，找到合适的内存配置。如果系统资源确实有限，可能需要升级硬件，或者优化应用程序的内存使用。</think>### RocketMQ内存不足错误的解决方案 #### 一、问题诊断 错误信息`OpenJDK 64-Bit Server VM warning: Cannot allocate memory`表明JVM尝试分配的内存超过系统可用资源。常见原因包括： 1. JVM堆内存参数（`-Xms`/`-Xmx`）配置过高[^1][^3] 2. 物理内存不足或交换空间（Swap）未启用[^1][^4] 3. 同时运行多个内存密集型进程[^4] --- #### 二、分步解决方案 ##### 1. 调整JVM内存参数 修改RocketMQ启动脚本中的内存配置： - **定位配置文件** ```bash # NameServer配置 vim bin/runserver.sh # Broker配置 vim bin/runbroker.sh ``` - **修改示例** 将默认配置（如`-Xms8g -Xmx8g -Xmn4g`）调整为合理值： ```bash JAVA_OPT="${JAVA_OPT} -server -Xms2g -Xmx2g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" ``` 📌 建议值： - NameServer：`-Xms1g -Xmx1g` - Broker：`-Xms4g -Xmx4g`（根据物理内存调整） ##### 2. 检查系统内存状态 ```bash free -h # 查看可用内存 swapon --show # 检查交换空间 ``` - **若物理内存不足**： - 关闭非必要进程 - 增加交换空间（以增加4GB交换文件为例）： ```bash sudo fallocate -l 4G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile ``` ##### 3. 验证JVM参数有效性 添加JVM调试参数： ```bash JAVA_OPT="${JAVA_OPT} -XX:+PrintGCDetails -XX:+PrintGCDateStamps" ``` 启动后观察GC日志确认内存分配是否生效。 ##### 4. 优化Broker配置 在`broker.conf`中限制内存使用： ```properties # 限制内存映射文件大小 mappedFileSizeCommitLog=1073741824 # 1GB mappedFileSizeConsumeQueue=300000 # 300KB ``` ##### 5. 升级组件版本 - 使用JDK 11+（对内存管理更高效） - 升级RocketMQ到4.9.4+版本（默认内存配置更保守）[^3] --- #### 三、验证步骤 1. 使用最小配置启动NameServer： ```bash nohup sh bin/mqnamesrv -Xms512m -Xmx512m & ``` 2. 启动Broker： ```bash nohup sh bin/mqbroker -n localhost:9876 -Xms2g -Xmx2g & ``` 3. 通过`jstat`监控内存： ```bash jstat -gcutil <PID> 1000 ``` --- #### 四、典型错误日志分析 查看`hs_err_pid*.log`文件： ```log # 关键字段说明 Memory: 4k page, physical 7962320k(108884k free), swap 0k(0k free) => 物理内存7.9GB，仅剩108MB；交换空间未启用[^1] Native memory allocation (mmap) failed to map 8589934592 bytes => 尝试分配8GB内存失败[^3] ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值