正确设置Java内存防止容器OOM Killer

最新推荐文章于 2025-05-18 23:27:05 发布
原创 最新推荐文章于 2025-05-18 23:27:05 发布 · 1.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#docker #java #oom

本文探讨了Java应用在容器环境下因资源限制不当导致的OOM问题。分析了老版Java不支持cgroup限制的原因，并提供了两种解决方案：一是动态调整JVM堆大小以匹配容器内存限制；二是利用新版Java的实验性选项，使JVM能根据容器资源限制进行垃圾回收。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在使用Java的容器上警察发生量重启，Docker检查发现pod被OOMKiller代码杀死：137。究其原因还是因为老版java不能正确处理容器的资源限制。

JVM默认的最大Heap大小是系统内存的1/4。但在java 的早期版本中(小于1.8.131)，不支持读取cgroup的限制。 默认是从/proc/目录读取可用内存。但是容器中的/proc目录默认是挂载的宿主机的内存目录。即java 读取的到可用的内存是宿主机的内存。那么自然会导致进程超出容器limit 限制的问题。

#!/bin/bash
limit_in_bytes=$(cat /sys/fs/cgroup/memory/memory.limit_in_bytes)

# If not default limit_in_bytes in cgroup
if [ "$limit_in_bytes" -ne "9223372036854771712" ]
then
    limit_in_megabytes=$(expr $limit_in_bytes \/ 1048576)
    heap_size=$(expr $limit_in_megabytes - $RESERVED_MEGABYTES)
    export JAVA_OPTS="-Xmx${heap_size}m $JAVA_OPTS"
    echo JAVA_OPTS=$JAVA_OPTS
fi

exec catalina.sh run
  • 方法2：在8u131和9以后使用以下标志允许JVM基于容器限制进行垃圾收集
-XX:+UnlockExperimentalVMOptions -XX:+UseCGroupMemoryLimitForHeap

实质还是从memory.limit_in_bytes获取限制

参考文章：

https://blog.youkuaiyun.com/M2l0ZgSsVc7r69eFdTj/article/details/82599380
https://yq.aliyun.com/articles/18037
https://www.jdon.com/51409
https://www.cnblogs.com/itanony/p/11037470.html
https://segmentfault.com/a/1190000013945253

java oom-killer_oom-killer
weixin_30121389的博客
02-24 769
在非jvm crash引起的tomcat进程意外退出的故障里，oom-killer是见过的比例最多的情况，排查这类问题时应首先判断是否由oom-killer所致。这个问题在答疑中遇到好几次，记录一下给新人了解。定位oom-killer通常比较简单，直接通过dmesg即可看到：$ sudo dmesg | grep java | grep -i oom-killer[6989889.606947]...
linux中引起OOM Killer的原因及排查思路
liangkk的博客
08-23 2772
OOM Killer（Out-Of-Memory Killer）的触发通常是由于Linux系统内存不足时，内核采取的一种极端保护措施
Java 如何有效地避免OOM：善于利用软引用和弱引用
weixin_30875157的博客
06-16 484
Java 如何有效地避免OOM：善于利用软引用和弱引用 　　想必很多朋友对OOM（OutOfMemory）这个错误不会陌生，而当遇到这种错误如何有效地解决这个问题呢？今天我们就来说一下如何利用软引用和弱引用来有效地解决程序中出现的OOM问题。下面是本文的目录大纲： 　　一.了解 强引用、软引用、弱引用、虚引用的概念 　　二.进一步理解软引用和弱引用 　　三.如何利用软引用和弱引用解决OOM...
jvm系列(十):教你如何成为Java的OOM Killer
纯洁的微笑
10-17 549
此文出处云时代架构，作者：李艳鹏教你如何成为Java的OOM Killer前言虽然事隔半年，当时排查线上OOM事故的过程记忆犹新，每一个步骤都历历在目，感谢业务组、系...
深度解析：如何全面解决 Java 应用中的 OOM 问题（附实战指南）
最新发布
m0_57836225的博客
05-18 948
解决 OOM 问题需遵循 “预防为主，治理为辅短期：通过 dump 分析快速定位泄漏点，结合参数调整临时止损长期：建立代码规范与监控体系，从架构层面避免内存滥用（如无状态设计、合理使用缓存）关键认知：内存是稀缺资源，任何对象都有 “成本”，需时刻关注其生命周期与引用关系当遇到 OOM 时，保持冷静，按照 “数据捕获→分析定位→分场景治理→验证闭环” 的流程逐步排查，避免盲目调整参数掩盖真实问题。通过持续优化，不仅能解决当前故障，更能提升系统的稳定性与可维护性，为高并发场景下的应用保驾护航。
java oom-killer_与oom-killer的亲密接触
weixin_32137855的博客
03-06 253
10月11日晚上，云平台安排上线。需要通宵工作，这次版本更新的重头戏是需要把一个新的模块部署到线上环境，这个新的模块叫prxdms，用来替换掉原有的dms。我作为一个涉世未深的运维小青年，就按照部署文档按步骤操作，把新版的prxdmx文件复制粘贴，进程开启，然后把老的dms进程断开，检查进程之后，就去厕所里痛痛快快的释放了一下膀胱括约肌的压力，怒来一泡尿，盘算着如何在剩下的时间里刷刷论坛微博，打打...
oom killer java,JAVA进程诡异消失，oom killer干的
weixin_29185167的博客
03-24 390
在beta环境中，俩个项目经常性的崩溃。PS查看进程，JAVA进程消失。先加Dump、ErrorFile查看，再次发生时，俩个日志均未输出。尝试复现，有时发生，有时正常，很不规律。在这过程中，top查看java进程，发现发生时，JAVA的内存会从50%一直飙升到95%，然后JAVA进程就消失了。查看linux日志，/var/log/message 发现这么一段日志。Mar 21 10:53:33 ...
Linux应用进程消失之谜--Java进程与OOM Killer
10-27 661
“Java进程咋又突然没了？还没任何报错，都好几天了好奇怪啊。” 上午刚上班不久，旁边的同事就遇到了棘手的技术问题。大概打听下，原来是某个Java应用在执行某个耗时的定时任务的过程中，大概率进程会突然退出，而且应用日志、中间件日志都找不到任何异常。听起来还挺有意思，我默默地登上了出问题的docker容器。 0x01 OOM killer 登上机器后，查看应用和中间件日志，确实没有看到问题。我怀疑是...
Java中的OutOfMemoryError（OOM）
记录学习的过程
05-13 1447
OutOfMemoryError（OOM）是Java虚拟机（JVM）在无法分配足够内存时抛出的严重错误，通常导致应用程序崩溃。OOM与系统级内存不足不同，主要影响单个JVM进程，可通过JVM参数调整。常见的OOM类型包括Java堆OOM、元空间OOM、直接内存OOM等，每种类型对应不同的内存区域和触发条件。OOM的根本原因可能包括内存泄漏、内存溢出、JVM配置不当或外部因素。诊断OOM时，可以使用命令行工具（如jps、jstat、jmap）或图形化工具（如JConsole、VisualVM）进行分析，并通过
JVM调优实战--容器内应用内存溢出被杀死
BraveHeart
10-21 2092
JVM调优实战--容器内应用内存溢出被杀死
内存tmpfs问题—tmpfs占用太多内存导致服务oom
hiyun9的博客
08-16 745
首先我们监控系统的容器内存使用率算法：container_memory_usage_bytes - container_memory_cache, 这个算出来和rss是基本一致的，从这个角度看没什么问题。分析了一下oom的dump,计算rss（需要*4，因为是rss是按照4k一个page去分配的） 这一列相加 大概是6G，这个数据和监控也符合大概75%的实际使用率(容器分配的是8G)。那这里还有个问题，就是cache里到底被什么占用了，为什么cache这么大：在进程挂掉之后，还是有2g的cache。
查询超大数据量，如何避免JVM出现OOM，分批查询处理解决思路
MrCao杰罗尔德的博客
02-19 6763
Java查询优化
如何在Java中分配超过-Xmx限制的内存
spidercoco的专栏
03-21 1281
本文主要介绍Java中几种分配内存的方法。我们会看到如何使用sun.misc.Unsafe来统一操作任意类型的内存。以前用C语言开发的同学通常都希望能在Java中通过较底层的接口来操作内存，他们一定会对本文中要讲的内容感兴趣。 如果你对Java内存优化比较感兴趣，可以看下[url=http://java-performance.info/memory-allocation-in-java...
JVM内存配置详解
06-14 2563
前段时间在一个项目的性能测试中又发生了一次OOM（Out of swap sapce），情形和以前网店版的那次差不多，比上次更奇怪的是，此次搞了几天之后啥都没调整系统就自动好了，死活没法再重现之前的OOM了！问题虽然蹊跷，但也趁此机会再次对JVM堆模型、GC垃圾算法等进行了一次系统梳理；  基本概念  堆/Heap  JVM管理的内存叫堆；在32Bit操作系统上有4G的限制，一般来说Wi
我的Java应用程序被OOMKilled了，原因竟是这样？
玩赚AI大模型的博客
02-22 728
在AWS云上，我们运行并部署容器化应用程序到我们的PaaS管道。像我们这样在Docker中运行Java应用程序的人，可能已经遇到过 **JVM在容器中运行时无法准确检测可用内存的问题 **。jvm没有准确地检测Docker容器中可用的内存，而是查看机器的可用内存。这可能导致在容器内运行的应用程序在尝试使用超出Docker容器限制的内存量时被终止的情况。 JVM对可用内存的错误检测与Lin...
Java处理超大JSON文件，避免OOM内存溢出
weixin_39825906的博客
03-06 5090
解析，会很容易出现耗尽内存的情况。即使原始数据大小小于内存容量，Java也会进一步增加内存使用量。这意味着程序会在与磁盘交互时处理缓慢，或在内存不足时崩溃。如果你需要在 Java 中处理一个大的 JSON 对象或 文件，直接使用。，也就是惰性解析、迭代解析或分块处理。一种常见的解决方案是。
Docker 容器内存：我的容器为什么被杀了？
小楼一夜听春雨，深巷明朝卖杏花
09-27 9569
不知道你在使用容器时，有没有过这样的经历？一个容器在系统中运行一段时间后，突然消失了，看看自己程序的 log 文件，也没发现什么错误，不像是自己程序 Crash，但是容器就是消失了。 那么这是怎么回事呢？接下来我们就一起来“破案”。 问题再现 容器在系统中被杀掉，其实只有一种情况，那就是容器中的进程使用了太多的内存。具体来说，就是容器里所有进程使用的内存量，超过了容器所在 Memory Cgroup 里的内存限制。这时 Linux 系统就会主动杀死容器中的一个进程，往往这会导致整个容器的退出...
记一次springboot项目k8s pod异常oom问题解决
后厂村老司机
06-21 1684
背景 我们的springboot项目是通过k8s部署的，我们使用了G1垃圾回收器作为jvm的垃圾回收器，同时也配置了如下的各种应对jvm oom崩溃时的参数；在服务上线的一周左右时间，我们发现这个服务出现了oom重启，于是开启了我漫长的问题追踪过程； -XX:+UseG1GC -XX:MaxGCPauseMillis=50 -XX:InitiatingHeapOccupancyPercent=4...
K8s: Java应用OOMKilled的原因与分析
DevOps持续集成的博客
12-12 1217
本篇文章是「DevOps云学堂」与你共同进步的第65篇管理 Kubernetes Pod 中运行的 Java 进程的内存使用情况比人们想象的更具挑战性。即使使用正确的 JVM 内存配置，仍然可能会出现OOMKilled问题，您想知道为什么吗？长话短说由于 JVM 仅考虑大小限制，因此无法保证 Java 进程的完整heap内存边界（堆内存）；不是non-heap 内存（非堆内存），这取决于多种因素...
容器的堆外内存是什么内存
03-04
<think>嗯，用户问的是容器的堆外内存是什么内存。首先，我得确认自己对堆外内存的理解正确。堆外内存应该是指JVM堆之外的内存，也就是不受JVM直接管理的内存区域。在Java应用中，堆内存由JVM自动分配和回收，而堆外内存则是通过Native方法分配的，比如NIO的DirectByteBuffer或者一些第三方库如Netty的ByteBuf。 那在容器环境中，比如Docker，容器会有内存限制。JVM默认可能不会感知到容器的内存限制，而是根据宿主机的内存来设置堆大小。这时候，如果堆内存加上堆外内存超过容器限制，容器可能会被OOM Killer终止。所以需要配置JVM参数，比如-XX:MaxDirectMemorySize来限制堆外内存的大小。 不过，用户可能是在问容器本身的角度来看堆外内存，而不仅仅是JVM的情况。可能还有其他进程或应用在容器中使用堆外内存，比如使用C库分配的内存，或者文件缓存等。这时候容器的总内存使用包括堆内、堆外以及其他部分，需要监控整体的内存使用情况，避免超出限制。 另外，用户可能遇到容器因为内存超限被杀死的问题，这时候需要检查堆外内存的使用情况。可能需要调整JVM参数，或者优化应用程序减少堆外内存的使用。比如使用-XX:+DisableExplicitGC来禁止显式调用System.gc()，因为Full GC会触发DirectByteBuffer的回收，但如果禁用了，可能需要其他方式管理。 总结一下，堆外内存是容器中JVM堆之外的内存，需要合理配置和监控，避免容器OOM。需要结合JVM参数和容器内存限制来调整，确保总内存使用不超过容器限制。</think>容器中的堆外内存通常指**不受JVM堆内存管理，但仍被Java进程使用的内存**。主要分以下两类： --- ### 一、核心概念 1. **JVM堆内存** - 通过`-Xmx`参数设定上限 - 存储Java对象实例 - 由GC自动回收 2. **堆外内存(Off-Heap Memory)** - 通过`ByteBuffer.allocateDirect()`或`Unsafe.allocateMemory()`分配 - 常见于网络I/O、文件操作、Native库调用等场景 - 需手动管理或依赖`Cleaner`机制回收 --- ### 二、堆外内存主要类型 | 类型 | 示例 | 特点 | |---------------------|-----------------------------|--------------------------| | Direct Memory | NIO的DirectByteBuffer | 受`-XX:MaxDirectMemorySize`限制 | | JVM自身开销 | 线程栈、代码缓存、GC元数据 | 可通过`-XX:MaxMetaspaceSize`调节 | | Native库分配的内存 | JNI调用、TensorFlow等Native库 | 完全脱离JVM控制 | --- ### 三、容器环境特殊问题 ```bash # 典型容器OOM场景 docker run -m 1G my-java-app # 容器内存限制1G ``` 当出现： - JVM堆配置`-Xmx800m` - 堆外内存占用300m - JVM元数据占用100m 总内存：800 + 300 + 100 = 1200m > 1G → 触发容器OOM Killer --- ### 四、关键配置参数 ```java // 启动参数示例 java \ -XX:MaxDirectMemorySize=256m \ # 限制直接内存 -XX:MaxMetaspaceSize=128m \ # 限制元空间 -XX:ReservedCodeCacheSize=64m \ # 限制代码缓存 -XX:+UseContainerSupport \ # 启用容器感知（JDK8u191+） -XX:MaxRAMPercentage=70.0 # 限制JVM最大内存占比 ``` --- ### 五、监控诊断方法 1. **容器层面** ```bash docker stats --format "{{.Container}}: {{.MemUsage}}" ``` 2. **JVM层面** ```bash jcmd <pid> VM.native_memory detail ``` 3. **可视化工具** ![内存分析工具对比](https://via.placeholder.com/800x200?text=YourKit+VS+JProfiler+VS+VisualVM) --- ### 六、最佳实践建议 1. 始终设置`-XX:+UseContainerSupport` 2. 通过`-XX:MaxRAMPercentage`代替固定内存值 3. 对使用Native库的组件做内存压力测试 4. 定期检查`sun.misc.VM.maxDirectMemory()`的实际值 > 📌 注意：在Kubernetes中需同时设置`requests`和`limits`，避免内存超卖导致节点不稳定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值