线上 OOM 了,第一反应是调大 -Xmx?这三种 OOM 加多少堆都没用
上周又被拉去看一个 OOM。
运维把日志甩过来,java.lang.OutOfMemoryError: Java heap space。值班的同学已经处理过了:-Xmx2g 改成 4g,重启,服务恢复。
第三天又挂了。
这不是能力问题,是顺序问题。OOM 不是一种病,是五种病的同一个症状。 你看到的报错原文,才是分诊台。
这篇把 OutOfMemoryError 的五种形态、各自的爆点位置、以及一个能照着走的排查顺序讲清楚。

一、先读报错原文,这行字决定了你该查什么
OutOfMemoryError 是个大类,冒号后面那半句才是关键。生产上能见到的就五种:
java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: GC overhead limit exceeded
java.lang.OutOfMemoryError: Metaspace
java.lang.OutOfMemoryError: Direct buffer memory
java.lang.OutOfMemoryError: unable to create new native thread
前两种是堆的事,后三种跟堆一点关系都没有。
你调大 -Xmx,对后面三种完全无效。 这就是"改完管三天,然后又挂"的根本原因——参数改了,但病灶没动。
逐个说。
二、Java heap space:老年代塞不下了
这是最常见的一种。触发时机很明确:新生代晋升到老年代,老年代放不下,Full GC 之后还是放不下,抛错。
两个方向,必须先分清:
是泄漏,还是确实不够。
区分方法只有一个:看 Full GC 之后老年代占用了多少。
- Full GC 之后老年代降不下去(比如还是 90%)→ 泄漏。有对象被不该持有它的地方持有着。
- Full GC 之后老年代能降到 20%,但很快又满 → 不是泄漏,是对象产生速度太快,或者单次查询拉的数据量太大。
第二种情况调大堆确实有用,但更该做的是改代码。见过最典型的一个:导出功能 select * from order 没加条件,一次把 80 万行读进内存拼 Excel,堆给到 8G 也照样爆。
泄漏怎么找?
必须拿到 dump。两个办法,选一个:
# 办法一:让 JVM 在 OOM 时自动 dump(推荐,事后可查)
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/data/dump
# 办法二:现场还活着,手动抓
jmap -dump:live,format=b,file=/data/dump/heap.hprof <pid>
注意 jmap -dump:live 会触发一次 Full GC,生产上抓之前先摘流量,否则那几秒接口全超时。
拿到 hprof,用 MAT 或者 JProfiler 打开,不要一上来就翻 Histogram(类直方图)。Histogram 告诉你哪个类的实例最多,但实例多不代表占内存多——一个 byte[] 和一个 String 的实例数没法比。
直接看 Dominator Tree(支配树)。 它按"释放这个对象能回收多少内存"排序,排第一的那个就是元凶。
我遇到过的几个高频元凶:
- 静态 Map 当缓存用,没有淘汰。
static Map<String, Object> cache = new HashMap<>(),只 put 不 remove,跑三个月必爆。 - ThreadLocal 没 remove。线程池里的线程是复用的,ThreadLocal 的值挂在线程对象上,线程不死,值就不释放。这个泄漏最阴,因为它跟业务代码看起来毫无关系。
- 监听器 / 回调注册了没注销。尤其是自己写的 EventBus。
- 大对象直接进老年代。
-XX:PretenureSizeThreshold之上,或者一个几百 MB 的byte[],Eden 放不下直接进 Old,很容易把老年代撑爆。
Dominator Tree 里看到一个 HashMap$Node[] 占了 60% 堆,顺着引用链往上翻两级,基本都能翻到那个 static。
三、GC overhead limit exceeded:同一个病的晚期
这个报错的意思很具体:GC 花了超过 98% 的时间,但只回收了不到 2% 的堆。
它不是新问题,它就是堆快满了。JVM 只是顺手告诉你"我已经在无效劳动了"。
处理方式跟 Java heap space 完全一样。唯一要注意的是:这个错误有时会先出现,因为 JVM 在你彻底 OOM 之前就先放弃挣扎了。
所以看到它,别以为是什么"GC 参数没调好",去调 -XX:GCTimeRatio 是南辕北辙。
有个参数可以关掉它(-XX:-UseGCOverheadLimit),让它继续跑到真正的 OOM。不建议,因为那只会让你多等几分钟,拿到同样的结果。
四、Metaspace:堆很闲,但它满了
这个最容易被误判,因为它的表现是:堆使用率 30%,内存却报警,然后 OOM。
Metaspace 存的是类的元数据——类结构、方法字节码、常量池、注解。JDK 8 之后它在本地内存里,默认不设上限(只受物理内存限制)。
那它为什么会满?因为类被不停地创建,却卸不掉。
类卸载的条件很苛刻,三个必须同时满足:
- 该类的所有实例都已被回收
- 加载该类的 ClassLoader 已被回收
- 该类的
Class对象没有任何引用(包括反射、静态字段)
只要有一个不满足,这个类就永远在 Metaspace 里。所以真正的问题几乎总是:ClassLoader 泄漏。
三个高频场景:
场景一:框架动态生成类。 CGLIB 代理、MyBatis 的 Mapper 代理、JSON 序列化框架的 ASM 生成类。这些本身是正常的,但如果你的代码在循环里反复创建新的 Enhancer 或新的 ClassLoader,类就会无限增长。
场景二:热部署 / 热加载。 每次 reload 创建一个新 ClassLoader,老 ClassLoader 因为还有引用卸不掉,老类也就留着。开发环境常见,生产上用 JRebel 这类工具要小心。
场景三:脚本引擎。 用 Groovy / JS 引擎执行用户自定义脚本时,每次 eval 可能生成新类。
怎么确认?看这两个数:
jstat -gcmetacapacity <pid> 1000 10
# 关注 MC(Metaspace 容量)和 MU(已使用),看 MU 是不是只涨不跌
jcmd <pid> GC.class_stats | head -30
# 或者用 jcmd <pid> VM.classloader_stats 看 ClassLoader 数量
如果 ClassLoader 的数量在持续增长,那就是它了。 这个指标比类的总数更直接。
补一句:-XX:MaxMetaspaceSize 该设。不设的话,Metaspace 会一直吃到把整台机器的内存耗光,那时候连 dump 都抓不出来,只能等 OOM Killer 出手。设了至少能拿到一个明确的报错和现场。
五、Direct buffer memory:堆最闲,机器最卡
这个报错原文是 java.lang.OutOfMemoryError: Direct buffer memory,很多人第一次见会懵:堆明明很空。
Direct Memory 是 NIO 用的堆外内存,ByteBuffer.allocateDirect() 或者 Netty 的 PooledByteBufAllocator 申请的都在这里。它不受 -Xmx 管,受 -XX:MaxDirectMemorySize 管(不设的话默认等于 -Xmx)。
它的特点:
- 分配和释放比堆内存慢(要走系统调用)
- 但读写不经过 JVM 堆,少一次拷贝,所以 Netty、Kafka 这类高吞吐组件爱用
- GC 管不到它,只能靠
Cleaner或者手动release
所以最典型的故障是:Netty 的 ByteBuf 申请了没 release。
// 错:拿到 ByteBuf 直接用,没释放
ByteBuf buf = ctx.alloc().buffer();
buf.writeBytes(data);
ctx.write(buf); // 如果是 writeAndFlush 且没有 flush 完,引用计数不会归零
// 对:谁申请谁释放,或者用 SimpleChannelInboundHandler 自动释放
判断方法:
# 看堆外内存的实际占用
jcmd <pid> VM.native_memory summary # 需要启动时加 -XX:NativeMemoryTracking=summary
# 或者直接看进程 RSS 和堆的差值
ps -o rss= -p <pid> # RSS 远大于 -Xmx,基本就是堆外
还有个间接信号:java.nio.Bits 的 reservedMemory。用 jcmd <pid> GC.heap_info 看不到它,得用 arthas 的 ognl 或者 jmap histo 找 java.nio.DirectByteBuffer 的实例数。
如果 DirectByteBuffer 实例数一直涨,就是泄漏。加 -XX:MaxDirectMemorySize 能让它早点报错、早点暴露,而不是慢慢把机器吃干。
六、unable to create new native thread:跟内存没关系
这个最冤枉。报错看着像内存问题,实际是线程数到了系统上限。
java.lang.OutOfMemoryError: unable to create new native thread
三个可能的上限,随便撞到哪个都报这个:
1. 系统级 ulimit -u。 单个用户能创建的进程/线程数,默认 1024 或者 4096。
2. 容器 pids limit。 Kubernetes 里 --pids-limit,或者 cgroup 的 pids.max。这个坑最深,因为宿主机上看一切正常,容器里就是不行。
3. 内存不够分配线程栈。 每个线程默认 1MB 栈(-Xss1m),1000 个线程就是 1GB 的本地内存。容器内存 limit 2G、堆占 1.5G 的时候,创建第 500 个线程就会失败。
第 3 点最隐蔽:它的表现是"内存不足",但你去查堆,堆很健康。
判断顺序:
# 1. 看当前线程数
jstack <pid> | grep -c '^"'
# 2. 看系统/容器上限
ulimit -u
cat /sys/fs/cgroup/pids.max
# 3. 看线程栈总占用 = 线程数 × Xss
如果线程数在涨,就回去查线程池——大概率是 Executors.newCachedThreadPool() 或者某个地方 new Thread() 没管住。这一点在下一篇文章里详细说。
七、一个能照着走的排查顺序
把上面这些收成一张流程:
第 1 步:读报错原文。 五种之一,直接跳到对应章节。别跳过这步。
第 2 步:看是堆内还是堆外。 jcmd <pid> GC.heap_info 看堆用了多少,ps -o rss 看进程总占用。RSS 远大于堆 → 堆外(Direct Memory / Metaspace / 线程栈)。
第 3 步:堆内问题,抓 dump 看 Dominator Tree。 顺引用链往上翻两层,找那个不该存在的容器。
第 4 步:堆外问题,分别查。 Metaspace 看 VM.classloader_stats,Direct Memory 看 DirectByteBuffer 实例数,线程看 jstack | grep -c。
第 5 步:分清泄漏和不够。 Full GC 后老年代降不降得下来。降不下来是泄漏,修代码;降得下来是量太大,改逻辑或加机器。
顺序反了会怎样?我见过最常见的错法是:一上来就 jmap -dump,几个 G 的 dump 抓下来,MAT 打开转十分钟,最后发现是线程数超了——跟堆毫无关系。那十分钟纯浪费,而且 jmap 那一下还让服务多停了五秒。
先分诊,再动刀。
八、几个参数到底该怎么设
顺手把这几个参数说清楚,免得看完还是不知道配什么。
# 堆:容器里一定要设成 limit 的 60%~70%,留出元空间、线程栈、堆外
-Xms4g -Xmx4g # 两个设一样,避免动态扩容带来的抖动
# 元空间:必须设上限,否则会吃光机器
-XX:MaxMetaspaceSize=512m
# 堆外:明确上限,让它早报错
-XX:MaxDirectMemorySize=512m
# OOM 自动 dump:一定要开
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/data/dump
# 线程栈:业务线程多的话可以调小到 512k,能省一半本地内存
-Xss512k
最后一条值得展开。1000 个线程,-Xss1m 是 1GB,-Xss512k 是 512MB。对于线程数上千的服务,这一项能省下几百 MB。但别调太小,递归深的代码会 StackOverflowError。512k 是个比较稳的折中。
OOM 这件事,真正的门槛不在工具,在分诊。
五种 OOM,对应五条完全不同的排查路径。你调的每一个参数,都必须指向其中一条。否则就是在赌——赌这次改的参数,刚好管到了那个病灶。
赌赢过三次的人,第四次要赔进去一整个通宵。
这套排查流程我是跟着一套 Java 后端课程把源码逐个断点过了一遍,从 Bean 生命周期、MyBatis 缓存、Spring 事务,到 AQS、ConcurrentHashMap、Nacos 注册,每一节都配了自己的调试记录和踩坑笔记,现在还在一节一节补线上排障的部分。

想要这套笔记 + 源码调试记录的,扫码加我,备注「Java」👇

不用转发、不用关注,加上直接发你。
418



被折叠的 条评论
为什么被折叠?



