记一次JVM内存满了的问题处理经过

背景

• JDK8
• netty框架编写的HTTP服务器
• 有使用Map对象做本地内存缓存

问题发生

• 进程突然无法响应http请求，重启后能正常响应，但是一分钟后又变成了无法响应的状态

问题分析过程

• 进程存在操作系统中，但是无法响应业务请求，这种情况实际上就是JVM内处理业务的线程都处于阻塞状态，根据重启之后短时间能够响应的现象，推断是内存满了，导致JVM一直在进行full gc，所有线程停止所致
• 查看内存使用情况优先使用jmap -heap pid，查看得到old gen和eden区的使用率都达到100%，其中，老年代512M，eden 256M
• 查看JVM内存及gc状态使用jstat -gc pid [interval]，可以看到FGCT（老年代垃圾回收消耗时间）一直增加，证明full gc一直在进行，导致JVM所有线程阻塞
• 查看导致JVM堆内存使用率满了的原因，需要打印JVM的内存快照，jmap -dump:format-b,file=/path/to/dumpfile.hprof pid，将dump出来的文件使用MAT打开，查看dominator object找到jvm中最大的对象进行分析，发现是本地内存缓存过大，占用了85%的堆内存

问题处理

• 修改业务逻辑，限制本地内存缓存对象的数量，问题得到解决

总结

• JAVA系统“假死”通常都是由JVM内存使用量满了导致的full gc所致，常规的分析方法是jmap -heap、jstat -gc、jmap -dump查看内存使用率和内存快照，对其进行分析找出问题根源