JVM成长之路,记录一次内存溢出导致频繁FGC的问题排查及解决

现象：

现象截图：

内存：

命令： jmap -heap 30069   

GC截图： 

FGC 次数 19529 次！！！何等的恐怖！！！！！

命令： jstat -gcutil 30069 1000

(小记，排查cpu100%，top  看进程cpu， top -Hp  PID 看进程内线程cpu占用， 转成16进制，用jstack查看)

现象描述：

Node模块启动后收到请求却未能响应。 一直在频繁的FGC。新生代内存爆满。老年代内存爆满！

开始分析：

启动Xmx参数为 -Xmx 128M -Xms 128M 

初步判断内存不足，第一次修改： -Xmx 256M -Xms 256M  

=============================================

运行一两天后，Node再次未响应！！！！效果仍然不好 FGC。

=============================================

使用命令查看启动参数：jps -m -l -v

30069 jars/dubhe-node-frame-1.0.0.jar com.dtwave.dipper.dubhe.node.DubheNode --spring.profiles.active=prd -Xms256m -Xmx256m -Xmn64m

 

什么情况？？？

新生代大小大概是 3/8  256 * 3/8 有 120M 可是却被限制到 64M ....

 

 

Xmn只分配了64M。 一旦读日志。新生代满了就直接分配到老年代了！！

于是去掉了这个参数 给Xmn一个自由！！！

=============================================

运行一两天后，Node再次未响应！！！！

=============================================

于是。给xmx翻个倍！

第二次修改：-Xmx 512M -Xms 512M

这样新生代是3/8  170M 了。这样总没问题了吧！！

=============================================

可是。。。。。。。运行一两天后，Node再次未响应！！！！看来之前的解决方法是 错的！！错的！！错的！！

根本不是什么堆空间大小的问题。

=============================================

到底是什么情况！！！！！！！！！！！！！！！！！！！！！！！！！

那就来看看堆里面到底藏了些什么！！！

执行命令：jmap -histo 14273

1. num #instances #bytes class name
2. ----------------------------------------------
3.  1: 1001750 155802576 [B
4.  2: 137954 32307952 [C
5.