weixin_44182586的博客

事件时间及地点 2022年03月03日 周四 北京 京东总部4号楼 事件现象描述 线上系统 某一台机器 的许多接口 发生报警，提示响应时间较长，也就是系统响应慢； 线上一共12台机器，并不是固定的一台服务器报警； 每隔2个小时左右就会发生一次此现象； 查看对应机器的线上监控，发现CPU很高，并且发生了频繁的FullGC； 问题排查过程 用web页面操作服务器，发生问题的机器生成heap dump堆转储文件； 将文件下载到本地以后用java的jdk下的bin目录中的jvisualvm打开堆转储

系统突然发生宕机，由于前期已经发现系统卡顿现象，因此将GC日志打开了，登录服务器查看日志，top指令发现CPU占用100，java进程内存占用4.7G，疯狂打印FullGC日志； top -Hp pid查看，发现是垃圾回收的线程占用的，当然这过程需要十进制向十六进制转换pid，同时jstack查看线程信息； jmap导出dump文件，由于文件较大，且当前服务器下载速率较低，因此使用scp复制到190服务器，然后用winSCP下载到本地； 接着使用jvisualVM打开堆dump文件； 发现char[