记一次频繁fullgc排查到解决全流程复盘

一、前言：

刚进新公司业务和各种新的中间件、框架实在消耗了太多精力，最近半年没怎么写博客了，后面会逐步会恢复之前节奏，言归正传，接下来分享一个最近遇到的真实案例

二、第一次频繁fullgc

一个阳光明媚的下午，我和我的同事们正苦逼的在小黑屋（项目室）里赶紧急项目，突然一个同事打来电话说我之前一个项目提供的接口大量超时

我：？？？！！！立刻检查服务器情况，发现应用出现大量fullgc一分种30多次，gc也耗时飙升

当时的情况：

 

 初步判断大量超时是因为频繁fullgc 导致GC耗时过高从而导致接口耗时暴增，由于项目比较老所以没有电话、短信等强预警通知，此时因为已经影响到线上了而且是较为核心服务，所以来不及dump保留现场只能直接重启服务

重启服务后开始排查产生原因：

1.先看是否有异常流量        --没有

2.mq是否有大量消费进入        --没有

3.其他中间件是否正常        --一切正常

4.观察线程情况        --线程数正常，无死锁线程

5.排查是否有job        --因为是下午触发没有任何job还没执行完

6.观察堆内、堆