【龙叔运维问题排查记录】异常数据导致weblogic线程stuck/OOM

最近整理历史处理过的问题  看到了当时16年刚毕业入司那年遇到的一个比较有意思的问题，这里记录下，也是一个问题排查的思路

 

现象

是一个生成pdf函件的系统。后文都称为【pdf生成系统】，功能很单一，就是根据传过来的参数，然后用不同的模板（jasper模板）生成各种pdf

有一天突然出现一个实例GC回收告警，GC回收不了，监察日志发现实例出现大量stuck线程，过了一会就把内存耗尽OOM了，重启后有效，但是总是在不同的实例上出现，而且只是一个实例，从这一点基本就可以判定是一条异常数据导致的，这条异常数据不断尝试，不断出问题，处理的线程无法释放导致的

于是两个方向走，一遍排查这个异常数据，一边如果再次出现，立马重启，毕竟要保证生产正常

（运维的第一任务就是保证生产正常，一切工作都是基于这个哦，这是运维铁律，如果系统都不正常，再多出彩的加分项工作都是无用的，这也是我毕业之后第一个领导教我的，一直作为我的运维准则）

排查

因为对weblogic比较熟，所以立马就想到了stuck线程的概念：如果执行线程处理某个请求的粘滞时间超过了配置的粘滞线程最大时间，stuck线程，粘滞线程最大时间是在weblogic配置的，默认是600秒

所以如果日志里面打印出了stuck线程的日志，那么就可以根据stuck日志打印的时间，以及当前堵塞的时间来倒推这个请求开始的时间，stuck日志如下：