Linux CPU飙升排查 jstack定位线程堆栈信息

基本概念

在对Java内存泄漏进行分析的时候，需要对jvm运行期间的内存占用、线程执行等情况进行记录的dump文件，常用的主要有thread dump和heap dump。

• thread dump 主要记录JVM在某一时刻各个线程执行的情况，以栈的形式显示，是一个文本文件。通过对thread dump文件可以分析出程序的问题出现在什么地方，从而定位具体的代码然后进行修正。thread dump需要结合占用系统资源的线程id进行分析才有意义。
• heap dump 主要记录了在某一时刻JVM堆中对象使用的情况，即某个时刻JVM堆的快照，是一个二进制文件，主要用于分析哪些对象占用了太对的堆空间，从而发现导致内存泄漏的对象。

上面两种dump文件都具有实时性，因此需要在服务器出现问题的时候生成，并且多生成几个文件，方便进行对比分析。

使用jstack生成thread dump

当服务器出现高CPU的时候，首先执行 top -c 命令动态显示进程及占用资源的排行，如下图：

top后面的参数-c可以显示进程详细的信息。top命令执行的时候还可以执行一些快捷键：

• 1 对于多核服务器，可以显示各个CPU占用资源的情况
• shift+h 显示所有的线程信息
• shift+w 将当前 top 命令的设置保存到 ~/.toprc 文件中，这样不用每次都执行快捷键了
• q退出

以上图为例，pid为1503的进程占用了大量的CPU资源，接下来需要将占用CPU最高进程中的线程打印出来，可以用 top -bn1 -H -p <pid> 命令，个人喜欢用 ps -mp <pid> -o THREAD,tid,time | sort -k2r 命令查看，后面的sort参数根据线程占用的cpu比例进行排序，结果如下：

 

接下来我们清楚今天的主角 jstack，这是一个在JDK5开始提供的内置工具，可以打印指定进程中线程运行的状态，包括线程数量、是否存在死锁、资源竞争情况和线程的状态等等。有下面的几个常用的参数：

• -l 长列表，打印关于锁的附加信息
• -m 打印java和jni框架的所有栈信息

因为thread id在栈信息中是以十六进制的形式显示的，因此需要使用 printf "%x \n" <tid> 命令将现场id转成十六进制的值，然后执行 jstack -l <pid> | grep <thread-hex-id> -A 10 命令显示出错的堆栈信息，如下图：

通过top命令定位到cpu占用率较高的线程之后，继续使用jstack pid命令查看当前java进程的堆栈状态：

后来百度实在找不到答案，google来解决。找到如下文章，正好确认是8.5.4版本问题
High CPU load with the JSSE client poller on Tomcat 8.5

参考文章：

https://blog.youkuaiyun.com/pursuer211/article/details/83863186

https://www.jianshu.com/p/95852c5dd545

https://yq.aliyun.com/articles/2889