记一次CPU与内存飙高的线上事故

背景介绍

我负责一个物联网平台的开发与运维工作，2020年12月18日的一天，恰逢周五，本来以为可以划划水就可以过愉快的周末了，一大早让我看下昨天的设备上报的数据情况，打开浏览器输入网址，无法正常登录，提示服务器内部错误！我心里一想不对呀，本人照看的系统已经稳定运行很长一段时间了，怎么会这样？都坐下，不要慌，我们慢慢的来处理。

处理过程

首先，通过我的FinalShell工具通过ssh登录服务器，一眼就看到了让我震惊的结果，我开始慌了。。。

有个java进程居然内存和CPU占用都这么高，然后我简单看了一下进程号，定位到是物联网平台的后台服务进程（由于该平台是采用docker部署的，因此需要进入docker容器内部进行查看）

docker exec -it cfe1916c608a /bin/bash

通过docker exec进入容器内部，首先还是使用我们比较常用top看下情况

果然，与我们看到的现象一致，有个java进程RES占有高达8.6g，%CPU高达277.0，这时突然有些兴奋呀，我又可以躺坑了，事后会被作为经验文章分享出来，也就是你现在看到的样子😂。然后我们一步步来分析和处理。。。

接下来，我们主要从CPU升高的方向先入手分析。复制该进程的id号8，通过执行top -Hp查看当前进程的各个线程执行情况

top -Hp 8