记一次netty进程被杀死分析

昨天测试突然找我，表示自己本来跑的好好的组件怎么不能用了。他看了一眼进程没了，于是手动重启发现第三方组件报错，让我上去查看。我登上机器，看了一眼在跑的服务有哪些。发现只剩一个测试用的demo项目，另外一个组件不见了。赶紧去看了一眼组件日志，只能找到启动的日志，报错，发现第三方组件报错也影响了项目启动，让他们排查完后可以重启成功了。但是第三方组件报错怎么会杀自己的进程呢？
于是开始排查日志，发现在重启之前没有异常，没有任何报错，一直到重启前10秒都还有日志在输出。判断这是进程突然被杀死，于是用history查看了一下历史操作，发现只能输出顺序和执行语句。
在控制台输入

export HISTTIMEFORMAT="%F %T "

就可以让这次登录的history日志输出时间了。
然鹅发现最早的操作记录也没到当时被杀死的时间，echo $HISTSIZE发现机器设置了操作记录只能保留100条。于是只能去/etc/profile修改这个变量，方便下次能够查看。询问测试发现这台机器没有人动过，是突然不行的。于是找了一下组件的gc日志，发现只有重启后的日志了，也没有出现dump日志，也能排除是自身程序问题。
思来想去，也只能是机器问题了，top查看了一下机器运行状态，

发现，cpu占用倒没多少，但是内存可是用掉了大部分。组件一个配置了10g内存，一个配置了2g内存，要是其他再用一下是不是可能机器内存超了，杀掉进程呢？
于是开始找机器的日志，在/var/log/messages内 终于在发生进程被杀的时间发现了关键日志。

妥妥的就是机器干的坏事。
居然选择内存占用最大的来杀TAT.