本文介绍了在一次重大活动中，因ConcurrentLinkedQueue引发的现网CPU过高问题。通过排查，发现是Spring MVC在处理请求时缓存Content-Type时，由于JDK 1.8的bug导致内存泄露和CPU消耗过大。问题只在3台服务器上出现，原因是并发调用add和remove方法时，链表长度增加。升级JDK至1.8.0_201后问题得到解决。文章强调了在使用新框架或API时需仔细阅读文档并关注相关问题。
问题排查
在公司某次重大活动的保障中，某个组件突然收到了CPU过高的预警（超过80%），收到预警以后，立刻查看监控，发现现网一共10个节点，其中3个节点cpu超过80%，剩余节点cpu正常（cpu不超过60%），并且问题节点的cpu中断数，突然陡增。‘
疑点一：在同样级别的请求量下，只有3台服务器
疑点二：CPU中断数，在某个时间点突然陡增，但上下文切换没有明显变化 （如果上下文切换数，和中断数两个同时上升，很有可能是GC的原因导致的）
这边首先怀疑是不是6个服务节点，收到的请求量，不一致。但是，在查了日志后，发现各节点的请求量，基本上是一致的，甚至正常节点的请求量要略高于问题节点（分析，由于cpu高了，导致处理能力下降了）。
第一个怀疑的是GC问题，通过 jstat 命令查看:
jstat -gcutil [PID] 2000
结果发现 GC 是正常的，full gc次数为0 , yong gc 的频率也不是很高。
继续分析问题，先到问题节点上查看占用cpu比较高的线程：
top -Hp [PID
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
