k8s排查Java应用CPU负载过高问题

最新推荐文章于 2025-04-04 17:32:53 发布

瞎编

最新推荐文章于 2025-04-04 17:32:53 发布

阅读量3.4k

点赞数 2

文章标签： kubernetes java 容器

本文链接：https://blog.youkuaiyun.com/sinat_31632437/article/details/128618487

版权

文章描述了一次针对Kubernetes(K8s)环境中Pod高CPU占用问题的排查过程，从查看Pod调度节点，到使用debug工具在节点上分析进程，再到通过top和jstack命令定位到具体线程，最后识别并分析了导致CPU高占用的Java线程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.起因

因为k8s发布的pod还未加入资源的监控，在查看pod负载时发现其中pod占用1核CPU

2.查找问题

2.1通过debug排查

# 首先查看存在问题的pod调度的节点是哪个,我们这里是调度到201的节点
kubectl -n beta get pod -o wide

下一步可以到对应的node节点查看对应进程的信息，也可以通过debug在当前节点进行排查（当节点太多懒得登录过去时）

# node/NodeName是问题pod所在的对应节点
kubectl  -n beta  debug node/NodeName -it --image=ubuntu

top命令找到所在节点进程信息，找到问题进程

查看详细线程

通过top -Hp PID获取进程中相关线程的信息，可以找到Thread-7这个线程一直占用着CPU

接下来到pod中找到相关线程，然后通过转换找到这个线程的具体信息

# 因为pod没有top命令,需要用debug拷贝有问题的pod进程到新的pod叫debug-pod,使用的时ubuntu镜像
kubectl  -n beta debug -it bims-meta-depl-7f4f7bd77c-6rbhw --image=ubuntu --share-processes --copy-to=debug-pod

在pod中查看拷贝过了的进程信息

拷贝过来后的经常信息已改变进程号也改变了

再通过top -Hp PID找到刚刚的线程Thread-7

可以看到Thread-7线程的PPID是52

将52转换为 16 进制，得到结果是34，格式是0x34

printf "%x\n" 52

这是通过jstack找到对应的线程信息

# 进入问题pod
kubectl -n beta exec -it PoDNAME -- bash

# 查看问题java经常PID
jps -l

# jstack 查看问题进程的所有线程信息
jstack PID |grep 0x34 -A 10 -B 2