Calico-node进程导致机器CPU资源占满问题
1、问题现象

截图上可以看出CPU的资源已经被占满,这个截图CPU的数值还算好看的,基本上是0空闲。
#看了一下进程,想知道到底跑的什么进程吧CPU跑满的。
#看上图可以看出来,导致跑满CPU的原因是跑calico-node的pod导致,但按理说跑一个calico-node不至于吧机器的CPU全部跑满。
2、问题处理
带着疑问,我首先先将占资源高的calico-node进程杀死

杀死后看了下,仍然没有解决问题
然后分别看了下,kubelet状态、docker状态

查看后感觉就是kubelet一直在给docker请求,要求docker创建相关容器,但是docker也在做并且一直在做,但是就是无法创建成功。
然后又在master上看了下这个node下calico-node的pod状态,在建立的过程中报存活探针和就绪探针错误。
针对以上问题,我先停掉kubelet,停止创建pod,发现进程中runc和dockerd仍然占用大量的CPU资源,占到50以上,但是机器已经不卡了,可以正常操作命令了。
然后在将docker进行重启,然后在启动kubelet,发现很快资源就被占满了。
针对这个问题,看了下系统日志,发现9099端口被占用,找到了问题所在。
首先先将占用9099的进程杀死,但是杀死后马

本文描述了一个由于Calico-node进程导致的服务器CPU资源完全被占满的问题。在排查过程中,发现kubelet和docker进程也参与其中,存在创建容器失败的情况。通过检查系统日志,发现在9099端口存在冲突。经过一系列尝试,包括停用kubelet、重启docker、删除相关容器,甚至重启主机,最终解决了问题。
最低0.47元/天 解锁文章
2334

被折叠的 条评论
为什么被折叠?



