【 Kubernetes 集群】节点高负载排障处理

本文档介绍如何在 TKE 集群中，通过工具定位异常是否由高负载造成，请按照以下步骤进行问题排查。

现象描述

节点高负载将会导致进程无法获得足够运行所需的 CPU 时间片，通常表现为网络 Timeout、健康检查失败或服务不可用。

问题定位及解决思路

有时节点在低 cpu ‘us’ (user) 、高 cpu ‘id’ (idle) 的条件下，仍会出现负载很高的情况。通常是由于文件 IO 性能达到瓶颈，导致 IO Wait 过多，使节点整体负载升高，影响其它进程的性能。 本文以 top、atop 及 iotop 工具为例，来判断磁盘 I/O 是否正在降低应用性能。

查看平均负载及等待时间

登录节点，执行 top 命令查看当前负载。返回结果如下：

说明：

可通过较高的 load average 值得知该节点正在承接大量的请求，也可以通过 Cpu(s)、Mem、%CPU 及 %MEM 列的数据获取哪些进程正在占用大多数资源。

top - 19:42:06 up 23:59, 2 users, load average: 34.64, 35.80, 35.76

Tasks: 679 total, 1 running, 678 sleeping, 0 stopped, 0 zombie

Cpu(s): 15.6%us, 1.7%sy, 0.0%ni, 74.7%id, 7.9%wa, 0.0%hi, 0.1%si, 0.0%st

Mem: 32865032k total, 30989168k used, 1875864k free, 370748k buffers

Swap: 8388604k total, 5440k used, 8383164k free, 7982424k cached



PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

9783 mysql 20 0 17.3g 16g 8104 S 186.9 52.3 3752:33 mysqld

5700 nginx 20 0 1330m 66m 9496 S 8.9 0.2 0:20.82 php-fpm

6424 nginx 20 0 1330m 65m 8372 S 8.3 0.2 0:04.97 php-fpm

6573 nginx 20 0 1330m 64m 7368 S 8.3 0.2 0:01.49 php-fpm

5927 nginx 20 0 1320m 56m 9272 S 7.6 0.2 0:12.54 php-fpm

5956 nginx 20 0 1330m 65m 8500 S 7.6 0.2 0:12.70 php-fpm

6126 nginx 20 0 1321m 57m 8964 S 7.3 0.2 0:09.72 php-fpm

6127 nginx 20 0 1319m 54m 9520 S 6.6 0.2 0:08.73 php-fpm

6131 nginx 20 0 1320m 56m 9404 S 6.6 0.2 0:09.43 php-fpm

6174 nginx 20 0 1321m 56m 8444 S 6.3 0.2 0:08.92 php-fpm

5790 nginx 20 0 1319m 54m 9468 S 5.6 0.2 0:17.33 php-fpm

6575 nginx 20 0 1320m 55m 8212 S 5.6 0.2 0:02.11 php-fpm

6160 nginx 20 0 1310m 44m 8296 S 4.0 0.1 0:10.05 php-fpm

5597 nginx 20 0 1310m 46m 9556 S 3.6 0.1 0:21.03 php-fpm

5786 nginx 20 0 1310m 45m 8528 S 3.6 0.1 0:15.53 php-fpm

5797 nginx 20 0 1310m 46m 9444 S 3.6 0.1 0:14.02 php-fpm

6158 nginx 20 0 1310m 45m 8324 S 3.6 0.1 0:10.20 php-fpm

5698 nginx 20 0 1310m 46m 9184 S 3.3 0.1 0:20.62 php-fpm

5779 nginx 20 0 1309m 44m 8336 S 3.3 0.1 0:15.34 php-fpm

6540 nginx 20 0 1306m 4