K8S生产环境故障排查一（POD和节点问题排查）

一、POD启动异常、部分节点无法启动pod

容器里管理应用

• pod是k8S中最小调度单元,POD里面的容器共享pod的空间、资源、网络、存储等。
• pod管理一个容器。
• pod管理多个容器

pod出现异常的原因：

1、资源过剩： 大量POD在同一个物理节点，出现资源占用太多导致物理节点宕机。

2、内存和CPU超标：pod中的应用出现内存泄露，导致pod内存迅速增多，pod kill 了影响节点正常提供服务。（解决办法：压测占用多少内存和CPU，做资源限制；）

3、网络问题：导致POD无法通信（解决办法：检查calico网络插件情况）

4、存储问题：pod挂载的共享存储连接不上导致pod启动异常(解决办法：查看共享存储是否正常,存储卷是否正常)

5、代码问题：应用程序代码在容器启动后失败（解决办法：排查应用程序代码）

6、配置问题：在部署deployment和statefulset时，资源清单编写有问题，导致pod无法正常创建(解决办法：查看资源配置的清单)

7、借助监控系统排查以上问题。

POD架构：

查看pause容器是否存在