Kubernetes集群维护实战指南：节点管理与日志排查

Kubernetes集群维护实战指南：节点管理与日志排查

前言

Kubernetes作为现代容器编排的事实标准，其集群的稳定运行离不开良好的维护实践。本文将深入探讨Kubernetes集群维护中的核心环节——节点管理与日志排查，帮助运维人员掌握集群维护的关键技能。

节点管理全解析

节点加入流程

将新节点加入现有Kubernetes集群需要遵循标准化的流程：

1. 前置检查

   • 硬件配置：确保节点满足最低硬件要求（CPU、内存、磁盘）
   • 网络连通性：测试与Master节点的网络通信
   • 系统配置：关闭swap、禁用SELinux等

2. 组件安装

   • 安装与Master节点版本一致的Kubernetes组件（kubelet、kubeadm、kubectl）
   • 部署容器运行时（Docker或Containerd）

3. 加入集群

   # 在Master节点获取加入命令
   kubeadm token create --print-join-command
   
   # 在新节点执行输出结果
   kubeadm join <master-ip>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<hash>
   

4. 后续配置

   • 添加节点标签（Label）
   • 设置污点（Taint）以控制Pod调度

节点维护操作

当需要对节点进行维护（如硬件升级、内核更新）时，正确的操作流程至关重要：

1. 排空节点

   kubectl drain <node-name> --ignore-daemonsets --force
   

   • 该命令会将节点标记为不可调度（cordon）
   • 驱逐所有非DaemonSet管理的Pod到其他节点
   • --force参数用于处理无控制器的裸Pod

2. 维护完成后的恢复

   kubectl uncordon <node-name>
   

3. 特殊情况处理

   • 当Pod受PodDisruptionBudget保护时，需确保驱逐不会违反PDB规则
   • 对于StatefulSet等有状态应用，需谨慎处理数据持久化问题

节点删除与清理

完全移除节点需要执行以下步骤：

1. 从集群删除节点

   kubectl delete node <node-name>
   

2. 节点重置

   kubeadm reset
   

3. 清理残留文件

   rm -rf /var/lib/kubelet/*
   rm -rf /etc/kubernetes/*
   iptables -F
   

节点健康监控

关键指标检查

通过kubectl describe node可获取节点详细状态信息：

• 地址信息：InternalIP、ExternalIP等
• 资源状况：CPU、内存、磁盘压力
• 容量信息：可分配资源量
• 系统信息：内核版本、kubelet版本等

心跳机制解析

Kubernetes通过两种机制检测节点存活：

1. 节点状态更新：默认5分钟更新一次
2. Lease对象：每10秒更新一次

当超过40秒未收到心跳时，节点状态将变为Unknown，5分钟后可能触发Pod驱逐。

日志排查实战

基础日志查看

1. 节点组件日志

   journalctl -u kubelet -f
   

2. Pod日志查看

   kubectl logs -n <namespace> <pod-name> --tail=100
   

高级日志工具

1. kubetail

聚合查看多个Pod日志：

kubetail -l app=myapp

2. stern

功能更强大的日志工具：

stern "pod-prefix.*" --tail 100 -t

• 支持正则匹配
• 可按时间戳排序
• 彩色输出区分不同Pod

3. kail

另一种日志聚合工具：

kail -d my-deployment

最佳实践建议

1. 节点维护前：

   • 提前通知相关人员
   • 检查集群剩余资源是否充足
   • 考虑业务高峰期避开维护

2. 日志管理：

   • 重要应用配置日志轮转
   • 考虑集成EFK等日志系统
   • 为关键组件设置日志告警

3. 健康检查：

   • 定期检查节点资源使用率
   • 监控关键组件状态
   • 设置合理的资源请求和限制

通过掌握这些核心维护技能，运维人员可以确保Kubernetes集群的稳定运行，快速定位和解决各类问题。