Azure AKS升级至Kubernetes 1.31.1时kubelet启动失败的故障分析

Azure AKS升级至Kubernetes 1.31.1时kubelet启动失败的故障分析

AKS Azure Kubernetes Service 项目地址: https://gitcode.com/gh_mirrors/ak/AKS

在Azure Kubernetes Service（AKS）环境中，当用户尝试将集群从Kubernetes 1.30.x版本升级到1.31.1预览版时，遇到了一个关键性的节点注册失败问题。这个问题的核心在于kubelet服务无法正常启动，导致新创建的节点无法成功加入集群。

问题现象

在升级过程中，系统会创建新的虚拟机规模集（VMSS）实例来替换旧节点。然而这些新节点启动后，kubelet服务会立即失败，错误日志显示kubelet无法识别一个已被弃用的命令行参数--keep-terminated-pod-volumes。由于节点无法在15分钟的超时时间内完成注册，整个升级过程最终失败。

技术背景分析

--keep-terminated-pod-volumes参数原本用于控制kubelet是否保留已终止Pod的卷。在Kubernetes的演进过程中，这个参数在1.31版本中被完全移除，取而代之的是通过kubelet配置文件来管理相关行为。这是Kubernetes项目逐步将命令行参数迁移到配置文件的大趋势的一部分。

根本原因

问题出在AKS的节点配置模板上。虽然集群升级到了1.31.1版本，但节点启动时仍然使用了包含旧参数的kubelet启动命令。这表明AKS的升级机制在生成新节点配置时，没有完全适配Kubernetes 1.31版本的参数变更。

影响范围

这个问题主要影响：

1. 从1.30.x版本升级到1.31.1预览版的AKS集群
2. 使用AzureLinux节点操作系统（AKSAzureLinux-V2gen2-202410.09.0镜像）的环境

临时解决方案

在官方修复推出前，用户可以采取以下临时措施：

1. 在节点池配置中显式指定kubelet版本为1.30，避免使用1.31版本的kubelet
2. 回退到1.30.x稳定版本，等待官方发布修复后的1.31.x版本

最佳实践建议

对于生产环境中的Kubernetes升级，建议：

1. 先在测试环境中验证升级过程
2. 仔细阅读目标版本的变更说明，特别是废弃和移除的功能
3. 对于关键业务系统，考虑采用蓝绿部署策略来降低升级风险
4. 确保有完整的备份和回滚方案

后续发展

虽然这个问题最初出现在1.31.1预览版中，但根据社区反馈，即使在1.31正式发布后，类似问题仍可能出现。这提醒我们在使用云服务的预览功能时需要格外谨慎，特别是在生产环境中。

AKS Azure Kubernetes Service 项目地址: https://gitcode.com/gh_mirrors/ak/AKS