AKS集群迁移中大型PV卡在Terminating状态的问题分析

AKS集群迁移中大型PV卡在Terminating状态的问题分析

AKS Azure Kubernetes Service 项目地址: https://gitcode.com/gh_mirrors/ak/AKS

问题背景

在Azure Kubernetes Service(AKS)集群迁移过程中，当涉及到大型持久化卷(PV)时，可能会遇到PV卡在"Terminating"状态的问题。这种现象主要出现在使用Azure托管CSI高级存储类(managed-csi-premium)的场景下，特别是当PV容量较大时(如1TiB)。

问题现象

在节点池迁移过程中，虽然PVC和VolumeAttachment显示已正确绑定到新节点，但PV却进入了"Terminating"状态。这导致相关Pod无法正常调度，出现如下错误：

0/6 nodes are available: 1 Insufficient cpu, 2 node(s) had volume node affinity conflict, 3 node(s) didn't match Pod's node affinity/selector.

技术分析

1. 根本原因：当PV仍处于已附加(attached)状态时，Kubernetes无法完成删除操作。即使VolumeAttachment显示PV已正确附加到新节点，系统仍可能错误地认为PV需要被删除。

2. 触发条件：

   • 使用Azure托管CSI高级存储类
   • PV容量较大(通常≥1TiB)
   • 在节点池迁移过程中发生

3. 与其他云平台的差异：在AWS EBS上未观察到类似问题，这表明这可能与Azure磁盘CSI驱动器的特定实现有关。

解决方案

1. 临时解决方案：手动移除PV的finalizer：

   finalizers:
     - kubernetes.io/pv-protection
   

   然后从备份恢复Pod数据。

2. 推荐解决方案：

   • 在迁移前确保所有使用大型PV的工作负载已正常关闭
   • 考虑先删除PVC/PV，迁移完成后再重建
   • 联系Azure支持团队获取针对性的诊断和修复

最佳实践建议

1. 迁移前的准备工作：

   • 对大型PV数据进行完整备份
   • 考虑在维护窗口期执行迁移
   • 准备回滚方案

2. 监控与验证：

   • 迁移过程中密切监控PV/PVC状态
   • 验证VolumeAttachment是否正确更新
   • 检查kube-controller-manager日志以获取更多诊断信息

3. 容量规划：

   • 对于大型PV，考虑将其拆分为多个较小PV
   • 评估是否可以使用动态扩容功能而非一次性分配大容量

总结

AKS集群迁移过程中大型PV卡在Terminating状态的问题，揭示了Azure磁盘CSI驱动器在处理大容量卷时的特定行为。虽然存在临时解决方案，但最佳实践是在迁移前做好充分准备，并考虑联系Azure支持团队获取针对性的帮助。

AKS Azure Kubernetes Service 项目地址: https://gitcode.com/gh_mirrors/ak/AKS