AKS节点镜像中自定义CA证书信任问题的分析与解决方案

AKS节点镜像中自定义CA证书信任问题的分析与解决方案

AKS Azure Kubernetes Service 项目地址: https://gitcode.com/gh_mirrors/ak/AKS

问题背景

在Azure Kubernetes Service(AKS)的2024.09.23.0和2024.09.30.0版本节点镜像中，使用自定义证书颁发机构(CA)预览功能的用户可能会遇到一个关键问题。当部署由自定义CA功能创建的守护进程集(DaemonSet)时，相关Pod会出现"ErrImageNeverPull"错误，具体表现为无法找到"mcr.microsoft.com/aks/aks-node-ca-watcher:static"容器镜像。

问题根源分析

该问题的根本原因是节点镜像中缺少了预期的镜像标签。自定义CA功能依赖的守护进程集配置要求使用"static"标签的节点CA监视器镜像(aks-node-ca-watcher)，但在上述版本的节点镜像中，该镜像实际上是以"master.240820.1"标签发布的，导致Kubernetes无法按预期拉取镜像。

影响范围

此问题会直接影响以下场景：

1. 使用自定义CA证书功能将企业CA证书添加到节点信任存储的用户
2. 运行2024.09.23.0或2024.09.30.0版本节点镜像的AKS集群
3. 依赖节点自动信任自定义CA证书的工作负载

解决方案

推荐解决方案：升级节点镜像

最彻底的解决方法是升级到包含修复的202410.09.0版本节点镜像。该版本已正确标记了所需的容器镜像，可以完全解决问题。用户可以在节点镜像发布跟踪页面查看该版本在所在区域的可用情况。

临时解决方案：手动重标记镜像

在无法立即升级的情况下，可以在每个受影响节点上执行以下手动修复步骤：

ctr --namespace k8s.io image tag mcr.microsoft.com/aks/aks-node-ca-watcher:master.240820.1 mcr.microsoft.com/aks/aks-node-ca-watcher:static

此命令使用containerd的ctr工具将现有镜像重新标记为守护进程集期望的"static"标签。

注意事项

1. 手动修复需要在集群中的每个节点上执行
2. 对于大规模集群，可以考虑编写自动化脚本批量执行
3. 手动修复后，建议仍尽快升级到修复版本
4. 在受限环境中，可能需要通过支持请求获取额外帮助

技术原理深入

自定义CA功能的工作原理是通过DaemonSet在每个节点上部署一个监视器容器，该容器负责：

1. 监视自定义CA证书的变更
2. 将证书添加到节点的信任存储
3. 确保容器运行时信任这些证书

当镜像拉取失败时，这一机制完全中断，导致节点无法识别和信任自定义CA证书，进而可能影响依赖这些证书的工作负载。

最佳实践建议

1. 定期检查节点镜像版本，及时应用安全更新
2. 在生产环境使用预览功能前，充分测试其稳定性
3. 建立节点问题监控机制，及时发现类似异常
4. 对于关键证书功能，考虑备用手动部署方案

总结

AKS节点镜像中的这个自定义CA证书问题虽然影响范围有限，但对于依赖此功能的企业用户可能造成较大影响。通过理解问题本质和掌握解决方案，用户可以有效地恢复功能并确保集群安全运行。建议用户优先采用升级方案，在特殊情况下使用临时修复措施，并持续关注AKS的版本更新公告。

AKS Azure Kubernetes Service 项目地址: https://gitcode.com/gh_mirrors/ak/AKS