怎么升级k8s集群中某一个节点

升级 Kubernetes (K8s) 集群中的一个节点是一个非常常见且重要的运维操作。这个过程需要谨慎进行，以确保业务不中断。

核心原则是：逐个升级，并确保节点在升级期间不承载工作负载。

这里我将以一个典型的 kubeadm 安装的集群为例，为你提供一个详细、安全的升级步骤。

---

升级前的准备工作

1. 备份关键数据：

   • etcd 备份：这是最重要的！如果你的控制平面节点（Master）也运行着 etcd，请务必备份。这是你的集群状态数据库。

     ETCDCTL_API=3 etcdctl snapshot save /tmp/etcd-backup.db \
       --endpoints=https://127.0.0.1:2379 \
       --cacert=<ca-file> --cert=<cert-file> --key=<key-file>
     

   • 备份 /etc/kubernetes 目录：这个目录包含了集群的所有核心配置文件。

     sudo cp -r /etc/kubernetes /etc/kubernetes.bak
     

2. 规划升级顺序：

   • 先升级控制平面节点：如果有多个控制平面节点，逐个升级。
   • 再升级工作节点：控制平面全部升级完成后，再逐个升级工作节点。

3. 确认目标版本：

   • 访问 Kubernetes 官方发布说明，确认你要升级到的版本，并阅读该版本的变更日志，特别是那些 “Deprecations” 和 “Removals”。

---

升级步骤（以一个工作节点为例）

假设你要将节点从 v1.28.x 升级到 v1.29.y。

第 1 步：在节点上执行维护模式（驱逐 Pod）

这一步会安全地驱逐该节点上的所有 Pod，Kubernetes 会在其他健康的节点上重新创建它们。

1. 标记节点为不可调度：防止新的 Pod 被调度到这个节点上。

   kubectl cordon <node-name>
   

   例如：kubectl cordon worker-node-1

2. 驱逐现有的 Pod：

   kubectl drain <node-name> --ignore-daemonsets --delete-emptydir-data
   

   • --ignore-daemonsets：忽略 DaemonSet 管理的 Pod（如网络插件、存储插件），因为它们必须在每个节点上运行。
   • --delete-emptydir-data：强制驱逐使用了 emptyDir 卷的 Pod。

   此时，该节点状态会变为 Ready,SchedulingDisabled。

第 2 步：登录到目标节点并升级 kubeadm

SSH 到你准备升级的节点上。

1. 更新 apt 包索引（以 Ubuntu 为例）：

   sudo apt-get update
   

2. 安装特定版本的 kubeadm：

   # 设置要升级到的版本号
   VERSION=1.29.0-00  # 请替换为你要升级的具体版本
   
   sudo apt-get install -y kubeadm=$VERSION
   

3. 验证 kubeadm 版本：

   kubeadm version
   

   确认版本已更新。

第 3 步：执行升级计划

1. 检查升级计划：

   sudo kubeadm upgrade plan
   

   这个命令会检查你的集群状态，并告诉你哪些组件可以升级，以及升级到哪个版本。

2. 升级该节点上的控制平面组件（如果该节点是控制平面节点）：

   sudo kubeadm upgrade node v1.29.0
   

   注意：对于工作节点，这一步是可选的，但推荐执行。它会升级本地的 kubelet 配置清单等。对于控制平面节点，这一步是必须的，它会升级 kube-apiserver, kube-controller-manager, kube-scheduler 等静态 Pod。

第 4 步：升级 kubelet 和 kubectl

1. 升级 kubelet 和 kubectl 到与 kubeadm 相同的版本：

   sudo apt-get install -y kubelet=$VERSION kubectl=$VERSION
   

2. 重启 kubelet 服务：

   sudo systemctl daemon-reload
   sudo systemctl restart kubelet
   

第 5 步：将节点重新加入集群

1. 回到你的控制平面节点（或任何有 kubectl 权限的机器）。

2. 取消节点的维护模式，让它重新接收新的 Pod：

   kubectl uncordon <node-name>
   

   例如：kubectl uncordon worker-node-1

3. 验证节点状态：

   kubectl get nodes
   

   等待一两分钟，你应该能看到该节点的 STATUS 变为 Ready，并且 VERSION 列显示为你刚刚升级的新版本（例如 v1.29.0）。

---

总结与注意事项

• 逐个操作：绝对不要同时升级多个节点，尤其是在生产环境中。
• 先控制平面，后工作节点：这是保证集群稳定性的关键。
• 版本兼容性：Kubernetes 官方规定，kubelet 版本不能高于 kube-apiserver 版本，且小版本差异不能超过 2。升级时请务必遵守。
• 回滚计划：如果升级失败，你需要有清晰的回滚计划。这就是为什么备份至关重要。回滚通常包括：恢复 /etc/kubernetes 配置、降级 kubeadm, kubelet, kubectl 包，然后重启服务。

按照以上步骤，你就可以安全、平滑地升级 K8s 集群中的任何一个节点了。

常见问题

apt-get 拒绝执行升级，导致 kubeadm 的版本没有变化。

1. 包被锁定：你系统中的 kubeadm 软件包被设置了“锁定”状态。这通常是为了防止意外升级（比如 apt upgrade 时自动升级了关键系统组件）。
2. apt-get 的安全机制：当你尝试升级一个被锁定的包时，apt-get 认为这是一个需要你特别确认的“危险”操作。即使你用了 -y 来自动回答 “Yes?”，它依然会拒绝，因为它认为这个操作需要你明确的“我允许更改锁定包”的授权。

解决方案

你需要做的，就是在命令中明确告诉 apt-get：“我知道这个包被锁定了，我授权你更改它。”

方案一：使用 --allow-change-held-packages 标志（推荐）

这是最直接、最符合错误提示的解决方案。

sudo apt-get install -y kubeadm=1.34.1-1.1 --allow-change-held-packages

执行这个命令后，apt-get 就会成功解锁并升级 kubeadm 到你指定的版本。

方案二：先解锁，再安装

你也可以分两步走：先手动解锁，再正常安装。

1. 解锁 kubeadm 包：

   sudo apt-mark unhold kubeadm
   

2. 然后正常执行安装命令：

   sudo apt-get install -y kubeadm=1.34.1-1.1
   

3. （可选）安装完成后重新锁定：为了防止未来被意外升级，你可以再次将它锁定。

   sudo apt-mark hold kubeadm