如何优雅地关闭Kubernetes集群中的Pod

最新推荐文章于 2025-02-22 12:13:32 发布

原创最新推荐文章于 2025-02-22 12:13:32 发布 · 1.8k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#队列 #java #linux #kubernetes #分布式

本文介绍了如何在Kubernetes集群中优雅地关闭Pod，确保应用程序能够正常处理完毕当前任务再退出，减少更新过程中对服务的影响。

原文标题：Gracefully Shutting Down Pods in a Kubernetes Cluster

发布时间：Jan 26, 2019

原文链接：https://blog.gruntwork.io/zero-downtime-server-updates-for-your-kubernetes-cluster-902009df5b33

文章作者：yorinasub17

这是我们实现 Kubernetes 集群零停机时间更新的第二部分。在本系列的第一部分中，我们列举出了简单粗暴地使用kubectl drain 命令清除集群节点上的 Pod 的问题和挑战。在这篇文章中，我们将介绍解决这些问题和挑战的手段之一：优雅地关闭 Pod。

Pod驱逐的生命周期

默认情况下，kubectl drain命令驱逐节点上的 Pod 时会遵循 Pod 的生命周期，这意味着整个过程会遵守以下规则：

kubectl drain将向控制中心发出删除目标节点上的 Pod 的请求。随后，请求将通知目标节点上的 kubelet 开始关闭 Pod。
节点上的kubelet 将会调用 Pod 里的 preStop 钩子。
当 preStop 钩子执行完成后，节点上的kubelet 会向Pod容器中运行的程序发送 TERM信号（SIGTERM）。
节点上的kubelet将最多等待指定的宽限期（在pod上指定，或从命令行传入；默认为30秒）然后关闭容器，然后强行终止进程（使用SIGKILL）。注意，这个宽限期包括执行 preStop钩子的时间。

译注：Kubelet 终止Pod前的等待宽限期有两种方式指定

在Pod定义里通过Pod模板的spec.terminationGracePeriodSeconds 设定
kubectl delete pod {podName} --grace-period=60

基于此流程，我们可以利用应用程序 Pod 中的preStop钩子和信号处理来正常关闭应用程序，以便在最终终止应用程序之前对其进行“清理”。例如，假如有一个工作进程从队列中读取信息然后处理任务，我们可以让应用程序捕获 TERM 系统信号，以指示该应用程序应停止接受新任务，并在所有当前任务完成后停止运行。或者，如果运行的应用程序无法修改以捕获 TERM 信号（例如第三方应用程序），则可以使用preStop钩子来实现该服务提供的自定义API，来正常关闭应用。

在我们的示例中，Nginx 默认情况下不能处理 TERM 信号，因此，我们将改为依靠 Pod 的 preStop钩子实现正常停止Nginx。我们将修改资源定义，将生命周期钩子添加到容器的spec定义中，如下所示：

lifecycle:
  preStop:
    exec:
      command: [
        # Gracefully shutdown nginx
        "/usr/sbin/nginx", "-s", "quit"
      ]

应用此配置后，在将 TERM 信号发送给容器中的Nginx进程之前，kebulet 调用 Pod 的生命周期钩子发出命令 / usr / sbin / nginx -s quit。请注意，由于该命令将会正常停止 Nginx 进程和 Pod，因此 TERM 信号实际上在这个例子中是一个空操作。

在定义文件添加了生命周期钩子后，整个 Deployment 资源的定义变成了下面这样

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.15
        ports:
        - containerPort: 80
        lifecycle:
          preStop:
            exec:
              command: [
                # Gracefully shutdown nginx
                "/usr/sbin/nginx", "-s", "quit"
              ]