使用 HPA 和 TopologySpreadConstraints 实现可用区间等比扩容

原创

已于 2023-12-08 18:20:16 修改 · 724 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#HPA #K8s #多可用区 #拓扑分散

于 2023-12-08 15:01:40 首次发布

本文介绍了如何在Kubernetes中使用HPA实现Pod的可用区同步扩容和均匀分布，包括设置TopoogySpreadConstraints、安装metrics-server、部署测试服务和HPA配置，以及利用Descheduler确保缩容后的均衡性。

1. 原理介绍

设置 HPA 每次最小扩容 Pod 数为可用区数量，以期可用区间 Pod 同步扩容
设置 TopologySpreadConstraints 可用区分散 maxSkew 为 1，以尽可能可用区间 Pod 均匀分布

2. 实验验证

2.1. 准备 Kind 集群

准备如下配置文件，命名为 kind-cluster.yaml

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  image: kindest/node:v1.24.0@sha256:0866296e693efe1fed79d5e6c7af8df71fc73ae45e3679af05342239cdc5bc8e
- role: worker
  image: kindest/node:v1.24.0@sha256:0866296e693efe1fed79d5e6c7af8df71fc73ae45e3679af05342239cdc5bc8e
  labels:
    topology.kubernetes.io/zone: "us-east-1a"
- role: worker
  image: kindest/node:v1.24.0@sha256:0866296e693efe1fed79d5e6c7af8df71fc73ae45e3679af05342239cdc5bc8e
  labels:
    topology.kubernetes.io/zone: "us-east-1c"

上述配置为集群定义了 2 个工作节点，并分别打上了不同的可用区标签。
执行如下命令创建该 Kubernetes 集群：

$ kind create cluster --config cluster-1.24.yaml
Creating cluster "kind" ...
 ✓ Ensuring node image (kindest/node:v1.24.0) 🖼 
 ✓ Preparing nodes 📦 📦 📦  
 ✓ Writing configuration 📜 
 ✓ Starting control-plane 🕹️ 
 ✓ Installing CNI 🔌 
 ✓ Installing StorageClass 💾 
 ✓ Joining worker nodes 🚜 
Set kubectl context to "kind-kind"
You can now use your cluster with:

kubectl cluster-info --context kind-kind

Have a question, bug, or feature request? Let us know! https://kind.sigs.k8s.io/#community 🙂

检查集群运行正常：

$ kubectl get node --show-labels
NAME                 STATUS   ROLES           AGE    VERSION   LABELS
kind-control-plane   Ready    control-plane   161m   v1.24.0   beta.kubernetes.io/arch=arm64,beta.kubernetes.io/os=linux,kubernetes.io/arch=arm64,kubernetes.io/hostname=kind-control-plane,kubernetes.io/os=linux,node-role.kubernetes.io/control-plane=,node.kubernetes.io/exclude-from-external-load-balancers=
kind-worker          Ready    <none>          160m   v1.24.0   beta.kubernetes.io/arch=arm64,beta.kubernetes.io/os=linux,kubernetes.io/arch=arm64,kubernetes.io/hostname=kind-worker,kubernetes.io/os=linux,topology.kubernetes.io/zone=us-east-1a
kind-worker2         Ready    <none>          160m   v1.24.0   beta.kubernetes.io/arch=arm64,beta.kubernetes.io/os=linux,kubernetes.io/arch=arm64,kubernetes.io/hostname=kind-worker2,kubernetes.io/os