K8s集群容灾演练:如何用阿里云SLB实现Master节点秒级切换?
在云原生技术栈中,Kubernetes集群的高可用性早已不是“锦上添花”,而是“生死攸关”的生产级刚需。想象一下,凌晨三点,你的核心业务集群某个Master节点突然宕机,kubectl命令瞬间卡死,监控面板一片飘红——这种场景对任何运维团队来说都是噩梦。传统的多Master架构虽然提供了冗余,但故障转移的平滑性、客户端连接的持续性、证书管理的复杂性,这些细节才是真正考验系统健壮性的地方。
今天,我们不谈空洞的理论,直接切入实战。我将带你深入一个真实的容灾演练场景:如何利用阿里云负载均衡SLB,构建一个能够实现Master节点秒级切换、对业务几乎无感知的高可用K8s集群。本文面向的是已经拥有基础集群、正在寻求生产级高可用方案的运维工程师和架构师。我们将聚焦于故障转移的实战细节,特别是当server2这个Master节点模拟宕机时,SLB如何将流量无缝切换到server3和server4,并深入分析kubectl连接中断时间、证书更新机制等核心问题,最后给出Worker节点的重连策略优化建议。
1. 高可用架构的核心:理解SLB在K8s中的角色
在开始动手之前,我们必须先厘清一个关键概念:SLB在这里扮演的究竟是什么角色? 很多人误以为它只是简单地将流量分发给后端的多个apiserver。实际上,在K8s高可用架构中,SLB的核心价值在于为集群客户端(kubectl、kubelet、controller-manager等)提供一个稳定、唯一的访问端点,并将这个端点的故障转移能力从分钟级提升到秒级甚至亚秒级。
1.1 传统多Master架构的痛点
在没有SLB的传统部署中,高可用通常通过以下方式实现:
- 多个Master节点部署相同的apiserver、scheduler和controller-manager。
- 使用Keepalived + HAProxy维护一个虚拟IP(VIP)。
- 客户端配置直接指向这个VIP。
这种方式存在几个明显短板:
- VIP切换依赖ARP广播,在复杂的云网络环境中可能延迟较高,且受网络设备影响大。
- 客户端连接状态丢失:VIP切换后,所有TCP连接会中断,客户端必须重新建立连接,导致
kubectl get pods等命令会短暂报错。 - 配置管理复杂:每个客户端都需要手动配置或通过DNS解析VIP,增加了运维负担。
1.2 阿里云SLB带来的范式转变
阿里云SLB(本文以传统型负载均衡CLB为例,它完美适用于四层TCP流量转发)作为一个全托管的服务,彻底解决了上述问题:
| 特性 | 传统VIP方案 | 阿里云SLB方案 | 对高可用的价值 |
|---|---|---|---|
| 故障检测与切换 | 依赖Keepalived脚本,秒级到分钟级 | 内置健康检查,秒级自动剔除异常后端 | 切换速度更快,更可靠 |
| 连接保持 | VIP切换导致所有TCP连接重置 | SLB实例IP不变,连接由SLB代理,后端故障对客户端透明 | 客户端几乎无感知 |
| 运维复杂度 | 需自行维护HAProxy配置、Keepalived脚本 | 控制台或API管理,配置简单,无需维护底层服务 | 大幅降低运维负担 |
| 扩展性 | 水平扩展能力有限 | 可根据性能需求选择不同规格,后端可随时增删节点 | 轻松应对集群规模增长 |
提示:阿里云SLB分为应用型负载均衡ALB(七层,适用于HTTP/HTTPS)、网络型负载均衡NLB(四层,超高性能)和传统型负载均衡CLB(四层/七层)。对于K8s apiserver的6443端口(HTTPS),理论上ALB和CLB都支持,但更推荐使用CLB的TCP监听。因为apiserver的TLS终止发生在客户端与apiserver之间,SLB无需解密流量,只需做TCP转发,这样性能最优,且配置最简单。
核心原理:当你在SLB上创建一个监听器,监听TCP 6443端口,并将所有Master节点的6443端口添加为后端服务器后,SLB就成为了集群的“流量入口”。所有发往SLB公网或私网IP:6443的请求,都会被均匀或按策略分发到健康的Master节点。SLB会通过定期向后端发送TCP SYN包或配置的HTTP/HTTPS健康检查来探测后端服务状态。一旦某个Master节点的apiserver进程停止或主机宕机,健康检查失败,SLB会在秒级内自动将其从后端服务器组中移除,流量不再转发至该故障节点,而是由剩余的健康节点接管。
2. 实战部署:构建基于SLB的高可用K8s集群
理论清晰后,我们进入实战环节。假设我们已有三台Master节点(server2, server3, server4)和若干Worker节点,目标是将其改造为通过SLB访问的高可用集群。
2.1 前置准备与集群规划
首先,确保你的环境符合以下要求:
- 阿里云账号及足够的权限创建SLB和ECS实例。
- VPC网络:所有ECS实例(Master和Worker)必须位于同一个VPC内,确保内网互通。
- 安全组:需要放行SLB到Master节点6443端口的流量,以及Master、Worker节点间的必要端口(如2379-2380 for etcd, 10250 for kubelet等)。
我们的目标架构如下:
[阿里云SLB (私网IP: 10.0.0.100)]
|
| TCP:6443
|
+-----------------+------------------+
| | |
[Master-1: server2] [Master-2: server3] [Master-3: server4]
(10.0.0.3:6443) (10.0.0.4:6443) (10.0.0.5:6443)
| | |
+------------------+-----------------+
|
[etcd Cluster]
|
+------------------+-----------------+
| | |
[Worker-1] [Worker-2] [Worker-N]
2.2 步骤一:创建并配置阿里云私网SLB实例
-
登录阿里云控制台,进入负载均衡SLB产品页面。
-
创建实例:
- 选择私网实例(因为K8s集群内部通信通常走内网,更安全、延迟更低、无公网流量费用)。
- 网络类型选择专有网络,并选择你的K8s集群所在的VPC。
- 根据预估的apiserver访问量选择适当的规格(对于大多数场景,入门规格已足够)。
-
添加TCP监听:
- 监听协议:TCP
- 监听端口:6443 (K8s apiserver默认端口)
- 后端端口:6443 (转发到Master节点的端口)
- 调度算法:加权轮询或最小连接数均可。轮询更公平,最小连接数可能更均衡。
-
配置健康检查:
- 这是实现自动故障转移的关键。对于TCP监听,SLB会尝试与后端服务器的6443端口建立TCP连接。
- 响应超时时间:建议设为
5秒。 - 健康检查间隔:建议设为
3秒。 - 不健康阈值:连续失败
3次后判定为不健康。 - 健康阈值:连续成功
2次后恢复为健康。 - 这样配置意味着,一个后端节点从健康到被剔除,最快可能在
5秒 * 3次 = 15秒内完成。你可以根据对故障敏感度的要求调整这些值,更短的间隔和超时能更快发现故障,但也会增加SLB和后端的负载。
# 你可以通过阿里云CLI快速创建监听(示例) # 首先,获取你的SLB实例ID和VServerGroup ID(如果使用默认服务器组,可跳过创建VServerGroup) aliyun slb CreateLoadBalancerTCPListener \ --LoadBalancerId lb-xxx \ --ListenerPort 6443 \ --BackendServerPort 6443 \ --Bandwidth -1 \ --Scheduler wrr \ --PersistenceTimeout 0 \ --HealthyThreshold 2 \ --UnhealthyThreshold 3 \ --HealthCheckConnectTimeout 5 \ --HealthCheckInterval 3 -
添加后端服务器:
- 将你的三台Master节点(server2, server3, server4)的内网IP和端口(6443)添加到该监听的后端服务器组中。
- 确保这些ECS实例的安全组入方向允许来自SLB所在安全组(或SLB服务网段)的TCP 6443端口访问。
2.3 步骤二:使用kubeadm初始化首个Master节点
在server2上,使用kubeadm初始化集群。最关键的一步是--control-plane-endpoint参数必须设置为SLB的私网IP地址和端口。
# 在 server2 (10.0.0.3) 上执行
sudo kubeadm init \
--control-plane-endpoint="10.0.0.100:6443" \ # 这是SLB的私网IP和端口
--pod-network-cidr=172.16.0.0/16 \ # 与你选择的CNI插件匹配,如Calico、Flannel
--upload-certs \ # 自动上传证书,供其他Master节点加入时使用
--apiserver-cert-extra-sans=10.0.0.100,server2,server3,server4,<公网IP或其他需要包含在证书中的域名/IP>
注意:
--apiserver-cert-extra-sans参数至关重要。它确保生成的apiserver证书包含了SLB的IP地址(10.0.0.100)以及所有Master节点的主机名/IP。这样,当客户端通过SLB连接时,证书验证才能通过,避免x509: certificate is valid for ... not 10.0.0.100的错误。
初始化成功后,按照提示配置kubectl:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
同时,你会得到两个重要的命令:
- 其他Master节点加入集群的命令(包含
--control-plane和--certificate-key)。 - Worker节点加入集群的命令(普通的
kubeadm join)。
2.4 步骤三:加入其他Master节点
在server3和server4上,执行从server2初始化输出中得到的Master加入命令。这个命令已经包含了--control-plane-endpoint=10.0.0.100:6443和必要的证书密钥。
# 在 server3 (10.0.0.4) 和 server4 (10.0.0.5) 上分别执行
sudo kubeadm join 10.0.0.100:6443 \
--token <your-token> \
--discovery-token-ca-cert-hash sha256:<your-hash> \
--control-plane \
--certificate-key <your-certificate-key>
执行成功后,这些节点上也会生成/etc/kubernetes/admin.conf文件。请务必检查每个Master节点上的这个文件,确保其中的server字段指向的是SLB地址https://10.0.0.100:6443,而不是某个节点的具体IP。
# 检查admin.conf配置
cat /etc/kubernetes/admin.conf | grep server
# 应该输出:server: https://10.0.0.100:6443
2.5 步骤四:配置所有Worker节点
修改所有现有Worker节点(以及未来要加入的Worker节点)的kubelet配置,使其通过SLB连接apiserver。
-
找到kubelet配置文件:通常位于
/etc/kubernetes/kubelet.conf或/var/lib/kubelet/config.yaml。 -
修改apiserver地址:将其中指向单个Master IP的地址改为SLB地址。
# /var/lib/kubelet/config.yaml 片段 apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration ... clusterDNS: - 172.251.0.10 clusterDomain: cluster.local # 关键修改:将原来的 server: https://10.0.0.3:6443 改为 # 注意:这里不是直接修改kubelet.conf,而是修改kubelet启动参数或kubeadm生成的配置文件。 # 更可靠的方法是使用kubeadm join时直接指定正确的endpoint。实际上,更干净的做法是,如果Worker节点尚未加入,直接使用从
server2初始化得到的Worker加入命令,这个命令里的--discovery-token-unsafe-skip-ca-verification或自动发现的地址应该已经是SLB的地址。如果Worker节点已加入,则需要:- 更新
/etc/kubernetes/kubelet.conf中的clusters.cluster.server字段。 - 更新
/etc/kubernetes/bootstrap-kubelet.conf(如果存在)。 - 重启kubelet服务:
sudo systemctl daemon-reload && sudo systemctl restart kubelet。
- 更新
-
验证Worker节点状态:在任一Master节点上执行
kubectl get nodes,所有Worker节点应显示为Ready状态。
至此,一个基于阿里云SLB的高可用K8s集群架构就搭建完成了。此时,所有客户端(包括kubectl、kubelet、scheduler等)都将通过https://10.0.0.100:6443这个统一的入口与集群交互。
3. 模拟故障与深度分析:SLB秒级切换的幕后
架构搭建好了,但我们更关心的是它是否真的“高可用”。现在,让我们模拟server2节点宕机,并深入观察和分析整个故障转移过程。
3.1 故障模拟与现象观察
- 初始状态确认:在SLB控制台,确认三台Master节点均为健康状态。
- 模拟宕机:在
server2上,直接关闭apiserver服务或更暴力地关机。# 在 server2 上执行 sudo systemctl stop kube-apiserver # 或者 sudo shutdown -h now - 观察SLB控制台:等待约15-30秒(取决于你设置的健康检查参数),你会看到
server2的健康状态从正常变为异常,并且其权重可能变为0,意味着SLB不再向其转发任何新流量。 - 客户端体验测试:在另一台机器上,使用配置了SLB地址的kubectl持续执行命令。
理想情况下,你应该看不到任何错误输出,命令会持续成功执行。 这是因为SLB在TCP层工作,对于已建立的连接,如果# 在一个循环中持续获取pod状态,观察是否有中断 while true; do kubectl get pods -n kube-system 2>&1 | head -n 3; sleep 1; doneserver2是当前连接的后端,当server2宕机,该TCP连接会中断,kubectl(客户端)会收到一个连接错误。但是,由于kubectl命令通常是短连接(执行完即断开),下一次循环执行时,kubectl会向SLB发起新的TCP连接,此时SLB已经将server2剔除,新连接会被分配到健康的server3或server4上,因此从用户角度看,只有极短暂的失败(可能一次循环失败),随后立即恢复。
3.2 关键指标深度分析
1. kubectl连接中断时间: 这个时间主要由以下几部分构成:
- SLB健康检查发现时间:即从
server2apiserver进程停止,到SLB健康检查连续失败达到“不健康阈值”的时间。这是我们之前配置的响应超时(5s) * 不健康阈值(3) = 15秒。这是最大可能时间,实际网络丢包可能导致更快失败。 - SLB后端服务器剔除与流量切换时间:SLB判定后端不健康后,将其从转发池中移除的时间几乎是瞬间的(毫秒级)。
- 客户端重连时间:对于像
kubectl这样的命令行工具,它不内置连接池和重试机制(但k8s client-go有)。当连接失败后,需要用户或脚本重新发起请求。如果使用client-go的客户端(如某些控制器),其内置的指数退避重试机制可能会在几百毫秒到几秒内自动重试并连接到新的健康后端。
因此,对于交互式命令,中断时间≈SLB健康检查发现时间(最坏15秒)。对于自动化控制器,中断时间可能更短。
2. 证书更新机制:
这是高可用集群另一个容易踩坑的地方。我们的证书是在初始化时用--apiserver-cert-extra-sans包含了SLB IP和所有Master IP的。这意味着:
- 证书是通用的:无论SLB将请求转发到哪个Master节点,该节点提供的证书都包含SLB的IP(
10.0.0.100),因此客户端验证通过。 - 无需定期更新:只要SLB的IP不变,且Master节点IP都在证书的SAN列表中,证书就一直有效。
- 新增Master节点:如果需要扩容Master,新节点加入时使用的证书密钥是初始化时上传的,其生成的证书也包含所有初始的SAN。但新节点的IP如果不在初始SAN列表中,需要手动更新apiserver证书,或者更简单的方法:在初始化第一个节点时,尽可能将未来可能用到的IP段或域名通过
--apiserver-cert-extra-sans加入。
3. etcd集群的健壮性:
Master节点的高可用不仅仅在于apiserver,还在于底层的etcd集群。我们的三个Master节点也部署了etcd成员。当server2宕机时:
- 如果etcd是独立部署的,且三个节点都是投票成员,那么失去一个节点,etcd集群仍能正常读写(剩余2个节点满足quorum)。
- 如果
server2上的etcd进程也停止了,etcd集群会自动将其标记为不健康,领导者选举会在剩余节点间进行。只要多数节点(>=2)存活,etcd集群就可用,apiserver就能从健康的etcd节点获取数据。 - 关键是要确保
kube-apiserver的--etcd-servers参数指向所有etcd节点(例如https://10.0.0.3:2379,https://10.0.0.4:2379,https://10.0.0.5:2379),这样当一个etcd节点故障时,apiserver可以自动尝试其他节点。
3.3 故障恢复验证
将server2恢复后(启动apiserver服务),SLB的健康检查会重新探测到其6443端口可用。经过连续成功次数达到“健康阈值”后,SLB会将其重新加回后端服务器组,流量开始重新分发到server2。这个过程同样对客户端透明。
4. 生产级优化与进阶策略
基础的秒级切换实现了,但要达到真正的生产级稳健,还需要考虑以下优化点。
4.1 Worker节点kubelet重连策略优化
默认情况下,kubelet与apiserver的连接断开后,会尝试重连。但我们可以优化其参数,使其更适应网络波动或短暂的主机故障。
编辑kubelet的systemd服务文件(/etc/systemd/system/kubelet.service.d/10-kubeadm.conf)或kubelet配置文件,调整以下参数:
# /var/lib/kubelet/config.yaml 中可调整的部分
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
...
# 增加与apiserver通信的QPS和突发值,在节点数量多时可能有用
kubeAPIQPS: 50
kubeAPIBurst: 100
...
# 以下参数通常在kubelet命令行参数中设置
# 在 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 中修改
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# 添加或修改以下参数
Environment="KUBELET_EXTRA_ARGS=--node-status-update-frequency=10s --runtime-request-timeout=15m --image-pull-progress-deadline=30m --streaming-connection-idle-timeout=30m"
更关键的是,确保kubelet在apiserver不可用时不会过于频繁地重启或标记自己为不健康。kubelet本身有重试逻辑,通常不需要额外配置。但你需要监控kubelet日志,观察在SLB切换期间是否有异常。
4.2 多可用区部署与SLB高可用
对于更高要求的容灾场景,可以考虑:
- Master节点跨可用区部署:将三个Master节点分别部署在同一个地域的不同可用区(AZ)内,避免单个可用区故障导致整个控制平面瘫痪。
- SLB实例本身的高可用:阿里云SLB实例本身采用集群部署,具备高可用性。但对于极致要求,可以在前端再结合全球加速或DNS轮询实现跨地域容灾。
4.3 监控与告警
搭建完善的监控体系,对以下指标设置告警:
- SLB后端服务器健康状态:任何Master节点健康检查失败,立即告警。
- apiserver请求错误率:通过Prometheus监控
apiserver_request_total和apiserver_request_errors指标。 - etcd集群健康状态:监控
etcd_server_has_leader和etcd_server_leader_changes_seen_total。 - 控制平面组件状态:确保
scheduler和controller-manager也以多副本模式运行且健康。
4.4 定期容灾演练
高可用不是“配置即完成”,必须通过定期演练来验证。建议每月或每季度执行一次演练:
- 计划内演练:在业务低峰期,手动在SLB控制台摘除一个Master后端,观察业务影响。
- 模拟故障:随机选择一台Master节点,重启其
kube-apiserver服务或模拟网络分区。 - 记录与复盘:详细记录故障发现时间、切换时间、业务影响时长,并不断优化健康检查参数和应急预案。
通过以上四个部分的拆解,我们从理论到实践,从搭建到优化,完整地掌握了利用阿里云SLB构建高可用K8s集群并实现Master节点秒级切换的全套方案。记住,真正的“高可用”是一个持续的过程,它依赖于清晰的架构、正确的配置、细致的监控和不断的演练。当你对这套流程了然于胸,面对真正的故障时,才能做到从容不迫。
474



被折叠的 条评论
为什么被折叠?



