Kubeadm方式部署K8s高可用集群

1.1 Kubernetes高可用集群部署

1.1.1 集群架构

1. 高可用拓扑

可以设置 HA 集群：

• 使用堆叠（stacked）控制平面节点，其中 etcd 节点与控制平面节点共存；

• 使用外部 etcd 节点，其中 etcd 在与控制平面不同的节点上运行；

• 在设置 HA 集群之前，应该仔细考虑每种拓扑的优缺点。

2. 堆叠（Stacked） etcd 拓扑

主要特点：

• etcd 分布式数据存储集群堆叠在 kubeadm 管理的控制平面节点上，作为控制平面的一个组件运行。

• 每个控制平面节点运行 kube-apiserver，kube-scheduler 和 kube-controller-manager 实例。

• kube-apiserver 使用 LB 暴露给工作节点。

• 每个控制平面节点创建一个本地 etcd 成员（member），这个 etcd 成员只与该节点的 kube-apiserver 通信。这同样适用于本地 kube-controller-manager 和 kube-scheduler 实例。

简单概况：每个 master 节点上运行一个 apiserver 和 etcd, etcd 只与本节点 apiserver 通信。

这种拓扑将控制平面和 etcd 成员耦合在同一节点上。相对使用外部 etcd 集群，设置起来更简单，而且更易于副本管理。

然而堆叠集群存在耦合失败的风险。如果一个节点发生故障，则 etcd 成员和控制平面实例都将丢失，并且冗余会受到影响。可以通过添加更多控制平面节点来降低此风险。应该为 HA 集群运行至少三个堆叠的控制平面节点（防止脑裂）。

这是 kubeadm 中的默认拓扑。当使用 kubeadm init 和 kubeadm join --control-plane 时，在控制平面节点上会自动创建本地 etcd 成员。

3. 外部 etcd 拓扑

主要特点：

• 具有外部 etcd 的 HA 集群是一种这样的拓扑，其中 etcd 分布式数据存储集群在独立于控制平面节点的其他节点上运行。

• 就像堆叠的 etcd 拓扑一样，外部 etcd 拓扑中的每个控制平面节点都运行 kube-apiserver，kube-scheduler 和 kube-controller-manager 实例。

• 同样 kube-apiserver 使用负载均衡器暴露给工作节点。但是，etcd 成员在不同的主机上运行，每个 etcd 主机与每个控制平面节点的 kube-apiserver 通信。

简单概况： etcd 集群运行在单独的主机上，每个 etcd 都与 apiserver 节点通信。

• 这种拓扑结构解耦了控制平面和 etcd 成员。因此，它提供了一种 HA 设置，其中失去控制平面实例或者 etcd 成员的影响较小，并且不会像堆叠的 HA 拓扑那样影响集群冗余。

• 但是，此拓扑需要两倍于堆叠 HA 拓扑的主机数量。具有此拓扑的 HA 集群至少需要三个用于控制平面节点的主机和三个用于 etcd 节点的主机。需要单独设置外部 etcd 集群。

1.1.2 基础环境部署

• Kubernetes版本：1.28.2

主机	IP地址	操作系统	配置
k8s-master-01	192.168.110.21	CentOS Linux release 7.9.2009	4颗CPU 8G内存 100G硬盘
k8s-master-02	192.168.110.22	CentOS Linux release 7.9.2009	4颗CPU 8G内存 100G硬盘
k8s-master-03	192.168.110.23	CentOS Linux release 7.9.2009	4颗CPU 8G内存 100G硬盘
k8s-node-01	192.168.110.24	CentOS Linux release 7.9.2009	4颗CPU 8G内存 100G硬盘
k8s-node-02	192.168.110.25	CentOS Linux release 7.9.2009	4颗CPU 8G内存 100G硬盘
k8s-node-03	192.168.110.26	CentOS Linux release 7.9.2009	4颗CPU 8G内存 100G硬盘

• 关闭防火墙和SElinux

[root@k8s-all ~]# systemctl disable --now firewalld.service
[root@k8s-all ~]# sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
[root@k8s-all ~]# setenforce 0

• 所有节点配置Hosts解析

[root@k8s-all ~]# cat >> /etc/hosts << EOF
> 192.168.110.21 k8s-master-01
> 192.168.110.22 k8s-master-02
> 192.168.110.23 k8s-master-03
> 192.168.110.24 k8s-node-01
> 192.168.110.25 k8s-node-02
> 192.168.110.26 k8s-node-03
> EOF

• k8s-master-01生成密钥，其他节点可以免密钥访问

[root@k8s-master-01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N '' -q
[root@k8s-master-01 ~]# ssh-copy-id k8s-master-02
[root@k8s-master-01 ~]# ssh-copy-id k8s-master-03
[root@k8s-master-01 ~]# ssh-copy-id k8s-node-01
[root@k8s-master-01 ~]# ssh-copy-id k8s-node-02
[root@k8s-master-01 ~]# ssh-copy-id k8s-node-03

• 配置NTP时间同步

[root@k8s-all ~]# sed -i '3,6 s/^/# /' /etc/chrony.conf
[root@k8s-all ~]# sed -i '6 a server ntp.aliyun.com iburst' /etc/chrony.conf 
[root@k8s-all ~]# systemctl restart chronyd.service 
[root@k8s-all ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* 203.107.6.88                  2   6    17    13   -230us[-2619us] +/-   25ms

• 禁用Swap交换分区

[root@k8s-master-01 ~]# swapoff -a   #临时关闭
[root@k8s-all ~]# sed -i 's/.*swap.*/# &/' /etc/fstab  #永久关闭

• 升级操作系统内核

[root@K8s-all ~]# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
[root@K8s-all ~]# yum install https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm -y 
[root@K8s-all ~]# yum --enablerepo="elrepo-kernel" install kernel-ml.x86_64 -y
[root@K8s-all ~]# uname -r
3.10.0-1160.71.1.el7.x86_64
[root@K8s-all ~]# grub2-set-default 0
[root@K8s-all ~]# grub2-mkconfig -o /boot/grub2/grub.cfg
[root@K8s-all ~]# reboot
[root@K8s-all ~]# uname -r
6.8.9-1.el7.elrepo.x86_64

• 配置内核转发及网桥过滤

[root@k8s-all ~]# echo net.ipv4.ip_forward = 1 >> /etc/sysctl.conf 
[root@k8s-all ~]# sysctl -p
net.ipv4.ip_forward = 1
[root@K8s-all ~]# cat > /etc/sysctl.d/k8s.conf << EOF
> net.bridge.bridge-nf-call-ip6tables = 1