k8s集群外挂etcd集群存储数据

关注

原创 2024-11-20 11:16:45 1.3k 阅读 AI 写同款· GEO 优化 ›

k8s快速部署，附带脚本将yml文件放在文章中是不想遇到下载不下来的情况，可跳过yml文件内容，文章本身内容不多。本章内容可供学习及简单了解k8s集群部署及使用。参考文档里有些地方是有坑的。使用本章整理内容可完整部署出两个版本。[k8s1.18.8集群][metrics server][kuboard] [k8s1.26.1集群][metrics server][kuboard v3] 阅读详情

1.前言

k8s集群可以选用外挂etcd集群的方式存储数据，也可以选择使用etcd容器化搭建集群的方式存储数据，因为在k8s高可用集群搭建中我使用了容器化的etcd集群，现在来说一下使用外挂etcd集群的方式

2.主机信息

主机名称	ip	port	service
k8s-master01	10.1.60.119	2379、2380	etcd
k8s-master02	10.1.60.120	2379、2380	etcd
k8s-master03	10.1.60.121	2379、2380	etcd

3.搭建etcd集群

3.1安装etcd

yum -y install etcd

3.2编辑etcd配置文件

vi /etc/etcd/etcd.conf

#[Member]
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://10.1.60.119:2380"
ETCD_LISTEN_CLIENT_URLS="http://10.1.60.119:2379,http://127.0.0.1:2379"
ETCD_NAME="k8s-master01"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.1.60.119:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://10.1.60.119:2379"
ETCD_INITIAL_CLUSTER="k8s-master01=http://10.1.60.119:2380,k8s-master02=http://10.1.60.120:2380,k8s-master03=http://10.1.60.121:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

这是其中一台主机的配置，其余主机只需根据这个配置修改其中的ip地址和etcd_name即可

3.3启动etcd服务并配置开机启动

systemctl start etcd && systemctl enable etcd

3.4查看etcd集群状态

一定要把所有节点的的etcd集群都启动后在查看

etcdctl member list

etcdctl cluster-health

4.k8s集群搭建

基础环境配置参考：kubeadm部署k8s 1.26.0版本高可用集群_Apex Predator的博客-优快云博客

前面的搭建与上面文章中的一样，只是多了etcd集群的部署，直到k8s集群初始化才有所不同

4.1k8s集群初始化

导出初始化配置文件

kubeadm config print init-defaults > kubeadm.yaml

编辑配置文件

vi kubeadm.yaml

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 10.1.60.119   #配置控制节点
  bindPort: 6443   #控制节点默认端口
nodeRegistration:
  criSocket: unix:///var/run/cri-dockerd.sock   #配置使用cri-docker
  imagePullPolicy: IfNotPresent
  name: k8s-master01   #定义节点名称
  taints: null
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
imageRepository: registry.aliyuncs.com/google_containers  #配置镜像源地址为阿里云地址
kind: ClusterConfiguration
kubernetesVersion: 1.26.0                #配置k8s版本
controlPlaneEndpoint: 10.1.60.124:16443   #配置vip地址
etcd:                      #配置etcd集群地址
  external:
    endpoints:
      - http://10.1.60.119:2379
      - http://10.1.60.120:2379
      - http://10.1.60.121:2379
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16       #配置pod地址段
  serviceSubnet: 10.96.0.0/12    #配置service地址段
scheduler: {}

使用初始化配置文件初始化k8s集群

kubeadm init --config  kubeadm.yaml  --upload-certs

初始化成功后按照输出的提示执行命令

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

export KUBECONFIG=/etc/kubernetes/admin.conf

执行完后查看节点状态

kubectl get nodes

4.2将其余控制节点加入集群

在120 master节点上新建以下目录

mkdir -p /etc/kubernetes/pki/etcd/

在119 master节点上执行以下命令拷贝证书到120 master节点上

scp /etc/kubernetes/pki/ca.crt root@10.1.60.120:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/ca.key root@10.1.60.120:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/sa.key root@10.1.60.120:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/sa.pub root@10.1.60.120:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/front-proxy-ca.crt root@10.1.60.120:/etc/kubernetes/pki/

scp /etc/kubernetes/pki/front-proxy-ca.key root@10.1.60.120:/etc/kubernetes/pki/

这里和内置etcd集群的区别就是不用拷贝etcd的证书

在119 master查看加入集群的token

kubeadm token create --print-join-command

在120 master执行以上输出的token并增加一些参数加入集群

kubeadm join 10.1.60.124:16443 --token zj1hy1.ufpwaj7wxhymdw3a --discovery-token-ca-cert-hash sha256:9636d912ddb2a9b1bdae085906c11f6839bcf060f8b9924132f6d82b8aaefecd --control-plane --cri-socket unix:///var/run/cri-dockerd.sock

执行加入集群后的目录创建(执行完上一步的命令后会输出提示)

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

export KUBECONFIG=/etc/kubernetes/admin.conf

执行以下命令查看是否加入成功

kubectl get nodes

剩下的121 master节点重复以上的步骤加入集群即可

4.3将工作节点加入集群

在任意master节点上执行以下命令查看加入集群的token

kubeadm token create --print-join-command

执行master节点生成的token并增加一些参数加入集群