k8s集群添加节点

阿猪先生

于 2025-07-03 14:48:30 发布

阅读量442

点赞数 3

CC 4.0 BY-SA版权

文章标签： kubernetes 容器云原生

本文链接：https://blog.youkuaiyun.com/qq_43637344/article/details/149093899

1.节点扩展

1.1 修改主机名

# 查看操作系统版本
# 修改主机名设置为master、node-1、node-2 等
hostnamectl set-hostname xxx
# 向主节点与添加节点机器添加hosts文件，路径：/etc/hosts 内容样例：
10.17.207.50  master
10.17.207.69  node-1
10.17.207.72  node-2

1.2 时间同步

kubernetes要求集群中的节点时间必须精确一致，这里使用chronyd服务从网络同步时间

企业中建议配置内部的会见同步服务器

# 启动chronyd服务
[root@master ~]# systemctl start chronyd
[root@master ~]# systemctl enable chronyd
[root@master ~]# date

1.3 禁用iptable和firewalld服务

kubernetes和docker 在运行的中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则

# 1 关闭firewalld服务
[root@master ~]# systemctl stop firewalld
[root@master ~]# systemctl disable firewalld
# 2 关闭iptables服务[dev环境不用]
[root@master ~]# systemctl stop iptables
[root@master ~]# systemctl disable iptables

1.4 禁用selinux

selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种各样的奇葩问题

# 编辑 /etc/selinux/config 文件，修改SELINUX的值为disable
# 注意修改完毕之后需要重启linux服务
SELINUX=disabled

1.6 禁用swap分区

swap分区指的是虚拟内存分区，它的作用是物理内存使用完，之后将磁盘空间虚拟成内存来使用，启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备，但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明


# 编辑分区配置文件/etc/fstab，注释掉swap分区一行
# 注意修改完毕之后需要重启linux服务
vim /etc/fstab
注释掉 /dev/mapper/centos-swap swap
# /dev/mapper/centos-swap swap

1.7 修改linux的内核参数

# 修改linux的内核采纳数，添加网桥过滤和地址转发功能
# 编辑/etc/sysctl.d/k8s.conf文件：
cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
    
#dev还要走这个
cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

# 重新加载配置
[root@master ~]# sysctl -p


# 加载网桥过滤模块
sudo modprobe overlay
sudo modprobe br_netfilter


# 查看网桥过滤模块是否加载成功
[root@master ~]# lsmod | grep br_netfilter

1.8 配置ipvs功能. 根据系统不同操作不同

1.8.1 CENTOS7等较低linux版本

仓库没有的参考：解决Centos7 yum 出现could not retrieve mirrorlist 错误_centos7 yum could not retrieve mirrorlist-优快云博客

# 1.安装ipset和ipvsadm
[root@master ~]# yum install ipset ipvsadm -y
# dev 先新建/etc/sysconfig/modules
mkdir /etc/sysconfig/modules
# 2.添加需要加载的模块写入脚本文件
[root@master ~]# cat <<EOF> /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

# 3.为脚本添加执行权限
[root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules
# 4.执行脚本文件
[root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules
# 5.查看对应的模块是否加载成功
[root@master ~]# lsmod | grep -e ip_vs -e nf_conntrack_ipv4

1.8.2 ROCKY9等linux版本

# 1.安装ipset和ipvsadm
[root@master ~]# yum install ipset ipvsadm -y
# 2.0 创建文件夹
mkdir /etc/sysconfig/modules
# 2.1 添加需要加载的模块写入脚本文件
[root@master ~]# cat <<EOF> /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF
# 3.为脚本添加执行权限
[root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules
# 4.执行脚本文件
[root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules
# 5.查看对应的模块是否加载成功
[root@master ~]# lsmod | grep -e -ip_vs -e nf_conntrack
nf_conntrack_netlink    49152  0 
nfnetlink              20480  3 nf_conntrack_netlink,ip_set
nf_conntrack          155648  5 xt_conntrack,nf_nat,nf_conntrack_netlink,xt_MASQUERADE,ip_vs
nf_defrag_ipv6         24576  2 nf_conntrack,ip_vs
nf_defrag_ipv4         16384  1 nf_conntrack
libcrc32c              16384  4 nf_conntrack,nf_nat,xfs,ip_vs

2.组件安装

2.1 安装docker

#0.	安装必要工具 有的系统自带没有就装
yum install -y yum-utils device-mapper-persistent-data lvm2 

# 1、切换镜像源
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 2、查看当前镜像源中支持的docker版本
[root@master ~]# yum list docker-ce --showduplicates

# 3、安装特定版本的docker-ce, 20版本经测试也可
# 必须制定--setopt=obsoletes=0，否则yum会自动安装更高版本
[root@master ~]#yum install --setopt=obsoletes=0 docker-ce-20.10.24-3.el9 -y
# 4、添加一个配置文件
#Docker 在默认情况下使用Vgroup Driver为cgroupfs，而Kubernetes推荐使用systemd来替代cgroupfs
[root@master ~]# mkdir -p /etc/docker
[root@master ~]# cat <<EOF> /etc/docker/daemon.json
{
"insecure-registries": ["docker-repository.finchina.local","10.15.98.150"],
  "registry-mirrors": ["https://hub.uuuadc.top",
          "https://docker.anyhub.us.kg",
          "https://dockerhub.jobcher.com",
          "https://dockerhub.icu",
          "https://docker.ckyl.me",
  "https://7myrbfdb.mirror.aliyuncs.com",
          "https://docker.awsl9527.cn"],  
"data-root":"/app/docker"
}
EOF

# 5、启动dokcer
[root@master ~]# systemctl daemon-reload
[root@master ~]# systemctl restart docker
[root@master ~]# systemctl enable docker
[root@master ~]# docker version

2.2 安装Kubernetes组件


# 1、由于kubernetes的镜像在国外，速度比较慢，这里切换成国内的镜像源
# 2、编辑/etc/yum.repos.d/kubernetes.repo,添加下面的配置
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 3、安装kubeadm、kubelet和kubectl
[root@master ~]#yum install -y  kubeadm-1.23.0-0.x86_64  kubelet-1.23.0-0.x86_64   kubectl-1.23.0-0.x86_64 --disableexcludes=kubernetes

# 4、配置kubelet的cgroup
#编辑/etc/sysconfig/kubelet, 添加下面的配置
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

# 5、设置kubelet开机自启
[root@master ~]# systemctl enable kubelet

2.3 拉取cni网络插件镜像

# 在添加节点前，提前准备好集群需要的镜像，极易拉取失败
[root@master ~]# docker pull dockerhubbs.finchina.com/kubernetes/calico/cni:v3.16.5
[root@master ~]# docker pull dockerhubbs.finchina.com/kubernetes/calico/pod2daemon-flexvol:v3.16.5
[root@master ~]# docker pull dockerhubbs.finchina.com/kubernetes/calico/node:v3.16.5

添加calico组件 (以下文件均可从主节点copy)

1. 将一下文件拷贝到 /opt/cni/bin/路径下并授予执行权限

calico calico-ipam

cd /opt/cni/bin/
chmod 777 calico
chmod 777 calico-ipam

2.4 节点加入集群

查看token的命令

kubeadm token list
kubeadm token create

查看discovery-token-ca-cert-hash

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
   openssl dgst -sha256 -hex | sed 's/^.* //'

下面的操作只需要在node节点上执行即可

(token需要先在主节点生成）

kubeadm join 10.10.18.245:6443 --token 32sowq.18ofg3hbkmbxkq3t \
    --discovery-token-ca-cert-hash sha256:411da8d3da6be47bfd6a542cfa59c187646f674849d534f694751e54ac9b5633

重启机器后node会ready

reboot

在master上查看节点信息

[root@master ~]# kubectl get nodes
NAME    STATUS   ROLES     AGE   VERSION
master  Ready  master   6m    v1.17.4
node1   Ready   <none>  22s   v1.17.4
node2   Ready   <none>  19s   v1.17.4

2.5 额外操作

老中台所在节点需要开启nfs

tomcat服务所在节点：
yum -y install nfs-utils rpcbind
cd /app
mkdir nfs-share
mount -t nfs 10.10.17.29:/app/nfs-share nfs-share/

2.7 可能遇到的问题

k8s集群错误：Error while processing event (“/sys/fs/cgroup/pids/libcontainer_16936_systemd_test_default.s-优快云博客