k8s集群(二进制, v1.20版本)

原创 已于 2023-01-04 14:58:04 修改 · 9.9k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kubenetes集群 #v1.20 #k8s #calico #IPVS

于 2021-05-12 15:15:24 首次发布
本文详细介绍Kubernetes1.20版本的高可用部署过程，涵盖系统环境配置、基础环境搭建、核心组件安装及配置、网络插件部署、监控与管理工具集成等内容。

一. 系统软件环境

软件 版本
操作系统 CentOS Linux release 7.8.2003 (Core)
Docker docker-20.10.6-ce
Kubernetes 1.20.6
ETCD 3.4.15

节点组件

角色 IP 组件
k8s-master1 3.1.101.49 kube-apiserver, kube-controller-manager, kube-scheduler, docker, kubelet, kube-proxy,etcd,nginx,keepalived
k8s-master2 3.1.101.50 kube-apiserver, kube-controller-manager, kube-scheduler, docker, kubelet, kube-proxy,etcd,nginx,keepalived
k8s-node1 3.1.101.51 docker, kubelet, kube-proxy, etcd
k8s-node2 3.1.101.52 docker, kubelet, kube-proxy, etcd
k8s-node1 3.1.101.53 docker, kubelet, kube-proxy, etcd
VIP 3.1.101.45

master1和master2为基于Ningx+Keepalived的高可用

二. 基础环境配置

所有NODE节点

2.1 创建目录

## 创建目录结构
mkdir -pv /opt/etcd/{
   
   bin,cfg,ssl,logs}
mkdir -pv /opt/k8s/{
   
   bin,cfg,ssl,logs,yaml}
mkdir -pv /opt/cni/{
   
   bin,cfg,yaml}
mkdir -pv /etc/cni/

2.2 hosts配置

cat >> /etc/hosts << EOF
3.1.101.49 k8s-master1
3.1.101.50 k8s-master2
3.1.101.51 k8s-node1
3.1.101.52 k8s-node2
3.1.101.53 k8s-node3
3.1.101.49 etcd-1
3.1.101.50 etcd-2
3.1.101.51 etcd-3
3.1.101.52 etcd-4
3.1.101.53 etcd-5
EOF

##　2.3 主机名修改

在对应节点分别执行

hostnamectl set-hostname k8s-master1
hostnamectl set-hostname k8s-master2
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node2
hostnamectl set-hostname k8s-node3

2.4 其他系统设置

## 启用IPVS模式相关配置
cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
## 生效
sysctl --system

## 关闭缓存,配置/etc/fstab,永久关闭
# 临时关闭:
swapoff -a

## 关闭NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager

## 时间同步
/usr/bin/cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate time.windows.com

##配置环境变量(根据节点情况,一般配置master节点即可)
echo 'export PATH=$PATH:/opt/k8s/bin/' >> /etc/profile
echo 'export PATH=$PATH:/opt/etcd/bin/' >> /etc/profile
source /etc/profile

## 为了便捷操作,在k8s-master1上创建免密登录其他节点
ssh-keygen -t rsa
ssh-copy-id -i /root/.ssh/id_rsa.pub root@k8s-node1
ssh-copy-id -i /root/.ssh/id_rsa.pub root@k8s-node2

三. 安装cfssl证书工具

master节点

## 创建自签证书目录
mkdir -pv /data/TLS/{
   
   etcd,k8s}

## 下载地址
https://github.com/cloudflare/cfssl/releases/download

## 移动到/usr/bin目录下
mv cfssl_1.5.0_linux_amd64 /usr/bin/cfssl
mv cfssl-certinfo_1.5.0_linux_amd64 /usr/bin/cfssl-certinfo
mv cfssljson_1.5.0_linux_amd64 /usr/bin/cfssljson

## 添加可执行权限
chmod +x /usr/bin/cfssl*

## 生成配置模版命令
cfssl print-defaults config > config.json
cfssl print-defaults csr > csr.json

四. 部署ETCD集群

节点名称 IP
etcd-1 3.1.101.49
etcd-2 3.1.101.50
etcd-3 3.1.101.51
etcd-4 3.1.101.52
etcd-5 3.1.101.53

4.1 自签TLS证书

  • ETCD-1操作,然后同步到其他节点

自签证书颁发机构（CA）

cd /data/TLS/etcd/

自签CA

cd /data/TLS/etcd/
cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

cat > ca-csr.json << EOF
{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

生成证书

cfssl gencert -initca ca-csr.json | cfssljson -bare ca
ls
ca-config.json  ca.csr  ca-csr.json  ca-key.pem  ca.pem

使用自签CA签发Etcd HTTPS证书

创建证书申请文件(hosts中要包含所有etcd节点ip,也可以多写几个预留)

cat > server-csr.json << EOF
{
    "CN": "etcd",
    "hosts": [
    "3.1.101.49",
    "3.1.101.50",
    "3.1.101.51",
    "3.1.101.52",
    "3.1.101.53",
    "3.1.101.54",
    "3.1.101.55"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF

生成证书

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare serverlsca-config.json  ca-key.pem  server-csr.jsonca.csr          ca.pem      server-key.pemca-csr.json     server.csr  server.pem

同步证书

cp /data/TLS/etcd/*.pem /opt/etcd/ssl/ls /opt/etcd/ssl/ca-key.pem  ca.pem  server-key.pem  server.pemrsync -av /data/TLS/etcd/*.pem etcd-2:/opt/etcd/ssl/rsync -av /data/TLS/etcd/*.pem etcd-3:/opt/etcd/ssl/rsync -av /data/TLS/etcd/*.pem etcd-4:/opt/etcd/ssl/rsync -av /data/TLS/etcd/*.pem etcd-5:/opt/etcd/ssl/

4.2 ETCD安装

下载地址

https://github.com/etcd-io/etcd/releases/download/v3.4.15/etcd-v3.4.15-linux-amd64.tar.gz

解压部署

  • ETCD-1操作,然后同步到其他节点
tar -zxf etcd-v3.4.15-linux-amd64.tar.gz
mv etcd-v3.4.15-linux-amd64/etcd* /opt/etcd/bin/

rsync -av /opt/etcd/bin/* etcd-1:/opt/etcd/bin/
rsync -av /opt/etcd/bin/* etcd-2:/opt/etcd/bin/
rsync -av /opt/etcd/bin/* etcd-3:/opt/etcd/bin/
rsync -av /opt/etcd/bin/* etcd-4:/opt/etcd/bin/
rsync -av /opt/etcd/bin/* etcd-5:/opt/etcd/bin/

4.3 创建ETCD配置文件

ETCD各节点配置基本相同, 注意修改如下配置, 修改成本机etcd-name或者IP

cat > /opt/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://3.1.101.49:2380"
ETCD_LISTEN_CLIENT_URLS="https://3.1.101.49:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://3.1.101.49:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://3.1.101.49:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://3.1.101.49:2380,etcd-2=https://3.1.101.50:2380,etcd-3=https://3.1.101.51:2380,etcd-4=https://3.1.101.52:2380,etcd-5=https://3.1.101.53:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF
  • ETCD_NAME：节点名称，集群中唯一
  • ETCD_DATA_DIR：数据目录
  • ETCD_LISTEN_PEER_URLS：集群通信监听地址
  • ETCD_LISTEN_CLIENT_URLS：客户端访问监听地址
  • ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址
  • ETCD_ADVERTISE_CLIENT_URLS：客户端通告地址
  • ETCD_INITIAL_CLUSTER：集群节点地址
  • ETCD_INITIAL_CLUSTER_TOKEN：集群Token
  • ETCD_INITIAL_CLUSTER_STATE：加入集群的当前状态，new是新集群，existing表示加入已有集群

4.4 创建ETCD启动文件

cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd \
--cert-file=/opt/etcd/ssl/server.pem \
--key-file=/opt/etcd/ssl/server-key.pem \
--peer-cert-file=/opt/etcd/ssl/server.pem \
--peer-key-file=/opt/etcd/ssl/server-key.pem \
--trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--logger=zap
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

4.5 启动ETCD

## 重载启动配置文件
systemctl daemon-reload
## 启动etcd
systemctl restart etcd
## 加入开机自启动
systemctl enable etcd

##　4.6 验证ETCD状态

/opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://3.1.101.49:2379,https://3.1.101.50:2379,https://3.1.101.51:2379,https://3.1.101.52:2379,https://3.1.101.53:2379" endpoint health

/opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://3.1.101.49:2379,https://3.1.101.50:2379,https://3.1.101.51:2379,https://3.1.101.52:2379,https://3.1.101.53:2379" member list

五. 二进制部署DOCKER

5.1 下载地址

https://download.docker.com/linux/static/stable/x86_64/

tar zxf docker-20.10.6.tgz
mv docker/* /usr/bin/

编辑docker配置文件

mkdir /etc/dockercat > /etc/docker/daemon.json << EOF{
   
   "registry-mirrors": ["https://gsm39obv.mirror.aliyuncs.com"]}EOF

5.2 创建systemd启动文件

cat > /usr/lib/systemd/system/docker.service << EOF
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target

[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s

[Install]
WantedBy=multi-user.target
EOF

5.3 启动docker

systemctl daemon-reload
systemctl restart docker
systemctl enable docker

六. kubenetes部署

二进制文件部署

下载地址

https://dl.k8s.io/v1.20.6/kubernetes-server-linux-amd64.tar.gz

解压

tar zxvf kubernetes-server-linux-amd64.tar.gz
cd kubernetes/server/bin

master节点

rsync -av kubectl kube-apiserver kube-controller-manager kube-scheduler kubelet kube-proxy /opt/k8s/bin/

node节点

rsync -av kubelet kube-proxy root@k8s-node1:/opt/k8s/bin/
rsync -av kubelet kube-proxy root@k8s-node2:/opt/k8s/bin/
rsync -av kubelet kube-proxy root@k8s-node3:/opt/k8s/bin/

七. Master节点部署

7.1 部署kube-apiserver

生成kube-apiserver证书

  1. 自签证书颁发机构（CA）
cd /data/TLS/k8s/

cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF
cat > ca-csr.json << EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

生成CA证书

cfssl gencert -initca ca-csr.json | cfssljson -bare ca
  1. 使用自签CA签发kube-apiserver HTTPS证书
## 创建证书申请文件：

cat > server-csr.json << EOF
{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "127.0.0.1",
      "3.1.101.48",
      "3.1.101.49",
      "3.1.101.50",
      "3.1.101.51",
      "3.1.101.52",
      "3.1.101.53",
      "3.1.101.45",
      "3.1.101.46",
      "3.1.101.57",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

注：上述文件hosts字段中IP为所有Master/LB/VIP IP，一个都不能少！为了方便后期扩容可以多写几个预留的IP。

生成证书

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

同步证书

# master 节点
cp /data/TLS/k8s/ca*pem /opt/k8s/ssl/
cp /data/TLS/k8s/server*pem /opt/k8s/ssl/

# 同步至node节点
scp /data/TLS/k8s/ca.pem root@k8s-node1:/opt/k8s/ssl
scp /data/TLS/k8s/ca.pem root@k8s-node2:/opt/k8s/ssl
scp /data/TLS/k8s/ca.pem root@k8s-node3:/opt/k8s/ssl

创建conf配置文件

最低0.47元/天 解锁文章
k50.第十九章 K8s运维篇-集群升级 -- kubeadm v1.21 安装方式升级(一)
Raymond的博客
06-12 346
1.kubeadm 安装方式升级 升级k8s集群必须 先升级kubeadm版本到目的k8s版本，也就是说kubeadm是k8s升级的准升证。 1.1 升级准备 在k8s的所有master节点进行组件升级，将管理端服务kube-controller-manager、kube-apiserver、kube-scheduler、kube-proxy进行版本升级。 1.1.1 验证当前k8s master版本 [root@k8s-master01 ~]# kubeadm version kubeadm versio
k8s v1.20二进制部署
wys_jj的博客
05-13 1207
即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯。CFSSL 使用配置文件生成证书，因此自签之前，需要生成它识别的 json 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如 kube-apiserver 访问 etcd；，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如 etcd 对外提供服务；，相互之间连接时使用的证书，如 etcd 节点之间进行验证和通信。
k8s1.20镜像包
12-11
k8s1.20镜像包，api.tar scheduler.tar proxy.tar controller.tar
二进制部署k8s高可用集群（二进制-V1.20）.docx
06-29
说明：二进制部署k8s高可用集群，内容真实有效！
k8s基础理论
热门推荐
喀喀喀的博客
04-21 7万+
1.核心对象 NameSpaces 当集群有多个用户或一个用户有多个应用需要管理时，需要对被管理的对象进行隔离。不同的对象被划分到不同的namespaces后，可以通过权限控制来限制用户以何种权限访问namespaces的哪些对象，进而构建一个多租户,彼此隔离的通用集群。 namespaes，它提供一种内核级别的隔离方式，系统可以为进程分配不同的namespaces，并保证不同namespace资源独立分配，进程彼此隔离，即不同的namespace下的进程互不干扰。 namespace提供六项隔离：分别是
K8S1.20二进制部署
weixin_45767577的博客
09-27 1513
1.20 二进制部署 环境 192.168.202.191 sxy-k8sB-master01 # 2C2G 40G 192.168.202.192 sxy-k8sB-master02 # 2C2G 40G 192.168.202.193sxy-k8sB-master03 # 2C2G 40G # VIP 虚IP不占用机器资源 192.168.202.199 k8s-master-lb # #如果不是高可用集群，该IP为Master01的IP 192.168.202.194 sxy-k8sB-nod
二进制部署k8s [ 1.20 ]
weixin_50339735的博客
10-17 390
二进制部署k8s（1.20）
K8s高可用集群二进制部署-V1.20
架构师小吴的博客
06-24 1595
Kubeadm是一个K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。
精选资源
一套完整的K8s高可用集群二进制部署（-V1.20）
10-17
Kubernetes 高可用集群二进制部署指南 本文档将指导您部署一套完整的 Kubernetes 高可用集群，我们将从基础知识点开始，介绍 Kubernetes 集群的两种部署方式，然后详细介绍如何准备环境、部署 Etcd 集群、安装 ...
Kubernetes实战指南（三十四）： 高可用安装K8s集群1.20.x
杜先生的博客
12-12 3997
文章目录1. 安装说明2. 节点规划3. 基本配置4. 内核配置5. 基本组件安装6. 高可用组件安装7. 集群初始化8. 高可用Master9. 添加Node节点10. Calico安装11. Metrics Server部署12. Dashboard部署 1. 安装说明 虽然K8s 1.20版本宣布将在1.23版本之后将不再维护dockershim，意味着K8s将不直接支持Docker，不过大家不必过于担心。一是在1.23版本之前我们仍然可以使用Docker，二是dockershim肯定会有人接盘，我们
二进制k8s搭建—V1.20版本(高可用集群)—debian-centos系统
mingqing的博客
08-26 4083
**二进制包** 从github下载发行版的二进制包，手动部署每个组件，组成Kubernetes集群。 小结：Kubeadm降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署Kubernetes集群，虽然手动部署麻烦点，期间可以学习很多工作原理，也利于后期维护。...
Kubeadm - K8S1.20 - 高可用集群部署
R1chArd_TvT 的 Blog
06-26 667
Kubeadm - K8S1.20 - 高可用集群部署
k8s安装配置1.20
最新发布
kayotin的博客
10-30 1317
K8sv1.20.9的初始安装和配置实践
[k8s]二进制部署k8s 1.20高可用集群(无坑)
yyq2272的博客
02-25 6991
结构规划 角色 ip 组件 k8s-master01 10.255.32.21 etcd kube-apiserver kube-controller-manager kube-scheduler kube-proxy k8s-master02 10.255.32.22 etcd kube-apiserver kube-controller-manager kube-scheduler kube-proxy k8s-node01 10.255.32.23 etcd kubelet
k8sv1.20二进制高可用集群部署
scdn_fm的博客
05-08 1264
一，环境准备 1.1 服务器规划 角色 IP 组件 k8s-master1 192.168.131.128 kube-apiserver，kube-controller-manager，kube-scheduler，etcd，keepalived k8s-master2 192.168.131.131 kube-apiserver，kube-controller-manager，kube-scheduler，etcd，keepalived k8s-node1 192.168.131.
Kubernetes基础之1-20
哼哈的专栏
11-18 223
https://www.cnblogs.com/wlbl/tag/kubernetes/
【kubernetes】k8s v1.20高可用多master节点部署
命运下的祥子的博客
02-21 1873
【kubernetes】k8s v1.20高可用多master节点部署
Kubernetes 1.20正式发布
Docker的专栏
12-09 1032
我们很高兴为大家带来Kubernetes 1.20版本，2020年中的第三个、也是最后一个版本！此版本中包含42项增强功能：包括11项增强功能的稳定版、15项增强功能的beta版以及16...
手动部署K8s高可用集群：二进制V1.20详细指南
"本文档详细介绍了如何部署一套基于Kubernetes v1.20的高可用集群，采用二进制方式进行安装。文档首先介绍了K8s集群的两种部署方式——kubeadm和二进制包，并对二进制包部署的优势进行了阐述。接着，文档详细列出了...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值