kubeadm搭建kubenetes 集群（个人学习版）

基础配置要求

1. 三台linux机器，能够相互访问
2. 能够访问外网

没有三台linux机器，可使用虚拟机，每个虚拟机要求2核2G内存，如果不能达到配置要求，可减少使用为两台linux机器，一台作为master，一台作为worker

版本安排

软件/镜像	版本
Docker	18.09.0
kubeadm	1.14.0
kubelet	1.14.0
kubectl	1.14.0
k8s.gcr.io/kube-apiserver	v1.14.0
k8s.gcr.io/kube-controller-manager	v1.14.0
k8s.gcr.io/kube-scheduler	v1.14.0
k8s.gcr.io/kube-proxy	v1.14.0
k8s.gcr.io/pause	3.1
k8s.gcr.io/etcd	3.3.10
k8s.gcr.io/coredns	1.3.1
calico	v3.9

安装docker

• 三台机器都需要安装docker

• 更新安装基本软件

yum -y update
yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp

• docker开始安装

1. 安装必要的依赖
	sudo yum install -y yum-utils device-mapper-persistent-data lvm2
2. 设置docker仓库
	sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

	sudo mkdir -p /etc/docker
	sudo tee /etc/docker/daemon.json <<-'EOF'
	{
	"registry-mirrors": ["这边替换成自己的实际地址"]
	}
	EOF
	sudo systemctl daemon-reload
3. 安装docker
	yum install -y docker-ce-18.09.0 docker-ce-cli-18.09.0 containerd.io
4. 启动并设置docker开机启动
	systemctl start docker 
	systemctl enable docker

hosts文件修改

• master主节点

sudo hostnamectl set-hostname m

vi /etc/hosts
192.168.31.10 m
192.168.31.11 w1
192.168.31.12 w2

• 其他worker节点
  worker1

sudo hostnamectl set-hostname w1

vi /etc/hosts
192.168.31.10 m
192.168.31.11 w1
192.168.31.12 w2

worker2

sudo hostnamectl set-hostname w2

vi /etc/hosts
192.168.31.10 m
192.168.31.11 w1
192.168.31.12 w2

其他环境配置

# 关闭防火墙
systemctl stop firewalld && systemctl disable firewalld
# 关闭selinux
setenforce 0 
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
# 关闭swap
swapoff -a
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
# 配置iptables的accept规则
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT
# 设置系统参数
cat << EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

安装kubeadm，kubelet，kubectl

• 配置yum源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

• 安装

yum install -y kubectl-1.14.0-0 
yum install -y kubelet-1.14.0-0
yum install -y kubeadm-1.14.0-0

• docker和k8s设置同一个cgroup

# docker
vi /etc/docker/daemon.json
    "exec-opts": ["native.cgroupdriver=systemd"],
    
systemctl restart docker
    
# kubelet
sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
# sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf	
systemctl enable kubelet && systemctl start kubelet

proxy/pause/scheduler等国内镜像

• 查看kubeadm需要的镜像

kubeadm config images list

k8s.gcr.io/kube-apiserver:v1.14.0
k8s.gcr.io/kube-controller-manager:v1.14.0
k8s.gcr.io/kube-scheduler:v1.14.0
k8s.gcr.io/kube-proxy:v1.14.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1

• 需要科学上网才能访问，用国内镜像
  国内镜像名称和源镜像名称不一致，需要docker打上tag，使用脚本一键tag

kubeadm-image-tag.sh

#!/bin/bash

set -e

KUBE_VERSION=v1.14.0
KUBE_PAUSE_VERSION=3.1
ETCD_VERSION=3.3.10
CORE_DNS_VERSION=1.3.1

GCR_URL=k8s.gcr.io
ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers

images=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION})

for imageName in ${images[@]} ; do
  docker pull $ALIYUN_URL/$imageName
  docker tag  $ALIYUN_URL/$imageName $GCR_URL/$imageName
  docker rmi $ALIYUN_URL/$imageName
done

• 运行脚本

master节点初始化

• 初始化流程预览

01-进行一系列检查，以确定这台机器可以部署kubernetes

02-生成kubernetes对外提供服务所需要的各种证书可对应目录
/etc/kubernetes/pki/*

03-为其他组件生成访问kube-ApiServer所需的配置文件
    ls /etc/kubernetes/
    admin.conf  controller-manager.conf  kubelet.conf  scheduler.conf
    
04-为 Master组件生成Pod配置文件。
    ls /etc/kubernetes/manifests/*.yaml
    kube-apiserver.yaml 
    kube-controller-manager.yaml
    kube-scheduler.yaml
    
05-生成etcd的Pod YAML文件。
    ls /etc/kubernetes/manifests/*.yaml
    kube-apiserver.yaml 
    kube-controller-manager.yaml
    kube-scheduler.yaml
	etcd.yaml
	
06-一旦这些 YAML 文件出现在被 kubelet 监视的/etc/kubernetes/manifests/目录下，kubelet就会自动创建这些yaml文件定义的pod，即master组件的容器。master容器启动后，kubeadm会通过检查localhost：6443/healthz这个master组件的健康状态检查URL，等待master组件完全运行起来

07-为集群生成一个bootstrap token

08-将ca.crt等 Master节点的重要信息，通过ConfigMap的方式保存在etcd中，工后续部署node节点使用

09-最后一步是安装默认插件，kubernetes默认kube-proxy和DNS两个插件是必须安装的

• 主节点执行初始化命令

kubeadm init --kubernetes-version=1.14.0 --apiserver-advertise-address=192.168.31.10 --pod-network-cidr=10.244.0.0/16

• 保存kubeadm join信息
  初始化会有加入主节点信息
• 根据初始化日志提示操作

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

• 验证是否成功

kubectl get pods -n kube-system

• 健康检查

curl -k https://localhost:6443/healthz

• 加入节点

kubeadm join 192.168.31.10:6443 --token ptm08e.betx3psa0v3kfbr0 \
    --discovery-token-ca-cert-hash sha256:184a72fcd7859f93b5ed16ae89c710bfc35c88cecadae184b02199b7ca990471

部署网络插件calico

选择网络插件：https://kubernetes.io/docs/concepts/cluster-administration/addons/

calico网络插件：https://docs.projectcalico.org/v3.9/getting-started/kubernetes/

# 在k8s中安装calico
kubectl apply -f https://docs.projectcalico.org/v3.9/manifests/calico.yaml

# 确认一下calico是否安装成功
kubectl get pods --all-namespaces -w

worker节点加入主节点

• 在worker1 worker2 节点中执行脚本
  执行脚本为上述日志保存内容

kubeadm join 192.168.31.10:6443 --token ptm08e.betx3psa0v3kfbr0 \
    --discovery-token-ca-cert-hash sha256:184a72fcd7859f93b5ed16ae89c710bfc35c88cecadae184b02199b7ca990471