Kubernetes 1.9.1 安装日志 node

[root@m02 software]# yum localinstall -y /software/docker/docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm
Loaded plugins: fastestmirror, langpacks
Examining /software/docker/docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm: docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch
Marking /software/docker/docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package docker-ce-selinux.noarch 0:17.03.2.ce-1.el7.centos will be installed
--> Finished Dependency Resolution


Dependencies Resolved


===============================================================================================================================================================================================
 Package                                Arch                        Version                                       Repository                                                              Size
===============================================================================================================================================================================================
Installing:
 docker-ce-selinux                      noarch                      17.03.2.ce-1.el7.centos                       /docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch                       43 k


Transaction Summary
===============================================================================================================================================================================================
Install  1 Package


Total size: 43 k
Installed size: 43 k
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch                                                                                                                            1/1 
setsebool:  SELinux is disabled.
Re-declaration of type docker_t
Failed to create node
Bad type declaration at /etc/selinux/targeted/tmp/modules/400/docker/cil:1
/usr/sbin/semodule:  Failed!
  Verifying  : docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch                                                                                                                            1/1 


Installed:
  docker-ce-selinux.noarch 0:17.03.2.ce-1.el7.centos                                                                                                                                           


Complete!
[root@m02 software]# yum localinstall -y /software/docker/docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm
Loaded plugins: fastestmirror, langpacks
Examining /software/docker/docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm: docker-ce-17.03.2.ce-1.el7.centos.x86_64
Marking /software/docker/docker-ce-17.03.2.ce-1.el7.centos.x86_64.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package docker-ce.x86_64 0:17.03.2.ce-1.el7.centos will be installed
--> Finished Dependency Resolution


Dependencies Resolved


===============================================================================================================================================================================================
 Package                            Arch                            Version                                           Repository                                                          Size
===============================================================================================================================================================================================
Installing:
 docker-ce                          x86_64                          17.03.2.ce-1.el7.centos                           /docker-ce-17.03.2.ce-1.el7.centos.x86_64                           65 M


Transaction Summary
===============================================================================================================================================================================================
Install  1 Package


Total size: 65 M
Installed size: 65 M
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : docker-ce-17.03.2.ce-1.el7.centos.x86_64                                                                                                                                    1/1 
  Verifying  : docker-ce-17.03.2.ce-1.el7.centos.x86_64                                                                                                                                    1/1 


Installed:
  docker-ce.x86_64 0:17.03.2.ce-1.el7.centos                                                                                                                                                   


Complete!
[root@m02 software]# ls
docker  k8s
[root@m02 software]# cd k8s/
[root@m02 k8s]# ls
331270b6ba931a571640b0552d8737631cf30cc9cde14eaa45a5acd2afb8f304-kubectl-1.9.1-0.x86_64.rpm
ccc2b7d8ac99c8ead43087e7bb5cc7fb3fe684bfd78241c8240feb945303c40e-kubeadm-1.9.1-0.x86_64.rpm
cec192f6a1a3a90321f0458d336dd56ccbe78f2a47b33bfd6e8fd78151fa3326-kubelet-1.9.1-0.x86_64.rpm
fe33057ffe95bfae65e2f269e1b05e99308853176e24a4d027bc082b471a07c0-kubernetes-cni-0.6.0-0.x86_64.rpm
socat-1.7.3.2-2.el7.x86_64.rpm
[root@m02 k8s]# yum localinstall -y socat-1.7.3.2-2.el7.x86_64.rpm
Loaded plugins: fastestmirror, langpacks
Examining socat-1.7.3.2-2.el7.x86_64.rpm: socat-1.7.3.2-2.el7.x86_64
Marking socat-1.7.3.2-2.el7.x86_64.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package socat.x86_64 0:1.7.3.2-2.el7 will be installed
--> Finished Dependency Resolution


Dependencies Resolved


===============================================================================================================================================================================================
 Package                               Arch                                   Version                                        Repository                                                   Size
===============================================================================================================================================================================================
Installing:
 socat                                 x86_64                                 1.7.3.2-2.el7                                  /socat-1.7.3.2-2.el7.x86_64                                 1.1 M


Transaction Summary
===============================================================================================================================================================================================
Install  1 Package


Total size: 1.1 M
Installed size: 1.1 M
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : socat-1.7.3.2-2.el7.x86_64                                                                                                                                                  1/1 
  Verifying  : socat-1.7.3.2-2.el7.x86_64                                                                                                                                                  1/1 


Installed:
  socat.x86_64 0:1.7.3.2-2.el7                                                                                                                                                                 


Complete!
[root@m02 k8s]# yum localinstall -y fe33057ffe95bfae65e2f269e1b05e99308853176e24a4d027bc082b471a07c0-kubernetes-cni-0.6.0-0.x86_64.rpm cec192f6a1a3a90321f0458d336dd56ccbe78f2a47b33bfd6e8fd78151fa3326-kubelet-1.9.1-0.x86_64.rpm
Loaded plugins: fastestmirror, langpacks
Examining fe33057ffe95bfae65e2f269e1b05e99308853176e24a4d027bc082b471a07c0-kubernetes-cni-0.6.0-0.x86_64.rpm: kubernetes-cni-0.6.0-0.x86_64
Marking fe33057ffe95bfae65e2f269e1b05e99308853176e24a4d027bc082b471a07c0-kubernetes-cni-0.6.0-0.x86_64.rpm to be installed
Examining cec192f6a1a3a90321f0458d336dd56ccbe78f2a47b33bfd6e8fd78151fa3326-kubelet-1.9.1-0.x86_64.rpm: kubelet-1.9.1-0.x86_64
Marking cec192f6a1a3a90321f0458d336dd56ccbe78f2a47b33bfd6e8fd78151fa3326-kubelet-1.9.1-0.x86_64.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package kubelet.x86_64 0:1.9.1-0 will be installed
---> Package kubernetes-cni.x86_64 0:0.6.0-0 will be installed
--> Finished Dependency Resolution


Dependencies Resolved


===============================================================================================================================================================================================
 Package                      Arch                 Version                 Repository                                                                                                     Size
===============================================================================================================================================================================================
Installing:
 kubelet                      x86_64               1.9.1-0                 /cec192f6a1a3a90321f0458d336dd56ccbe78f2a47b33bfd6e8fd78151fa3326-kubelet-1.9.1-0.x86_64                       96 M
 kubernetes-cni               x86_64               0.6.0-0                 /fe33057ffe95bfae65e2f269e1b05e99308853176e24a4d027bc082b471a07c0-kubernetes-cni-0.6.0-0.x86_64                31 M


Transaction Summary
===============================================================================================================================================================================================
Install  2 Packages


Total size: 128 M
Installed size: 128 M
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : kubernetes-cni-0.6.0-0.x86_64                                                                                                                                               1/2 
  Installing : kubelet-1.9.1-0.x86_64                                                                                                                                                      2/2 
  Verifying  : kubelet-1.9.1-0.x86_64                                                                                                                                                      1/2 
  Verifying  : kubernetes-cni-0.6.0-0.x86_64                                                                                                                                               2/2 


Installed:
  kubelet.x86_64 0:1.9.1-0                                                                   kubernetes-cni.x86_64 0:0.6.0-0                                                                  


Complete!
[root@m02 k8s]# yum localinstall -y 331270b6ba931a571640b0552d8737631cf30cc9cde14eaa45a5acd2afb8f304-kubectl-1.9.1-0.x86_64.rpm
Loaded plugins: fastestmirror, langpacks
Examining 331270b6ba931a571640b0552d8737631cf30cc9cde14eaa45a5acd2afb8f304-kubectl-1.9.1-0.x86_64.rpm: kubectl-1.9.1-0.x86_64
Marking 331270b6ba931a571640b0552d8737631cf30cc9cde14eaa45a5acd2afb8f304-kubectl-1.9.1-0.x86_64.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package kubectl.x86_64 0:1.9.1-0 will be installed
--> Finished Dependency Resolution


Dependencies Resolved


===============================================================================================================================================================================================
 Package                   Arch                     Version                   Repository                                                                                                  Size
===============================================================================================================================================================================================
Installing:
 kubectl                   x86_64                   1.9.1-0                   /331270b6ba931a571640b0552d8737631cf30cc9cde14eaa45a5acd2afb8f304-kubectl-1.9.1-0.x86_64                    46 M


Transaction Summary
===============================================================================================================================================================================================
Install  1 Package


Total size: 46 M
Installed size: 46 M
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : kubectl-1.9.1-0.x86_64                                                                                                                                                      1/1 
  Verifying  : kubectl-1.9.1-0.x86_64                                                                                                                                                      1/1 


Installed:
  kubectl.x86_64 0:1.9.1-0                                                                                                                                                                     


Complete!
[root@m02 k8s]# yum localinstall -y ccc2b7d8ac99c8ead43087e7bb5cc7fb3fe684bfd78241c8240feb945303c40e-kubeadm-1.9.1-0.x86_64.rpm
Loaded plugins: fastestmirror, langpacks
Examining ccc2b7d8ac99c8ead43087e7bb5cc7fb3fe684bfd78241c8240feb945303c40e-kubeadm-1.9.1-0.x86_64.rpm: kubeadm-1.9.1-0.x86_64
Marking ccc2b7d8ac99c8ead43087e7bb5cc7fb3fe684bfd78241c8240feb945303c40e-kubeadm-1.9.1-0.x86_64.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package kubeadm.x86_64 0:1.9.1-0 will be installed
--> Finished Dependency Resolution


Dependencies Resolved


===============================================================================================================================================================================================
 Package                   Arch                     Version                   Repository                                                                                                  Size
===============================================================================================================================================================================================
Installing:
 kubeadm                   x86_64                   1.9.1-0                   /ccc2b7d8ac99c8ead43087e7bb5cc7fb3fe684bfd78241c8240feb945303c40e-kubeadm-1.9.1-0.x86_64                    99 M


Transaction Summary
===============================================================================================================================================================================================
Install  1 Package


Total size: 99 M
Installed size: 99 M
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : kubeadm-1.9.1-0.x86_64                                                                                                                                                      1/1 
  Verifying  : kubeadm-1.9.1-0.x86_64                                                                                                                                                      1/1 


Installed:
  kubeadm.x86_64 0:1.9.1-0                                                                                                                                                                     


Complete!
[root@m02 k8s]# sed -i 's/cgroup-driver=systemd/cgroup-driver=cgroupfs/g' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
[root@m02 k8s]# systemctl daemon-reload
[root@m02 k8s]# systemctl restart kubelet
[root@m02 k8s]# systemctl enable kubelet && systemctl start kubelet
Created symlink from /etc/systemd/system/multi-user.target.wants/kubelet.service to /etc/systemd/system/kubelet.service.
[root@m02 k8s]# systemctl status kubelet
?kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/etc/systemd/system/kubelet.service; enabled; vendor preset: disabled)
  Drop-In: /etc/systemd/system/kubelet.service.d
           忖10-kubeadm.conf
   Active: activating (auto-restart) (Result: exit-code) since Fri 2018-04-06 12:38:02 CST; 5s ago
     Docs: http://kubernetes.io/docs/
  Process: 3684 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS (code=exited, status=1/FAILURE)
 Main PID: 3684 (code=exited, status=1/FAILURE)


Apr 06 12:38:02 m02 systemd[1]: kubelet.service: main process exited, code=exited, status=1/FAILURE
Apr 06 12:38:02 m02 systemd[1]: Unit kubelet.service entered failed state.
Apr 06 12:38:02 m02 systemd[1]: kubelet.service failed.
[root@m02 k8s]# kubeadm join --token f1eeff.a3a0172faa18e068 192.168.1.16:6443 --discovery-token-ca-cert-hash sha256:bdd9a822634aaf8aef12ac604ecb151e9ffbb69068571b2098075e08e4445688
[preflight] Running pre-flight checks.
[preflight] The system verification failed. Printing the output from the verification:
KERNEL_VERSION: 3.10.0-693.el7.x86_64
CONFIG_NAMESPACES: enabled
CONFIG_NET_NS: enabled
CONFIG_PID_NS: enabled
CONFIG_IPC_NS: enabled
CONFIG_UTS_NS: enabled
CONFIG_CGROUPS: enabled
CONFIG_CGROUP_CPUACCT: enabled
CONFIG_CGROUP_DEVICE: enabled
CONFIG_CGROUP_FREEZER: enabled
CONFIG_CGROUP_SCHED: enabled
CONFIG_CPUSETS: enabled
CONFIG_MEMCG: enabled
CONFIG_INET: enabled
CONFIG_EXT4_FS: enabled (as module)
CONFIG_PROC_FS: enabled
CONFIG_NETFILTER_XT_TARGET_REDIRECT: enabled (as module)
CONFIG_NETFILTER_XT_MATCH_COMMENT: enabled (as module)
CONFIG_OVERLAY_FS: enabled (as module)
CONFIG_AUFS_FS: not set - Required for aufs.
CONFIG_BLK_DEV_DM: enabled (as module)
OS: Linux
CGROUPS_CPU: enabled
CGROUPS_CPUACCT: enabled
CGROUPS_CPUSET: enabled
CGROUPS_DEVICES: enabled
CGROUPS_FREEZER: enabled
CGROUPS_MEMORY: enabled
        [WARNING Service-Docker]: docker service is not enabled, please run 'systemctl enable docker.service'
        [WARNING FileExisting-crictl]: crictl not found in system path
[preflight] Some fatal errors occurred:
        [ERROR SystemVerification]: failed to get docker info: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
        [ERROR Service-Docker]: docker service is not active, please run 'systemctl start docker.service'
        [ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables does not exist
        [ERROR Swap]: running with swap on is not supported. Please disable swap
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
[root@m02 k8s]# systemctl enable docker.service
Created symlink from /etc/systemd/system/multi-user.target.wants/docker.service to /usr/lib/systemd/system/docker.service.
[root@m02 k8s]# kubeadm join --token f1eeff.a3a0172faa18e068 192.168.1.16:6443 --discovery-token-ca-cert-hash sha256:bdd9a822634aaf8aef12ac604ecb151e9ffbb69068571b2098075e08e4445688
[preflight] Running pre-flight checks.
[preflight] The system verification failed. Printing the output from the verification:
KERNEL_VERSION: 3.10.0-693.el7.x86_64
CONFIG_NAMESPACES: enabled
CONFIG_NET_NS: enabled
CONFIG_PID_NS: enabled
CONFIG_IPC_NS: enabled
CONFIG_UTS_NS: enabled
CONFIG_CGROUPS: enabled
CONFIG_CGROUP_CPUACCT: enabled
CONFIG_CGROUP_DEVICE: enabled
CONFIG_CGROUP_FREEZER: enabled
CONFIG_CGROUP_SCHED: enabled
CONFIG_CPUSETS: enabled
CONFIG_MEMCG: enabled
CONFIG_INET: enabled
CONFIG_EXT4_FS: enabled (as module)
CONFIG_PROC_FS: enabled
CONFIG_NETFILTER_XT_TARGET_REDIRECT: enabled (as module)
CONFIG_NETFILTER_XT_MATCH_COMMENT: enabled (as module)
CONFIG_OVERLAY_FS: enabled (as module)
CONFIG_AUFS_FS: not set - Required for aufs.
CONFIG_BLK_DEV_DM: enabled (as module)
OS: Linux
CGROUPS_CPU: enabled
CGROUPS_CPUACCT: enabled
CGROUPS_CPUSET: enabled
CGROUPS_DEVICES: enabled
CGROUPS_FREEZER: enabled
CGROUPS_MEMORY: enabled
        [WARNING FileExisting-crictl]: crictl not found in system path
[preflight] Some fatal errors occurred:
        [ERROR SystemVerification]: failed to get docker info: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
        [ERROR Service-Docker]: docker service is not active, please run 'systemctl start docker.service'
        [ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables does not exist
        [ERROR Swap]: running with swap on is not supported. Please disable swap
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
[root@m02 k8s]# systemctl enable docker && systemctl start docker
[root@m02 k8s]# kubeadm join --token f1eeff.a3a0172faa18e068 192.168.1.16:6443 --discovery-token-ca-cert-hash sha256:bdd9a822634aaf8aef12ac604ecb151e9ffbb69068571b2098075e08e4445688
[preflight] Running pre-flight checks.
        [WARNING FileExisting-crictl]: crictl not found in system path
[preflight] Some fatal errors occurred:
        [ERROR Swap]: running with swap on is not supported. Please disable swap
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
[root@m02 k8s]# swapoff -a
[root@m02 k8s]# vi /etc/fstab


#
# /etc/fstab
# Created by anaconda on Mon Jan 29 20:01:01 2018
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos_m02-root /                       xfs     defaults        0 0
UUID=6469cdc7-e658-4e88-831d-9f66c87a26f1 /boot                   xfs     defaults        0 0
#/dev/mapper/centos_m02-swap swap                    swap    defaults        0 0
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
~
"/etc/fstab" 11L, 474C written
[root@m02 k8s]# cat <<EOF >  /etc/sysctl.d/k8s.conf
> net.bridge.bridge-nf-call-ip6tables = 1
> net.bridge.bridge-nf-call-iptables = 1
> EOF
[root@m02 k8s]# sysctl --system
* Applying /usr/lib/sysctl.d/00-system.conf ...
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0
* Applying /usr/lib/sysctl.d/10-default-yama-scope.conf ...
kernel.yama.ptrace_scope = 0
* Applying /usr/lib/sysctl.d/50-default.conf ...
kernel.sysrq = 16
kernel.core_uses_pid = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.promote_secondaries = 1
net.ipv4.conf.all.promote_secondaries = 1
fs.protected_hardlinks = 1
fs.protected_symlinks = 1
* Applying /usr/lib/sysctl.d/60-libvirtd.conf ...
fs.aio-max-nr = 1048576
* Applying /etc/sysctl.d/99-sysctl.conf ...
* Applying /etc/sysctl.d/k8s.conf ...
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
* Applying /etc/sysctl.conf ...
[root@m02 k8s]# kubeadm join --token f1eeff.a3a0172faa18e068 192.168.1.16:6443 --discovery-token-ca-cert-hash sha256:bdd9a822634aaf8aef12ac604ecb151e9ffbb69068571b2098075e08e4445688
[preflight] Running pre-flight checks.
        [WARNING FileExisting-crictl]: crictl not found in system path
[discovery] Trying to connect to API Server "192.168.1.16:6443"
[discovery] Created cluster-info discovery client, requesting info from "https://192.168.1.16:6443"
[discovery] Requesting info from "https://192.168.1.16:6443" again to validate TLS against the pinned public key
[discovery] Cluster info signature and contents are valid and TLS certificate validates against pinned roots, will use API Server "192.168.1.16:6443"
[discovery] Successfully established connection with API Server "192.168.1.16:6443"


This node has joined the cluster:
* Certificate signing request was sent to master and a response
  was received.
* The Kubelet was informed of the new secure connection details.


Run 'kubectl get nodes' on the master to see this node join the cluster.
[root@m02 k8s]#