ubuntu14.04+k8s1.1+docker1.9集群部署

实验环境：

操作系统：ubuntu14.04_x64

master：192.168.72.131

minion01 : 192.168.72.132  容器网段：172.17.0.0/16

minion02 : 192.168.72.133  容器网段：172.17.1.0/16

 

Docker安装：

1. 安装前先检查系统对docker的支持。Docker需要64位机器，需要运行在3.8以上的内核上，需要操作系统支持Device Mapper。可以使用uname -a查看系统信息和主机信息。

2. 添加阿里云源和docker的源

a) 备份源文件：sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup

b) 在sources.list文件添加阿里云和docker源覆盖旧的源：

i. deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

ii. deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

iii. deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

iv. deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

v. deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

vi. deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

vii. deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

viii. deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

ix. deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

x. deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

xi. deb https://get.docker.io/ubuntu docker main

3. 添加完源后，执行sudo apt-get update更新源。

4. 安装curl

i. 先查看curl有没有安装，whereis curl，没有的话安装curl，sudo apt-get -y install curl

5. 添加Docker的GPG密钥

i. Sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys D8576A8BA88D21E9

6. 安装docker软件包

i. Sudo apt-get install lxc-docker

7. 使用docker info检查一下安装情况

Master安装Docker镜像仓库：

1. 拉取registry镜像

sudo docker pull docker.io/registry

2. 查看镜像拉取成功

docker images

3. 启动registry

docker run -d -p 5000:5000 --name=registry --restart=always --privileged=true  --log-driver=none -v /home/data/registrydata:/tmp/registry registry

4. Ubuntu下需修改docker配置文件

a) 编辑Vi /etc/default/docker

b) 添加DOCKER_OPTS="--insecure-registry=192.168.72.131:5000"，注：masterIp：端口

c) 重启docker：sudo service docker restart

5. Docker1.3后查询镜像命令

curl http://192.168.72.131:5000/v2/_catalog

curl http://192.168.72.131:5000/v2/kubernetes-dashboard-amd64/tags/list

SSH服务器和客户端安装：

1. 执行命令

sudo apt-get install openssh-server openssh-client

2. 在master上安装ssh-agent

a) 执行命令：ssh-keygen，会在~/.ssh/目录下多出来两个文件：id_rsa.pub(公钥文件)和id_rsa(私钥文件)

b) 在所有minion节点中~/.ssh/authorized_keys配置文件添加公钥文件内容，（注：没有文件就创建文件）

i. Scp id_rsa.pub root@192.168.72.132:~/.ssh/

ii. Cat id_rsa.pub >> ~/.ssh/authorized_keys

3. 重启ssh服务

sudo service ssh restart

4. 测试ssh

master执行ssh 192.168.72.132登录minion节点不需要密码则成功

k8s集群部署：

1. 下载部署脚本及二进制文件

kubernetes.tar.gz

etcd-v3.1.7-linux-amd64.tar.gz

flannel-0.5.5-linux-amd64.tar.gz

2. 解压kubernetes二进制文件

tar zxvf kubernetes.tar.gz

3. 拷贝kubernetes/server/目录下saltbase目录到kubernetes/cluster/目录下

a) 解压kubernetes/server/kubernetes-salt.tar.gz

b) cp saltbase /home/k8s/docker/kubernetes/cluster/

4. 拷贝二进制文件到kubernetes/cluster/ubuntu/目录

a) cp kubernetes.tar.gz etcd-v3.1.7-linux-amd64.tar.gz flannel-0.5.5-linux-amd64.tar.gz /home/k8s/docker/kubernetes/cluster/ubuntu/

b) 修改 mv etcd-v3.1.7-linux-amd64.tar.gz /home/k8s/docker/kubernetes/cluster/ubuntu/etcd.tar.gz

c) 修改 mv flannel-0.5.5-linux-amd64.tar.gz /home/k8s/docker/kubernetes/cluster/ubuntu/flannel.tar.gz

5. 修改各组件的版本，下载所有组件的二进制文件。此处我们使用etcd 3.1.7，flannel 0.5.5，k8s 1.1.3

vi /home/k8s/docker/kubernetes/cluster/ubuntu/build.sh

1. 执行命令./build.sh，进入目录binaries中出现如下结构则表示成功

1. 配置cluster/ubuntu/config-default.sh文件

a) export nodes=${nodes:-"root@192.168.72.131 root@192.168.72.132 root@192.168.72.133"}

b) export role=${role:-"ai i i"}

c) export NUM_MINIONS=${NUM_MINIONS:-3}

d) export SERVICE_CLUSTER_IP_RANGE=${SERVICE_CLUSTER_IP_RANGE:-192.168.3.0/24}

e) export FLANNEL_NET=${FLANNEL_NET:-172.16.0.0/16}

注：

role中的a代表master节点，i代表minion节点，ai代表master和minion节点

NUM_MINIONS表示minion节点的个数。

SERVICE_CLUSTER_IP_RANGE表示集群中service所对应的IP范围。

FLANNEL_NET表示pod所分配的IP范围。

1. 进入kubernetes/cluster/目录下执行部署命令，注：部署过程中需要输入密码

KUBERNETES_PROVIDER=ubuntu ./kube-up.sh

2. 测试k8s是否部署成功

a) 添加kubectl的路径加入到PATH中

b) Vi /etc/profile末尾添加export PATH="/home/k8s/docker/kubernetes/cluster/ubuntu/binaries/:$PATH"

c) 执行命令：Source /etc/profile

3. Kubectl get no检查k8s是否部署成功

a) 查询集群节点：kubectl get no

a) 查询api：http://192.168.72.131:8080/swagger-ui/

1. 部署K8s的ui

a) 准备ui配置文件：kube-ui-rc.yaml和kube-ui-svc.yaml

b) 准备ui镜像文件：kubernetes-dashboard-amd64_v1.5.0.tar

c) 准备初始容器镜像文件：Pause：0.8.0

d) 创建rc：kubectl create -f kube-ui-rc.yaml

e) 查看rc：kubectl get rc --namespace=kube-system

a) 创建svc：kubectl create -f kube-ui-svc.yaml

b) 查看svc：kubectl get svc --namespace=kube-system

查看po：kubectl get po --namespace=kube-system

a) 访问K8s可视化ui界面：http://192.168.72.131:8080/api/v1/proxy/namespaces/kube-system/services/kubernetes-dashboard/#/service?namespace=kube-system

K8s+docker部署遇到问题：

1. kubectl命令失效问题：nano ~/.bashrc 末尾添加source /etc/profile

2. liunx 下scp出现 Permission denied, please try again 的解决办法

a) 修改 /etc/ssh/sshd_config文件中 PermitRootLogin no / without-password  改为 PermitRootLogin yes

b) 重启ssh服务：sudo service ssh restart

3. 安装docker出现 GPG签名验证错误

a) Sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys D8576A8BA88D21E9

4. 查询docker仓库镜像问题

a) docker:v2

curl http://192.168.72.131:5000/v2/_catalog

curl http://192.168.72.131:5000/v2/pause/tags/list

b) docker:v1

curl http://192.168.72.131:5000/v1/search

5. Sudo apt-get update遇到问题：E: Unable to lock directory /var/lib/apt/lists/

a) sudo rm /var/lib/apt/lists/lock

6. ftp上传文件（使用put）时，permission denied，下载文件（使用get）时，failed to open file

a) 进入对应目录cd /var/ftp/pub

b) 赋权chmod 777 testput

7. Ssh问题：Please start ssh-agent, add your identity, and retry.

a) /etc/profile.d下新建ssh-agent.sh文件

b) vi /etc/profile.d/ssh-agent.sh

#!/bin/sh

if [ -f ~/.agent.env ]; then

        . ~/.agent.env >/dev/null

        if ! kill -0 $SSH_AGENT_PID >/dev/null 2>&1; then

                echo "Stale agent file found. Spawning new agent..."

                eval `ssh-agent |tee ~/.agent.env`

                ssh-add

        fi

else

        echo "Starting ssh-agent..."

        eval `ssh-agent |tee ~/.agent.env`

        ssh-add

fi

8. 国内下载镜像失败问题，可以通过以下地址进行下载

a) 通过阿里云容器镜像中查找https://dev.aliyun.com/search.html?spm=5176.1972343.0.1.fkjAwn,在用命令docker pull下载

b) https://storage.googleapis.com/kubernetes-release/release/v1.1.3/kubernetes.tar.gz

c) etcd：http://pan.baidu.com/s/1c1wITMw

d) kubernetes：http://pan.baidu.com/s/1kUoxgYb

9. Docker pull镜像并修改镜像tag

a) docker pull docker.io/kubernetes/pause

b) docker tag kubernetes/pause gcr.io/google_containers/pause:0.8.0

c) docker tag gcr.io/google_containers/pause:0.8.0 gcr.io/google_containers/pause:0.8.0

10. Docker导入导出镜像

a) docker save -o centos_with_net.tar 92b2e7f857ae

b) docker load <centos_with_net.tar