14、Docker 容器网络栈管理与 Kubernetes 部署指南

Docker 容器网络栈管理与 Kubernetes 部署指南

1. 使用 OVS 连接多主机上的 Docker 容器

在多主机环境中使用 Open vSwitch (OVS) 连接 Docker 容器，可按以下步骤操作：
1. 安装 Docker 和 OVS ：在两台运行 Ubuntu 14.04 的主机（Host1 和 Host2）上执行以下命令：

# wget -qO- https://get.docker.com/ | sh
# sudo apt-get install openvswitch-switch

2. 安装 ovs - docker 工具 ：

# cd /usr/bin
# wget https://raw.githubusercontent.com/openvswitch/ovs/master/utilities/ovs - docker
# chmod a+rwx ovs - docker

3. 更改默认 Docker 子网 ：
   • Host1 ：

$ service docker stop
$ ip link set dev docker0 down
$ ip addr del 172.17.42.1/16 dev docker0
$ ip addr add 192.168.10.1/24 dev docker0
$ ip link set dev docker0 up
$ ip addr show docker0
$ service docker start

- **添加 br0 OVS 桥**：

$ ovs - vsctl add - br br0

- **创建到另一主机的隧道**：

$ ovs - vsctl add - port br0 gre0 -- set interface gre0 type = gre options:remote_ip = 30.30.30.8

- **将 br0 桥添加到 docker0 桥**：

$ brctl addif docker0 br0

- **Host2**：

$ service docker stop
$ iptables - t nat - F POSTROUTING
$ ip link set dev docker0 down
$ ip addr del 172.17.42.1/16 dev docker0
$ ip addr add 192.168.10.2/24 dev docker0
$ ip link set dev docker0 up
$ ip addr show docker0
$ service docker start

- **添加 br0 OVS 桥**：

$ ip link set br0 up
$ ovs - vsctl add - br br0

- **创建到另一主机的隧道并连接到 br0 桥**：

$ ovs - vsctl add - port br0 gre0 -- set interface gre0 type = gre options:remote_ip = 30.30.30.7

- **将 br0 桥添加到 docker0 桥**：

$ brctl addif docker0 br0

4. 测试连接 ：在配置完成后，可在 Host1 上执行 ping 192.168.10.2 ，在 Host2 上执行 ping 192.168.10.1 进行测试。
5. 创建容器 ：
   • Host1 ：

$ docker run - t - i -- name container1 ubuntu:latest /bin/bash

- **Host2**：

$ docker run - t - i -- name container2 ubuntu:latest /bin/bash

- 此时可从 container1 中 ping container2。

以下是整个过程的流程图：

graph LR
    A[安装 Docker 和 OVS] --> B[安装 ovs - docker 工具]
    B --> C[更改默认 Docker 子网]
    C --> C1[Host1 配置]
    C --> C2[Host2 配置]
    C1 --> D1[添加 br0 桥]
    C2 --> D2[添加 br0 桥]
    D1 --> E1[创建隧道]
    D2 --> E2[创建隧道]
    E1 --> F1[连接 br0 到 docker0]
    E2 --> F2[连接 br0 到 docker0]
    F1 --> G1[测试连接]
    F2 --> G2[测试连接]
    G1 --> H1[创建容器]
    G2 --> H2[创建容器]
    H1 --> I[跨容器通信测试]
    H2 --> I

2. Kubernetes 简介

Kubernetes 是一个容器集群管理工具，目前支持 Docker 和 Rocket。它是 Google 开源的项目，于 2014 年 6 月在 Google I/O 上发布，支持在多种云提供商（如 GCE、Azure、AWS、vSphere 和裸金属）上部署。Kubernetes 管理器具有轻量级、可移植、可扩展和自我修复的特点。

Kubernetes 的重要组件如下：
| 组件名称 | 描述 |
| ---- | ---- |
| Node | 是 Kubernetes 集群的物理或虚拟机，运行 Kubernetes 和 Docker 服务，可调度 Pod |
| Master | 维护 Kubernetes 服务器运行时的状态，是所有客户端配置和管理 Kubernetes 组件的入口点 |
| Kubectl | 用于与 Kubernetes 集群交互的命令行工具，可部署、删除和列出 Pod |
| Pod | Kubernetes 中最小的调度单元，是共享卷且无端口冲突的 Docker 容器集合，可通过简单的 JSON 文件创建 |
| Replication controller | 管理 Pod 的生命周期，确保在任何给定时间运行指定数量的 Pod |
| Label | 基于键值对识别和组织 Pod 和服务 |

3. 在裸金属上部署 Kubernetes

以在单台 Fedora 24 机器上部署为例，步骤如下：
1. 启用 Kubernetes 测试 YUM 仓库 ：

yum - y install -- enablerepo = updates - testing kubernetes

2. 安装 etcd 和 iptables - services ：

yum - y install etcd iptables - services

3. 设置主机信息 ：

echo "192.168.121.9  fed - master
192.168.121.65  fed - node" >> /etc/hosts

4. 禁用防火墙和 iptables - services ：

systemctl disable iptables - services firewalld
systemctl stop iptables - services firewalld

5. 编辑 /etc/kubernetes/config 文件 ：

# Comma separated list of nodes in the etcd cluster
KUBE_MASTER="--master=http://fed - master:8080"
# logging to stderr means we get it in the systemd journal
KUBE_LOGTOSTDERR="--logtostderr=true"
# journal message level, 0 is debug
KUBE_LOG_LEVEL="--v = 0"
# Should this cluster be allowed to run privileged docker containers
KUBE_ALLOW_PRIV="--allow - privileged=false"

6. 编辑 /etc/kubernetes/apiserver 文件 ：

# The address on the local server to listen to.
KUBE_API_ADDRESS="--address = 0.0.0.0"
# Comma separated list of nodes in the etcd cluster
KUBE_ETCD_SERVERS="--etcd - servers=http://127.0.0.1:2379"
# Address range to use for services
KUBE_SERVICE_ADDRESSES="--service - cluster - ip - range = 10.254.0.0/16"
# Add your own!
KUBE_API_ARGS=""

7. 编辑 /etc/etcd/etcd.conf 文件 ：

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"

8. 编辑 /etc/kubernetes/kubelet 文件 ：

###
# Kubernetes kubelet (node) config
# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)
KUBELET_ADDRESS="--address = 0.0.0.0"
# You may leave this blank to use the actual hostname
KUBELET_HOSTNAME="--hostname - override = fed - node"
# location of the api - server
KUBELET_API_SERVER="--api - servers=http://fed - master:8080"
# Add your own!
#KUBELET_ARGS=""

9. 创建启动脚本 ：

$ nano start - k8s.sh
for SERVICES in etcd kube - apiserver kube - controller - manager kube - scheduler kube - proxy kubelet docker; do
    systemctl restart $SERVICES
    systemctl enable $SERVICES
    systemctl status $SERVICES
done

10. 创建 node.json 文件 ：

{
    "apiVersion": "v1",
    "kind": "Node",
    "metadata": {
        "name": "fed - node",
        "labels": { "name": "fed - node - label" }
    },
    "spec": {
        "externalID": "fed - node"
    }
}

11. 创建节点对象 ：

$ kubectl create - f ./node.json
$ kubectl get nodes

4. 解决 Kubernetes Fedora 手动设置的问题

如果 kube - apiserver 无法启动，可能是由于服务账户准入控制，需要服务账户和令牌才能调度 Pod。可按以下步骤解决：
1. 生成密钥 ：

openssl genrsa - out /tmp/serviceaccount.key 2048

2. 修改配置文件 ：
   • 在 /etc/kubernetes/apiserver 文件末尾添加：

KUBE_API_ARGS="--service_account_key_file=/tmp/serviceaccount.key"

- 在 /etc/kubernetes/kube - controller - manager 文件末尾添加：

KUBE_CONTROLLER_MANAGER_ARGS=" - service_account_private_key_file =/tmp/serviceaccount.key"

3. 重启集群 ：使用 start_k8s.sh 脚本重启集群。

5. 使用 Minikube 部署 Kubernetes

Minikube 是一个便于在本地运行 Kubernetes 的工具，以下是在 Mac OS X 上的设置步骤：
1. 下载 Minikube 二进制文件 ：

$ curl - Lo minikube https://storage.googleapis.com/minikube/releases/v0.12.2/minikube - darwin - amd64

2. 授予执行权限 ：

$ chmod + x minikube

3. 移动二进制文件 ：

$ sudo mv minikube /usr/local/bin

4. 下载并配置 kubectl ：

$ curl - Lo kubectl https://storage.googleapis.com/kubernetes - release/release/v1.3.0/bin/darwin/amd64/kubectl && chmod + x kubectl && sudo mv kubectl /usr/local/bin/

5. 启动 Minikube ：

$ minikube start

6. 设置 kubectl 使用 Minikube 上下文 ：

$ kubectl config use - context minikube

7. 列出节点 ：

$ kubectl get nodes

8. 创建并暴露 Pod ：

$ kubectl run hello - minikube --image = gcr.io/google_containers/echoserver:1.4 --port = 8080
$ kubectl expose deployment hello - minikube --type = NodePort

9. 查看 Pod 状态 ：

$ kubectl get pod

10. 打开 Kubernetes 仪表盘 ：

$ minikube dashboard

6. 在 AWS 上部署 Kubernetes

在 AWS 上部署 Kubernetes 可按以下步骤进行：
1. 登录 AWS 控制台 ：访问 http://aws.amazon.com/console/ 。
2. 打开 IAM 控制台 ：访问 https://console.aws.amazon.com/iam/home?#home 。
3. 创建访问密钥 ：选择 IAM 用户名，在“Security Credentials” 选项卡中点击 “Create Access Key”。
4. 下载并保存密钥 ：将下载的 CSV 文件保存到安全位置，文件包含用于配置 AWS CLI 的访问密钥 ID 和秘密访问密钥。
5. 安装并配置 AWS CLI ：

$ sudo pip install awscli
$ aws configure
AWS Access Key ID [None]: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
AWS Secret Access Key [None]: YYYYYYYYYYYYYYYYYYYYYYYYYYYY
Default region name [None]: us - east - 1
Default output format [None]: text

6. 创建实例配置文件 ：

$ aws iam create - instance - profile --instance - profile - name Kube

7. 创建角色并附加策略 ：

$ aws iam create - role --role - name Test - Role --assume - role - policy - document /root/kubernetes/Test - Role - Trust - Policy.json
$ aws iam add - role - to - instance - profile --role - name Test - Role --instance - profile - name Kube

8. 设置默认配置文件 ：

$ export AWS_DEFAULT_PROFILE = Kube

9. 部署 Kubernetes 集群 ：

$ export KUBERNETES_PROVIDER = aws; wget - q - O - https://get.k8s.io | bash

7. 在 vSphere 上部署 Kubernetes

在 vSphere 上安装 Kubernetes 可借助 govc，步骤如下：
1. 安装 golang ：

$ wget https://storage.googleapis.com/golang/go1.7.3.linux - amd64.tar.gz
$ tar - C /usr/local - xzf go1.7.3.linux - amd64.tar.gz

2. 设置 go 路径 ：

$ export GOPATH = /usr/local/go
$ export PATH = $PATH:$GOPATH/bin

3. 下载预构建的 Debian VMDK ：

$ curl --remote - name - all https://storage.googleapis.com/govmomi/vmdk/2016 - 01 - 08/kube.vmdk.gz{,.md5}

通过以上步骤，我们可以实现 Docker 容器在多主机上的连接，以及在不同环境下部署和管理 Kubernetes 集群。

Docker 容器网络栈管理与 Kubernetes 部署指南

8. 总结与回顾

在前面的内容中，我们详细介绍了使用 OVS 连接多主机上的 Docker 容器的具体步骤，包括安装相关软件、更改默认子网配置、创建隧道、添加桥接以及测试连接和创建容器等操作。同时，我们还深入了解了 Kubernetes 的相关知识，包括其简介、重要组件，以及在裸金属、Minikube、AWS 和 vSphere 等不同环境下的部署方法，并且针对 Kubernetes Fedora 手动设置可能出现的问题给出了解决方案。

以下是对不同部署方式的简单对比表格：
| 部署环境 | 特点 | 适用场景 |
| ---- | ---- | ---- |
| 裸金属 | 直接在物理机上部署，性能高但部署复杂 | 对性能要求高且有专业运维能力的场景 |
| Minikube | 便于本地开发和测试，在虚拟机中运行单节点集群 | 开发者本地学习和日常开发测试 |
| AWS | 借助云服务，部署方便且可扩展性强 | 需要快速部署和灵活扩展的云环境应用 |
| vSphere | 基于 vSphere 平台，适合企业级虚拟化环境 | 企业内部已有 vSphere 基础设施的场景 |

9. 实际应用中的注意事项

在实际使用 Docker 容器网络和 Kubernetes 进行部署时，还需要注意以下几点：
- 网络安全 ：无论是 Docker 容器网络还是 Kubernetes 集群，网络安全都是至关重要的。要合理配置防火墙规则，限制不必要的网络访问，确保集群的安全性。例如，在使用 OVS 连接多主机容器时，要对 GRE 隧道的访问进行严格控制。
- 资源管理 ：Kubernetes 可以很好地管理容器资源，但在部署时要根据实际业务需求合理分配资源，避免资源浪费或不足。例如，在设置 Pod 的 CPU 和内存限制时，要进行充分的测试和评估。
- 版本兼容性 ：Docker、Kubernetes 以及相关组件的版本之间可能存在兼容性问题。在部署前要确保各个组件的版本相互兼容，避免出现因版本不匹配导致的故障。

10. 未来发展趋势

随着容器技术和云计算的不断发展，Docker 容器网络和 Kubernetes 也将不断演进。以下是一些可能的发展趋势：
- 更强大的网络功能 ：Docker 容器网络可能会提供更多高级的网络功能，如更灵活的网络策略配置、更好的网络隔离和安全机制。
- Kubernetes 的广泛应用 ：Kubernetes 作为容器集群管理的事实标准，将在更多的企业和场景中得到应用，并且其功能会不断完善和扩展，如支持更多的容器运行时和云服务提供商。
- 自动化和智能化 ：未来的容器管理和部署将更加自动化和智能化，通过机器学习和人工智能技术实现自动故障诊断、资源优化和性能预测等功能。

11. 总结

本文全面介绍了 Docker 容器网络栈管理和 Kubernetes 部署的相关知识，从 Docker 容器在多主机上的网络连接，到 Kubernetes 在不同环境下的部署和管理，以及实际应用中的注意事项和未来发展趋势。通过学习这些内容，读者可以更好地掌握 Docker 和 Kubernetes 技术，在实际项目中进行有效的容器化部署和管理。

以下是整个知识体系的流程图，展示了从 Docker 容器网络到 Kubernetes 部署的整体流程：

graph LR
    A[Docker 容器网络] --> B[使用 OVS 连接多主机容器]
    B --> C[Kubernetes 简介]
    C --> D[裸金属部署]
    C --> E[Minikube 部署]
    C --> F[AWS 部署]
    C --> G[vSphere 部署]
    D --> H[解决部署问题]
    E --> H
    F --> H
    G --> H
    H --> I[实际应用注意事项]
    I --> J[未来发展趋势]

希望本文能为读者在容器化技术的学习和实践中提供有价值的参考，帮助大家更好地应对实际项目中的挑战。