13、Docker容器网络栈管理全解析

Docker容器网络栈管理全解析

1. 网络控制器概述

网络控制器在Docker容器和Docker引擎之间的网络管理中起着关键作用。每个网络控制器会引用以下内容：
- 数据结构驱动表中的一个或多个驱动。
- 数据结构中的一个或多个沙箱。
- 一个数据存储。
- 一个IP地址管理表（ipamTable）。

网络控制器处于Docker引擎、容器以及它们所连接的网络之间，负责协调和管理网络通信。

2. CNM属性

CNM（Container Network Model）具有以下属性：

2.1 选项（Options）

选项是用户不可见的键值对数据，用于提供一种灵活的机制，将特定于驱动程序的配置从用户直接传递给驱动程序。只有当键与已知标签匹配时，libnetwork才会对这些选项进行操作，并获取由通用对象表示的值。

2.2 标签（Labels）

标签是选项的一个子集，是用户可以在UI中使用 --labels 选项设置的变量。其主要功能是执行特定于驱动程序的操作，并且是从UI传递的。

3. CNM生命周期

CNM的使用者通过CNM对象及其API来管理他们所管理的容器的网络连接，驱动程序会向网络控制器注册。内置驱动程序在libnetwork内部注册，而远程驱动程序则使用插件机制向libnetwork注册。

3.1 创建网络控制器和网络

使用 libnetwork.New() API创建网络控制器对象，用于管理网络的分配，并可选择使用特定于驱动程序的选项配置驱动程序。使用控制器的 NewNetwork() API创建网络对象，需要传入名称和 NetworkType 作为参数。 NetworkType 参数有助于选择驱动程序，并将创建的网络绑定到该驱动程序。所有网络操作都将由使用上述API创建的驱动程序处理。

3.2 创建端点

调用 Network.CreateEndpoint() 在给定网络中创建新端点。此API还接受可选的选项参数，这些参数因驱动程序而异。创建端点时，可以选择预留IPv4/IPv6地址，驱动程序使用 driverapi 中定义的 InterfaceInfo 接口分配这些地址。IPv4/IPv6地址与端点暴露的端口一起，用于完成端点作为服务定义的配置。服务端点是应用程序容器正在监听的网络地址和端口号。

3.3 连接容器到端点

使用 Endpoint.Join() 将容器连接到端点。如果该容器没有沙箱，此操作将创建一个沙箱。驱动程序使用沙箱键来识别连接到同一容器的多个端点。

3.4 容器停止和端点删除

当容器停止时，调用 Endpoint.Leave() ，驱动程序可以清理在 Join() 调用期间分配的状态。当最后一个引用端点离开网络时，libnetwork会删除沙箱。只要端点仍然存在，libnetwork就会保留IP地址，以便容器（或任何容器）再次连接时可以重用。调用 Endpoint.Delete() 从网络中删除端点，这将导致删除端点并清理缓存的沙箱信息。调用 Network.Delete() 删除网络，但只有在没有端点连接到该网络时才允许删除。

下面是CNM生命周期的流程图：

graph LR
    A[创建网络控制器] --> B[创建网络]
    B --> C[创建端点]
    C --> D[连接容器到端点]
    D --> E[容器停止]
    E --> F[端点离开]
    F --> G[端点删除]
    G --> H[网络删除]

4. 基于覆盖和底层网络的Docker网络工具

4.1 覆盖网络概述

覆盖网络是构建在底层网络基础设施之上的虚拟网络，其目的是实现物理网络中不可用的网络服务。网络覆盖显著增加了可以在物理网络之上创建的虚拟子网数量，从而支持多租户和虚拟化功能。

4.2 容器通信问题及解决方案

每个Docker容器都被分配一个IP地址，用于与其他容器通信。如果容器需要与外部网络通信，需要在主机系统中设置网络，并将容器的端口暴露或映射到主机。但容器无法宣传其外部IP和端口，因为它们无法获取这些信息。解决方案是为每个Docker容器跨所有主机分配唯一的IP地址，并使用一些网络产品在主机之间路由流量。

4.3 相关工具

4.3.1 Flannel

Flannel为每个容器提供一个可用于容器间通信的IP地址。通过数据包封装，它在主机网络之上创建一个虚拟覆盖网络。默认情况下，Flannel为每个主机提供一个/24子网，Docker守护进程将从该子网为容器分配IP地址。
Flannel在每个主机上运行一个代理 flanneld ，负责从预配置的地址空间中分配子网租约。它使用etcd（https://github.com/coreos/etcd）来存储网络配置、已分配的子网和辅助数据（如主机的IP）。为了提供封装，Flannel使用通用TUN/TAP设备，并使用UDP封装IP数据包来创建覆盖网络。子网分配借助etcd完成，etcd维护覆盖子网与主机的映射关系。

4.3.2 Weave

Weave创建一个虚拟网络，连接部署在不同主机/VM上的Docker容器，并实现它们的自动发现。Weave可以穿越防火墙，在部分连接的网络中运行。流量可以选择加密，允许在不可信网络上连接主机/VM。Weave增强了Docker现有的（单主机）网络功能，如 docker0 桥接器，以便容器可以继续使用这些功能。

4.3.3 Project Calico

Project Calico为连接容器、VM或裸机提供可扩展的网络解决方案。Calico使用可扩展的IP网络原理作为第3层方法提供连接性，无需覆盖或封装即可部署。Calico服务应作为容器部署在每个节点上，为每个容器提供自己的IP地址，并处理所有必要的IP路由、安全策略规则以及在节点集群之间的路由分发。

Calico架构包含四个重要组件：
- Felix ：Calico工作进程，是Calico网络的核心，主要负责路由并为主机上的工作负载提供所需的连接性，还为出站端点流量提供与内核的接口。
- BIRD ：路由分发器，是开源的BGP（Border Gateway Protocol），用于在主机之间交换路由信息。BIRD将内核端点分发给BGP对等体，以提供主机间路由。在 calico-node 容器中运行两个BIRD进程，分别用于IPv4（bird）和IPv6（bird6）。
- confd ：模板进程，用于自动生成BIRD的配置文件。它监控etcd存储中BGP配置的任何更改，如日志级别和IPAM信息。confd还根据etcd中的数据动态生成BIRD配置文件，并在数据更新时自动触发。每当配置文件更改时，confd会触发BIRD加载新文件。
- calicoctl ：命令行工具，用于配置和启动Calico服务。它甚至允许在数据存储（etcd）中定义和应用安全策略。该工具还为Calico配置的一般管理提供简单的接口，无论Calico是在VM、容器还是裸机上运行。支持的命令如下：

$ calicoctl
Override the host:port of the ETCD server by setting the environment variable ETCD_AUTHORITY [default: 127.0.0.1:2379]
Usage: calicoctl <command> [<args>...]
status            Print current status information
node              Configure the main calico/node container and establish Calico networking
container         Configure containers and their addresses
profile           Configure endpoint profiles
endpoint          Configure the endpoints assigned to existing containers
pool              Configure ip-pools
bgp               Configure global bgp
ipam              Configure IP address management
checksystem       Check for incompatibilities on the host system
diags             Save diagnostic information
version           Display the version of calicoctl
config            Configure low-level component configuration
See 'calicoctl <command> --help' to read about a specific subcommand.

Calico有以下集成方式：
- 作为Docker网络插件
- 不使用Docker网络
- 与Kubernetes集成
- 与Mesos集成
- 与Docker Swarm集成

5. 多主机Docker网络解决方案比较

解决方案	网络模型	名称服务	协议支持	分布式存储	加密通道
Calico	第3层解决方案	否	TCP、UDP、ICMP和ICMPv6	是	否
Flannel	VxLAN或UDP	否	所有	是	TLS
Weave	VxLAN或UDP	是	所有	否	NaCI库
Docker覆盖网络	VxLAN	否	所有	是	否

6. 使用Docker Engine Swarm节点配置覆盖网络

自Docker 1.9版本发布以来，多主机和覆盖网络成为其主要特性之一。它允许建立私有网络，连接多个容器。可以在没有外部键值存储的Swarm集群中的管理节点上创建覆盖网络，Swarm网络将使该网络可供Swarm中需要该网络的服务节点使用。

6.1 安装Docker-machine

$ curl -L https://github.com/docker/machine/releases/download/v0.7.0/docker-machine-`uname -s`-`uname -m` > /usr/local/bin/docker-machine && \
> chmod +x /usr/local/bin/docker-machine

检查安装版本：

$ docker-machine version
docker-machine version 0.7.0, build a650a40

6.2 创建Docker机器

创建一个Docker机器来运行服务发现服务：

$ docker-machine create \
>   -d vmwarefusion \
>   swarm-consul

启动consul容器进行服务发现：

$(docker-machine config swarm-consul) run \
>         -d \
>         --restart=always \
>         -p "8500:8500" \
>         -h "consul" \
>         progrium/consul -server -bootstrap

创建两个Docker守护进程来运行Docker集群：

$ docker-machine create \
>   -d vmwarefusion \
>   --swarm \
>   --swarm-master \
>   --swarm-discovery="consul://$(docker-machine ip swarm-consul):8500" \
>   --engine-opt="cluster-store=consul://$(docker-machine ip swarm-consul):8500" \
>   --engine-opt="cluster-advertise=eth0:2376" \
>   swarm-0

$ docker-machine create \
>   -d vmwarefusion \
>   --swarm \
>   --swarm-discovery="consul://$(docker-machine ip swarm-consul):8500" \
>   --engine-opt="cluster-store=consul://$(docker-machine ip swarm-consul):8500" \
>   --engine-opt="cluster-advertise=eth0:2376" \
>   swarm-1

6.3 配置Docker客户端和创建网络

确保Docker客户端与集群通信：

$ eval $(docker-machine env --swarm swarm-0)

创建一个使用覆盖驱动的私有prod网络：

$ docker $(docker-machine config swarm-0) network create --driver overlay prod

6.4 启动容器

启动两个 ubuntu:12.04 容器并连接到prod网络：

$ docker run -d -it --net prod --name dev-vm-1 ubuntu:12.04
$ docker run -d -it --net prod --name dev-vm-7 ubuntu:12.04

通过以上步骤，就可以在Docker Swarm集群中的多个主机之间配置一个私有网络。

7. 配置OpenvSwitch（OVS）与Docker一起使用

7.1 OVS概述

Open vSwitch（OVS）是一个开源的支持OpenFlow的虚拟交换机，通常与虚拟机管理程序一起使用，用于在主机内和跨网络的不同主机之间互连虚拟机。覆盖网络需要使用支持的隧道封装（如VXLAN或GRE）创建虚拟数据路径。

7.2 通信原理

当新容器上线时，路由协议会更新前缀，通过隧道端点宣布其位置。其他Docker主机接收到更新后，会在OVS中安装转发规则，指示数据包应通过哪个隧道端点转发。当主机被停用，隧道端点的Docker主机会删除已停用容器的转发条目。

7.3 单主机OVS故障排除

7.3.1 安装OVS

$ sudo apt-get install openvswitch-switch

7.3.2 安装ovs-docker实用程序

$ cd /usr/bin
$ wget https://raw.githubusercontent.com/openvswitch/ovs/master/utilities/ovs-docker
$ chmod a+rwx ovs-docker

7.3.3 创建OVS桥接器

$ ovs-vsctl add-br ovs-br1
$ ifconfig ovs-br1 173.16.1.1 netmask 255.255.255.0 up

7.3.4 创建容器

$ docker run -i-t --name container1 ubuntu /bin/bash
$ docker run -i-t --name container2 ubuntu /bin/bash

7.3.5 连接容器到OVS桥接器

# ovs-docker add-port ovs-br1 eth1 container1 --ipaddress=173.16.1.2/24
# ovs-docker add-port ovs-br1 eth1 container2 --ipaddress=173.16.1.3/24

7.3.6 测试连接

# docker exec container1 ifconfig
# docker exec container2 ifconfig
# docker exec container2 ping 172.16.17.2
# docker exec container1 ping 172.16.17.2

通过以上步骤，可以在单主机上安装和配置OVS，并测试容器之间的连接。

8. 多主机Docker网络解决方案的深入分析

8.1 性能对比

不同的多主机Docker网络解决方案在性能上有着不同的表现。Calico采用第3层解决方案，不依赖于覆盖网络，减少了封装和解封装的开销，在网络延迟和吞吐量方面表现较好，适合对网络性能要求较高的场景。Flannel和Weave使用VxLAN或UDP进行封装，会增加一定的网络开销，但它们提供了更灵活的网络拓扑和容器间通信方式。Docker覆盖网络基于VxLAN，也有一定的性能损耗，但与Docker的集成度高，使用方便。

8.2 安全性对比

在安全性方面，各解决方案也有不同的特点。Calico提供了丰富的安全策略规则，可以对容器间的通信进行细粒度的控制，并且支持分布式存储，保证了数据的一致性和安全性。Flannel可以使用TLS进行加密，保护网络通信的安全。Weave支持使用NaCI库进行加密，能够在不可信网络上安全地连接容器。Docker覆盖网络本身没有内置加密机制，但可以通过其他安全手段进行补充。

8.3 可扩展性对比

可扩展性是衡量网络解决方案优劣的重要指标之一。Calico基于可扩展的IP网络原理，能够轻松应对大规模容器集群的网络需求。Flannel和Weave也具有较好的可扩展性，可以通过增加节点和调整配置来适应不同规模的集群。Docker覆盖网络在Swarm集群中具有良好的可扩展性，能够自动将网络扩展到需要的节点。

以下是多主机Docker网络解决方案性能、安全性和可扩展性的对比表格：
| 解决方案 | 性能 | 安全性 | 可扩展性 |
| ---- | ---- | ---- | ---- |
| Calico | 高，减少封装开销 | 丰富的安全策略，分布式存储 | 强，基于可扩展IP原理 |
| Flannel | 有一定封装开销 | TLS加密 | 较好，可调整配置 |
| Weave | 有一定封装开销 | NaCI库加密 | 较好，可增加节点 |
| Docker覆盖网络 | 有一定封装开销，集成度高 | 可补充安全手段 | 好，在Swarm集群中自动扩展 |

9. OVS与Docker集成的高级应用

9.1 多主机OVS网络配置

在多主机环境中配置OVS网络，可以实现容器跨主机的通信。具体步骤如下：
1. 在每个主机上安装OVS和ovs-docker实用程序，方法与单主机安装相同。
2. 在每个主机上创建OVS桥接器，并配置IP地址：

$ ovs-vsctl add-br ovs-br1
$ ifconfig ovs-br1 <IP地址> netmask <子网掩码> up

3. 配置OVS隧道，使用VXLAN或GRE等封装协议：

$ ovs-vsctl add-port ovs-br1 vxlan0 -- set interface vxlan0 type=vxlan options:remote_ip=<远程主机IP地址>

4. 在每个主机上创建容器，并将容器连接到OVS桥接器：

$ docker run -i-t --name container1 ubuntu /bin/bash
$ ovs-docker add-port ovs-br1 eth1 container1 --ipaddress=<IP地址>/<子网掩码>

5. 测试容器间的通信：

$ docker exec container1 ping <远程容器IP地址>

9.2 OVS与SDN集成

OpenvSwitch可以与软件定义网络（SDN）控制器集成，实现更灵活的网络管理和控制。常见的SDN控制器有OpenDaylight、ONOS等。集成步骤如下：
1. 安装和配置SDN控制器。
2. 配置OVS连接到SDN控制器：

$ ovs-vsctl set-controller ovs-br1 tcp:<SDN控制器IP地址>:<端口号>

3. 在SDN控制器上定义网络策略和规则，实现对容器网络的精细控制。

9.3 OVS性能优化

为了提高OVS的性能，可以采取以下优化措施：
- 硬件加速 ：使用支持DPDK（Data Plane Development Kit）的网卡，提高数据包处理速度。
- 内核调优 ：调整内核参数，如增加网络缓冲区大小、优化TCP/IP协议栈等。
- 负载均衡 ：使用多个OVS桥接器或分布式OVS架构，实现负载均衡。

以下是OVS性能优化的流程图：

graph LR
    A[硬件加速] --> B[使用支持DPDK的网卡]
    C[内核调优] --> D[调整网络缓冲区大小]
    C --> E[优化TCP/IP协议栈]
    F[负载均衡] --> G[使用多个OVS桥接器]
    F --> H[分布式OVS架构]

10. 总结

本文详细介绍了Docker容器网络栈的管理，包括网络控制器、CNM属性和生命周期、多主机网络解决方案以及OVS与Docker的集成。通过对不同网络解决方案的比较和分析，我们可以根据具体的应用场景和需求选择合适的方案。在实际应用中，还可以根据需要对网络进行优化和扩展，以满足不断变化的业务需求。

在未来的发展中，随着容器技术的不断普及和应用场景的不断扩展，Docker容器网络管理将面临更多的挑战和机遇。我们需要不断关注新技术和新趋势，不断优化和改进网络解决方案，以提高容器网络的性能、安全性和可扩展性。