docker & vlan

这两天接到任务，需要实验下docker容器通过vlan隔离，这样各个容器就可以和BTS基站通信（因为坑爹的设计，每个BTS基站都是相同的IP，在同个网络里，不得不通过vlan隔离。）

docker容器的网络类型有4种

• host模式，使用--net=host指定。
• container模式，使用--net=container:NAME_or_ID指定。
• none模式，使用--net=none指定。
• bridge模式，使用--net=bridge指定，默认设置。

下面分别介绍一下Docker的各个网络模式

host模式

众所周知，Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、Iptable规则等都与其他的Network Namespace隔离。一个Docker容器一般会分配一个独立的Network Namespace。但如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。

例如，我们在10.10.101.105/24的机器上用host模式启动一个含有web应用的Docker容器，监听tcp80端口。当我们在容器中执行任何类似ifconfig命令查看网络环境时，看到的都是宿主机上的信息。而外界访问容器中的应用，则直接使用10.10.101.105:80即可，不用任何NAT转换，就如直接跑在宿主机中一样。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。

container模式

在理解了host模式后，这个模式也就好理解了。这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。

none模式

这个模式和前两个不同。在这种模式下，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。也就是说，这个Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网卡、配置IP等。

bridge模式

bridge模式是Docker默认的网络设置，此模式会为每一个容器分配Network Namespace、设置IP等，并将一个主机上的Docker容器连接到一个虚拟网桥上。

默认模式是桥接模式，在安装完dock 以后，会自动设置了网桥docker0 默认ip是172.17.0.1，这个网桥可以ifconfig命令 或者brctl 看到，在默认情况下，容器里的虚拟网卡会连接到这个网桥，同时，这个网桥会提供DHCP服务和NAT功能，这样容器里的网卡分配到的IP就是172.17.0.2，172.17.0.3，......。

从这个网桥可以在brctl看到，可以得出这个网桥是linux 网桥，就是linux内核就支持的功能，这种linux网桥稳定性好，效率高，但是不支持vlan。所以得安装其他支持vlan的SDN软件，这里就使用比较常用的OVS。

这里就不介绍安装OVS的过程了，网上很多。

初始化工作就是桥接物理网卡

1、创建网桥 

ovs-vsctl add-br br-test

2、将物理网卡eth1连接到网桥，注意，这里会暂时断开eth1的网络，如果当前操作是ssh到eth1操作的，会导致ssh中断，所以如果双网卡的话，最好ssh到eth0上操作。

ovs-vsctl add-port br-test eth1

3、激活网桥

ifconfig eth1 0

ifconfig br-test up

如果网络环境是固定IP的话，执行

ifconfig br-test 192.168.xx.xx

如果网络环境是dhcp的话，执行

dhclient br-test 

这样网桥就桥接好了，可以通过ovs-vsctl show查看网桥网络连接。

接下来就是

1、创建容器，

docker run -itd -p 22 --name test1 ubuntu /bin/bash

2、创建新的虚拟网卡，

获取容器的网络

nsnspid=$(docker inspect -f '{{.State.Pid}}' test1) 

创建一对网口

ip link add tt0 type veth peer name tt1  

3、将虚拟机网卡连接到指定网桥，并设置连接端口的vlan tag

ovs-vsctl add-port br-test tt1 tag=102

ifconfig tt1 up

4、将虚拟网卡绑定到容器里，

ip link set dev tt0 name eth1 netns ${nspid}  

ip netns exec ${nspid} ip link set dev eth5 up 

ip netns exec ${nspid} ip addr add 192.168.255.110/24 dev eth5

这样在容器里就多了个eth5的网卡，并且连在网桥的端口vlan tag是102,这样就可以和远程的连接同样vlan tag 的BTS通信。

注意，因为eth1被桥接，服务器上eth1连接物理交换机的端口必须设置为trunk，否则网络不通。

以上是手动的方法，后来查资料发现已经有自动设置的脚本pipework。

pipework是由Docker的工程师Jérôme Petazzoni开发的一个Docker网络配置工具，由200多行shell实现，方便易用。

1、创建容器，

docker run -itd -p 22 --name test1 ubuntu /bin/bash

2、添加网卡

pipework br-test test1 192.168.255.122/24 @102