K8s 网络插件exec

K8s 网络插件支持exec , CNI，kubenet 3种类型。要求插件满足K8s网络插件接口即可。

type NetworkPlugin interface{

        Init(host Host, hairpinModecomponentconfig.HairpinMode) error

        Event(name string,details map[string]interface{})

        Name() string

        Capabilities() utilsets.Int

        SetUpPod(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) error

        TearDownPod(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) error

        GetPodNetworkStatus(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) (*PodNetworkStatus,error)

        Status() error

}

这里介绍下简单的exec插件类型

Exec 类型插件会分别在初始化，pod创建，销毁，查询时调用可执行程序，由可执行程序完成pod的网络管理。

在初始化，pod创建，销毁，查询时，分别调用的subcommand  分别为 "init"，"setup""teardown"，"status"，所以要求可执行程序能解析上述subcommand 。

这里以一个简单的k8s 插件为例子，介绍如何实现exec 类型的网络插件。

需求场景如下：要求k8s创建pod 时，在pod内还会创建一个网络接口，该接口IP固定，该接口的另一端veth在ovs 网桥上，且有vlan tag，改tag 号可从pod name 取出。

 

该插件代码见

https://github.com/liuliuzi/k8s-netplugin/tree/master/exec

更改权限为可执行

同时下载

https://github.com/jpetazzo/pipework，更改pipework 权限为可执行，并移动到系统PATH路径下。

 

在每台worknode修改kebelet 启动参数，添加网络插件参数

 --network-plugin=myplugin   \插件名

  --network-plugin-dir=/root/kubplugin  \插件位置

在每台worknode 下载安装OVS

 

在k8s上创建pod

kubectl run 22-my-nginx --image=busybox --replicas=2

然后

ovs-vsctl show

77a11ec3-545a-42cc-bc7a-e3f54ff0c63b

    Bridge"k8s_br"

        Port"k8s_br"

            Interface"k8s_br"

                type:internal

        Port"veth1pl29198"

            tag: 22

            Interface"veth1pl29198"

    ovs_version:"2.5.0"

可见一个vlan tag22 的 IF已经创建，veth另一端在pod内。

这样容器内就两张网络，一个是默认的k8s网络，另外一个通过OVS的vlan网络。

这样就实现了一个容器多网络。

对于这个插件实现原理，

在init的时候，确保k8s_br 的ovs 网桥存在。

在setup 的时候，先通过pod 那么获取vlan名字，然后通过pipework添加veth到容器内。

（在这里的场景非常简单，固定IP，而且vlan tag从pod name获取。在复杂的场景里，这里的IP和vlan  tag 可以从一个专门的服务获取，比如ETCD等）

在teardown的时候，删除veth，删除OVSport。

 

相对单独使用pipework，有一个缺点就是pipework创建的veth 和port 无法伴随容器的生命周期，比如容器销毁后veth仍旧存在。现在通过k8s的网络插件结构，插件通过pipework创建的veth 和port可以伴随POD的生命周期，包括POD的迁移。