Kubernetes源码探疑：Pod IP泄露排查及解决

UK8S是UCloud推出的Kubernetes容器云产品，完全兼容原生API，为用户提供一站式云上Kubernetes服务。我们团队自研了CNI（Container Network Interface）网络插件，深度集成VPC，使UK8S容器应用拥有与云主机间等同的网络性能（目前最高可达10Gb/s, 100万pps），并打通容器和物理云/托管云的网络。过程中，我们解决了开源kubelet创建多余Sandbox容器导致Pod IP莫名消失的问题，确保CNI插件正常运行，并准备将修复后的kubelet源码提交给社区。

深度集成VPC的网络方案

按照我们的设想，开发者可以在UK8S上部署、管理、扩展容器化应用，无需关心Kubernetes集群自身的搭建及维护等运维类工作。UK8S完全兼容原生的Kubernetes API， 以UCloud 公有云资源为基础， 通过自研的插件整合打通了ULB、UDisk、EIP等公有云网络和存储产品，为用户提供一站式云上Kubernetes服务。

其中VPC既保障网络隔离，又提供灵活的IP地址定义等，是用户对网络的必备需求之一。UK8S研发团队经过考察后认为，UCloud基础网络平台具有原生、强大的底层网络控制能力，令我们能抛开Overlay方案，把VPC的能力上移到容器这一层，通过VPC的能力去实现控制和转发。 UK8S每创建一个Pod都为其申请一个VPC IP并通过VethPair配置到Pod上，再配置策略路由。 原理如下图所示。

此方案具有以下优势：

• 无Overlay，网络性能高。50台Node下的测试数据表明，容器与容器之间的网络性能，相对于云主机与云主机之间，只有轻微差异（小包场景下，pps 会有 3~5% 损耗），而且Pod网络性能各项指标(吞吐量，包量，延迟等)不会随着节点规模增大而削减。而Flannel UDP，VXLan模式和Calico IPIP的模式存在明显的性能消耗。
• Pod能直通公有云和物理云。对于使用公有云和物理云的用户而言，业务上K8S少了一层障碍，多了一份便利。而Flannel的host gw模式下，容器无法访问公有云和物理云主机。

而CNI的工作流程如下所示。

创建Pod网络过程：

删除Pod网络过程：

Pod IP 消失问题的排查与解决

为了测试CNI插件的稳定性，测试同学在UK8S上部署了一个CronJob，每分钟运行一个Job任务，一天要运行1440个任务。该CronJob定义如下：

apiVersion: batch/v1beta1 kind: CronJob metadata: name: hello spec: schedule: "*/1 * * * *" jobTemplate: spec: template: spec: containers: - name: hello image: busybox args: - /bin/sh - -c - date; echo Hello from the Kubernetes cluster restartPolicy: OnFailure

每运行一次Job都要创建一个Pod， 每创建一个Pod，CNI插件需要申请一次