Kubernetes集群性能测试之kubemark集群搭建

Kubernetes集群性能测试之kubemark集群搭建

Kubemark是K8s官方提供的一个对K8s集群进行性能测试的工具。它可以模拟出一个K8s cluster（Kubemark cluster），不受资源限制，从而能够测试的集群规模比真实集群大的多。这个cluster中master是真实的机器，所有的nodes是Hollow nodes。Hollow nodes执行的还是真实的K8s程序，只是不会调用Docker，因此测试会走一套K8s API调用的完整流程，但是不会真正创建pod。

Kubermark是在模拟的Kubemark cluster上跑E2E测试，从而获得集群的性能指标。Kubermark cluster的测试数据，虽然与真实集群的稍微有点误差，不过可以代表真实集群的数据，具体数据见Updates to Performance and Scalability in Kubernetes 1.3 – 2,000 node 60,000 pod clusters。因此，可以借用Kubermark，直接在真实集群上跑E2E测试，从而对我们真实集群进行性能测试。

kubemark包括两个部分：

1. 一个真实的kubemark master控制面，可以是单节点也可以是多节点。
2. 一组注册到kubemark集群中的Hollow node，通常是由另一个k8s集群（external集群）中的Pod模拟，该pod ip即为kubemark集群中对应Hollow node的IP。

说明：

上面的external和kubemark集群也可以使用一个集群进行测试。

kubemark项目编译及镜像制作

kubemark镜像可以使用网上已经构建好的，也可以自己构建。kubemark源码位于kubernetes项目中，编辑及制作kubemark镜像是搭建kubemark集群的第一步。准备好go语言环境，环境中需要安装docker，如果使用国内网络请自行配置goproxy及docker镜像加速源，然后执行命令：

mkdir -p go/src/k8s.io/
cd go/src/k8s.io/
#　克隆kubernetes源码
git clone https://github.com/kubernetes/kubernetes.git
cd kubernetes

# 根据自己的需要，checkout目标分支
git checkout v1.19.0 -f

# 编译
make WHAT='cmd/kubemark'
cp _output/bin/kubemark cluster/images/kubemark/
cd cluster/images/kubemark/
#　构建镜像，过程其实就是将编译构建的kubemark二进制文件拷贝到基础镜像中，可以根据需要修改Dockerfile文件。
sudo make build

说明：

默认情况下构建kubemark镜像的base镜像会从gcr.io仓库拉取base镜像，一方面该仓库需要魔法上网才能拉取，另外就是测试发现该镜像做了很多裁剪，不方面后续进入容器排查。这里可以改为使用其他镜像，例如centos:7。

制作出的容器镜像为staging-k8s.gcr.io/kubemark, 可以通过docker image ls命令看到：

test@ubuntu:~$ sudo docker images
REPOSITORY                         TAG       IMAGE ID       CREATED         SIZE
lldhsds/kubemark                   1.19.0    e38978301036   3 hours ago     116MB
staging-k8s.gcr.io/kubemark        1.19.0    e38978301036   3 hours ago     116MB
staging-k8s.gcr.io/kubemark        latest    e38978301036   3 hours ago     116MB

此镜像用于启动模拟k8s节点的pod容器，镜像构建完成后打包并导入到external k8s集群的各节点中。

这里构建镜像的时候默认会到gcr去拉取基础镜像，国内无法pull镜像，可以修改Dockefile文件改用其他基础镜像：

[root@k8s-master kubemark]# pwd
/root/go/src/k8s.io/kubernetes/cluster/images/kubemark
# 修改Dockerfile，改用centos7.0作为基础镜像构建kubemark镜像
[root@k8s-master kubemark]# cat Dockerfile
FROM centos:centos7.0.1406
COPY kubemark /kubemark
# 构建镜像
[root@k8s-master kubemark]# IMAGE_TAG=v1.19.0 make build
[root@k8s-master kubemark]# docker images | grep kubemark
staging-k8s.gcr.io/kubemark   v1.19.0           b3c808cf091c   3 hours ago    309MB

kubemark集群搭建实战

准备好两套K8S环境：

• kubemark cluster: 进行性能测试的集群，上面会出现一些 hollow node

• external cluster: 运行一些名为 hollow-node-* 的 pod 的集群，这些 pod 通过 kubemark cluster 的 kubeconfig 文件注册为 kubemark cluster 的 node

创建hollow-nodes步骤如下：

说明：

下面用到的一些配置文件来自源码路径，kubernetes/test/kubemark/resources/，不同版本配置文件可能不同。本文部署针对源码配置文件做了部分删减。

external集群创建 kubemark namespace

[root@k8s-master ~]# kubectl create ns kubemark

external集群创建配置：

# 在 external cluster创建configmap
[root@k8s-master ~]# kubectl create configmap node-configmap -n kubemark --from-literal=content.type="test-cluster"

准备 kubemark cluster 的 kubeconfig 文件：kubeconfig.kubemark

# 在 external cluster 上创建secret，其中kubeconfig为kubemark集群的kubeconfig文件
[root@k8s-master ~]# kubectl create secret generic kubeconfig --type=Opaque --namespace=kubemark --from-file=kubelet.kubeconfig=kubeconfig.kubemark --from-file=kubeproxy.kubeconfig=kubeconfig.kubemark

在k8s各个节点导入kubemark相关镜像，将上述构建的kubemark镜像，同时还会用到busybox镜像

# docker环境
docker load -i busybox.tar
docker load -i kubemark-v1.19.0.tar

# containerd环境
ctr -n=k8s.io images import busybox.tar
ctr -n=k8s.io images import kubemark-v1.27.6.tar

准备hollow-node.yaml文件，该文件为创建hollow节点的配置文件：

以下yaml文件在k8s 1.19.0 + flannel 环境下测试正常：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: hollow-node
  namespace: kubemark
  labels:
    name: hollow-node
spec:
  replicas: 2
  selector: