lldhsds的专栏

本文参考官方文档完成etcd性能测试，提供etcd官方推荐的性能测试方案。

原文：https://etcd.io/docs/v3.5/op-guide/hardware/etcd 通常在开发或测试环境中运行良好，即使资源有限；在笔记本电脑或廉价云服务器上开发时，使用 etcd 也很常见。然而，在生产环境中运行 etcd 集群时，遵循一些硬件指南对于正确的管理非常有用。这些建议并非硬性规定；它们为稳健的生产部署提供了良好的起点。正如以往一样，在投入生产之前，应使用模拟工作负载对部署进行测试。

Velero是go语言开发的，用于提供备份和恢复 Kubernetes 集群资源和持久卷的开源工具，可在公有云平台或本地环境中运行 Velero。

参考《在 KubeVirt 中使用 GPU Operator》，记录gpu operator在KubeVirt下实践的过程，包括虚拟机配置GPU直通，容器挂载GPU设备等。KubeVirt 提供了一种将主机设备分配给虚拟机的机制。该机制具有通用性，支持分配各种类型的 PCI 设备，例如加速器（包括 GPU）或其他连接到 PCI 总线的设备。

在使用Helm chart时，可以通过以下选项自定义设置。这些选项可在安装时通过--set进行指定。下表列出了最常用的选项。如果您希望使用自定义的驱动容器镜像（例如版本 465.27），可以按照以下步骤构建自定义的驱动容器镜像：通过在构建 Docker 镜像时指定参数来重建驱动容器。有关参考信息，驱动容器的 Dockerfile 可在Git 仓库中找到。使用适当的 Dockerfile 构建容器。请确保驱动容器的标签符合的格式，例如。在 Helm 安装命令中通过覆盖默认值来指定新的驱动镜像和镜像库。

KubeVirt 是 Kubernetes 的一个虚拟机管理插件，允许您在 Kubernetes 集群中运行和管理虚拟机。它消除了为虚拟机和容器工作负载管理独立集群的需求，二者现在可以在单一 Kubernetes 集群中共存。在此之前，GPU Operator 仅支持为运行 GPU 加速的容器配置工作节点。现在，GPU Operator 也可以用于为运行 GPU 加速的虚拟机配置工作节点。运行带有 GPU 的容器和虚拟机所需的前提条件不同，主要区别在于所需的驱动程序。

KubeVirt 是 Kubernetes 的虚拟化插件，本指南假设已经安装了 Kubernetes 集群。

KubeVirt 技术满足了那些已经或希望采用 Kubernetes 的开发团队的需求，这些团队拥有现有的基于虚拟机的工作负载，但这些工作负载无法轻易地容器化。更具体地说，KubeVirt 提供了一个统一的开发平台，让开发人员可以在一个通用的共享环境中构建、修改和部署基于应用容器和虚拟机的应用程序。其优势广泛而显著。对于依赖现有虚拟机工作负载的团队，KubeVirt 使他们能够快速将应用程序容器化。

使用 Kubernetes 来部署单独的管理器、控制器和执行器容器，并确保所有新节点都部署了执行器。NeuVector 需要并支持 Kubernetes 网络插件，例如 flannel、weave 或 calico。示例文件将部署一个管理器和三个控制器。它将作为 DaemonSet 在每个节点上部署一个执行器。默认情况下，以下示例也会部署到 Master 节点。有关使用节点标签指定专用的管理器或控制器节点的信息，请参见底部部分。由于潜在的会话状态问题，不建议在负载均衡器后面部署（扩展）多个管理器。

kubernetes下三位一体的云原生分布式存储解决方案

对于初次接触并想快速上手的用户，建议使用 AIO（即 All-in-One，使用单个节点安装 KubeClipper，包括Kubernetes）模式，它能够帮助您零配置快速部署 KubeClipper。

KubeClipper是九州云开源的一个图形化界面 Kubernetes 多集群管理工具，旨在提供易使用、易运维、极轻量、生产级的 Kubernetes 多集群全生命周期管理服务。让运维工程师从繁复的配置和晦涩的命令行中解放出来，实现一站式管理跨区域、跨基础设施的多 kubernetes 集群。

Kubernetes部署部署Minio支持YAML和Helm Chart两种方式。本文将以Helm Chart为例，介绍如何在Kubernetes上部署Minio。

TopoLVM 是一种基于 LVM（Logical Volume Manager）的 CSI（Container Storage Interface）插件，专为 Kubernetes 环境设计，旨在提供拓扑感知的逻辑卷管理。它允许用户在特定节点上创建逻辑卷，并利用 LVM 的灵活性和高效性来管理 Kubernetes 集群中的存储资源。拓扑感知: 支持在特定节点上创建逻辑卷，可以避免跨节点的数据移动，提升性能。动态卷管理: 支持动态卷创建、删除和调整大小。存储资源优化。

记录使用kubemark工具模拟5000个k8s节点。

制品签名和签名验证是关键的安全功能，它们允许你验证制品的完整性。Harbor 通过与 Cosign 或 Notation 的集成来支持内容信任。项目管理员可以配置项目以强制执行内容信任，要求所有制品在从 Harbor 注册表中拉取之前必须进行签名。

Harbor 是一个开源的云原生容器镜像仓库项目，旨在为企业级用户提供安全、可扩展、灵活的容器镜像管理解决方案。Harbor 提供了对镜像的管理、访问控制、镜像签名、安全扫描等功能，并且支持多种身份验证方式，可以与企业的 LDAP/AD 集成。

场景calio网络模式带宽（Gbits/sec）不同node之间不涉及2.85不同node的pod之间Native Routing (BGP) 模式2.75node与不同node的pod之间Native Routing (BGP) 模式2.78不同node的pod之间VXLAN0.98node与不同node的pod之间VXLAN2.67不同node的pod之间IP-IP1.23node与不同node的pod之间IP-IP2.77。

chart仓库是打包的chart存储和分享的位置。chart仓库由chart包和包含了仓库中所有chart索引的特殊文件index.yaml。通常描述chart的index.yaml也托管在同一个服务器上作为来源文件。

一般常见的应用（nginx、wordpress等）公有的helm仓库都提供了chart，可以直接安装或者自定义安装。下面实践从零构建自己的helm chart应用。

Helm 是一个 Kubernetes 的包管理工具，用于简化应用的部署和管理。下面是用helm在k8s上部署应用的一般流程。默认情况下可以直接部署官方发布的chart，也可以下拉取到本地后进行修改。默认为default，删除指定命名空间需要指定。本文使用的环境有LB，访问。即可看到nginx页面。

Krew是Kubernetes的一个插件管理器，它允许用户搜索、安装和管理kubectl插件。通过Krew，用户可以方便地扩展kubectl的功能，使用社区提供的各种插件。类似于apt,dnf,brew等工具，截至目前，已提供超过。对于kubectl用户：Krew可以帮助你查找、安装和管理kubectl插件。对于插件开发人员：Krew帮助您在多个平台上打包和分发插件。

jenkins支持war包、docker镜像、系统安装包、helm安装等。在Kubernetes上使用Helm安装Jenkins可以简化安装和管理Jenkins的过程。同时借助Kubernetes，jenkins可以实现工作节点的动态调用伸缩，更好的提高资源利用率。通过Jenkins的kubernetes-plugin来实现将Jenkins运行在Kubernetes上的功能。

gitlab支持多种安装方式，有二进制安装、helm cahrt安装、operator安装、docker安装以及基于源码构建等。本文主要介绍在k8s环境下基于helm包进行安装。gitlab包括通用版本和中文版本（极狐），极狐为中外合资公司发布的版本。

构建一个完全定制的基础镜像意味着您需要从一个非常小的镜像（例如scratch镜像）开始，然后逐步添加您需要的所有内容。scratch镜像是一个空白的基础镜像，可以用来创建高度定制的容器环境。

通过以上步骤，您已经成功构建了一个应用容器镜像，并可以根据需要定制和扩展这个镜像。

Kubemark是K8s官方提供的一个对K8s集群进行性能测试的工具。它可以模拟出一个K8s cluster（Kubemark cluster），不受资源限制，从而能够测试的集群规模比真实集群大的多。这个cluster中master是真实的机器，所有的nodes是Hollow nodes。Hollow nodes执行的还是真实的K8s程序，只是不会调用Docker，因此测试会走一套K8s API调用的完整流程，但是不会真正创建pod。

地址分配：当创建Service 时，MetalLB 会为其分配 IP 地址。这个 IP 地址是从预先配置的 IP 地址库获取的。当 Service 删除后，已分配的 IP 地址会重新回到地址库。使用Controller实现地址分配，以 Deployment方式运行，用于监听 Service 的变更，分配/回收 IP 地址。对外广播：分配了 IP 地址之后，需要让集群外的网络知道这个地址的存在。由Speaker实现地址对外广播，以DaemonSet方式运行，对外广播 Service 的 IP 地址。

OpenEBS 是一种开源云原生存储解决方案。OpenEBS 可以将 Kubernetes 工作节点可用的任何存储转化为本地或复制的 Kubernetes 持久卷。OpenEBS 帮助应用和平台团队轻松地部署需要快速、持久耐用、可靠且可扩展的容器原生存储的 Kubernetes 有状态工作负载。OpenEBS 也是基于 NVMe 存储部署的首选方案之一。OpenEBS 最初由 MayaData 构建，并捐赠给了云原生计算基金会（Cloud Native Computing Foundation）。

之前harbor的安装都是借助docker完成一键安装部署，安装完成之后harbor组件均运行到一台机器上面，本文实践harbor在k8s环境中的部署。

记录在k8s 1.19.0集群环境下安装openebs 3.10.0。

搜索charthelm pull：下载chart到本地目录查看：上传chart到Kuberneteshelm list：列出已发布的chart名称描述设置一个存储缓存文件的可选位置设置一个存储Helm配置的可选位置设置一个存储Helm数据的可选位置表示Helm是否在Debug模式运行设置后台存储驱动，可选值包括：configmap, secret, memory, sql设置SQL存储驱动使用连接字符串设置发布历史记录的最大值设置用于helm操作的命名空间。

根据helm和k8s配套关系，下载安装合适的helm版本。

calicoctl提供了丰富的命令集来管理和配置 Calico 的网络资源。熟练掌握这些命令可以帮助您更好地管理 Kubernetes 集群中的网络和安全策略。

相比Containerd自带的ctr工具，nerdctl操作方式更接近之前的docker命令。nerdctl 是一个与 docker cli 风格兼容的 containerd 客户端工具，而且直接兼容的语法的。仓库：https://github.com/containerd/nerdctl。

之前的k8s环境中主要使用了flannel作为网络插件，这次改用calico。calico支持多种安装方式，以下是具体的操作步骤。

基于该架构可以实现K8S环境下应用的分布式压测，借助与K8S易于扩展的能力，可以很容易的调整压测端、应用端的副本数，实现扩缩容；本文使用一套K8S集群承载locust分布式测试组件和业务应用，最佳实践情况下，可以将locust部署到单独的K8S集群中，对业务侧K8S进行压测。

于 Kubernetes，Metrics API 提供了一组基本的指标，以支持自动伸缩和类似的用例。该 API 提供有关节点和 Pod 的资源使用情况的信息， 包括 CPU 和内存的指标。如果将 Metrics API 部署到集群中， 那么 Kubernetes API 的客户端就可以查询这些信息，并且可以使用 Kubernetes 的访问控制机制来管理权限。(HPA) 和(VPA) 使用 metrics API 中的数据调整工作负载副本和资源，以满足客户需求。

本文实践使用helm安装ingress-nginx。

已经完成k8s集群的搭建，使用一段时间后，需要增加k8s节点的数量。借助kubeadm完成k8s节点的横向扩容。下面以centos7.9下面部署的一套1master+2worker节点环境，扩容一个worker节点为例。