Kubernetes测试基础设施迁移指南：将Prow任务迁移至EKS集群

Kubernetes测试基础设施迁移指南：将Prow任务迁移至EKS集群

test-infra Test infrastructure for the Kubernetes project. 项目地址: https://gitcode.com/gh_mirrors/te/test-infra

前言

随着Kubernetes社区的不断发展，测试基础设施的迁移工作已成为社区资源自主化的重要一环。本文将详细介绍如何将Prow任务从原有的GKE集群迁移至社区自主管理的EKS集群，帮助开发者理解迁移的必要性、具体操作步骤以及注意事项。

迁移背景与目标

Kubernetes社区正在推进测试基础设施的资源自主化进程，旨在减少对单一云服务提供商的依赖。这一举措不仅能够提高测试环境的多样性，还能更好地利用社区获得的AWS云服务捐赠资源。

EKS Prow构建集群简介

EKS Prow构建集群是基于AWS EKS的社区自主管理集群，专门用于运行Prow任务。与原有的GKE集群相比，它具有以下特点：

1. 节点配置：

   • 操作系统：Ubuntu 20.04（EKS优化版）
   • 计算资源：16 vCPU/128GB内存/300GB NVMe SSD
   • 节点数量较少但单节点规格更大

2. 弹性伸缩：

   • 内置集群自动伸缩器(cluster-autoscaler)
   • 可根据负载动态调整节点数量

3. 资源利用：

   • 充分利用AWS提供的社区捐赠资源

迁移条件评估

可直接迁移的任务类型

• 不依赖外部资源的任务：
  • 构建任务
  • 代码检查任务
  • 验证任务

需额外处理的任务类型

• 使用非GCP外部资源的任务：
  • 需要确保资源符合社区所有权标准（详见后文）

禁止迁移的任务类型

• 使用GCP资源的任务：
  • E2E测试
  • 发布任务
• 运行在可信集群中的任务

迁移操作指南

1. 准备工作

1. 获取测试基础设施配置库
2. 确定要迁移的任务（可通过Prow结果页面查询）

2. 修改任务配置

1. 定位任务定义文件
2. 添加/修改.spec.cluster字段为eks-prow-build-cluster

重要注意事项：

• 若任务包含gce标签，暂不迁移
• 使用Boskos资源的任务需确认EKS集群中是否已配置相应资源
• 使用非GCP外部资源的任务需确认社区所有权状态
• 必须为任务配置资源请求(request)和限制(limit)

3. 资源请求与限制配置建议

| 任务类型 | CPU建议 | 内存建议 | |---------|--------|---------| | 简单验证任务 | 1-2 vCPU | 1-2GB | | 构建/测试任务 | 2-4 vCPU | 2-4GB | | 代码检查任务 | 2-4 vCPU | 4-8GB |

最佳实践：初始阶段建议将请求和限制设为相同值，后续根据实际使用情况调整。

迁移后监控与优化

1. 稳定性监控

• 持续观察任务执行时长
• 跟踪任务成功率/失败率变化
• 对比迁移前后的性能表现

2. 资源使用优化

• 通过监控面板观察实际资源消耗
• 根据CPU节流情况调整CPU限制
• 根据内存使用峰值调整内存限制

常见问题与解决方案

1. Go应用CPU限制问题

现象：Go应用不遵守cgroups CPU限制，导致性能下降。

解决方案：

• 设置GOMAXPROCS环境变量
• 使用automaxprocs库自动适配

2. 内核配置缺失问题

现象：kubeadm因缺少内核配置发出警告。

临时方案：目前社区正在积极解决此问题。

社区资源所有权标准

为确保测试基础设施的安全性和可持续性，所有外部资源必须满足以下标准：

基本要求

• SIG K8s Infra领导团队必须拥有资源访问权限

推荐要求

• 通过CNCF捐赠流程正式登记资源
• 建立完善的资源管理机制

技术支持与问题反馈

迁移过程中如遇问题，可通过以下渠道寻求帮助：

• SIG K8s Infra Slack频道
• SIG Testing邮件列表
• 社区跟踪问题页面

结语

通过将Prow任务迁移至EKS集群，Kubernetes社区正朝着基础设施自主化的目标稳步前进。本文提供的迁移指南将帮助开发者顺利完成这一过程，同时确保测试环境的稳定性和可靠性。随着社区资源的不断丰富，我们期待看到更多开发者参与到这一重要工作中来。

test-infra Test infrastructure for the Kubernetes project. 项目地址: https://gitcode.com/gh_mirrors/te/test-infra