JobSet 使用教程

JobSet 使用教程

1. 项目介绍

JobSet 是一个 Kubernetes 原生的 API，用于管理一组 Kubernetes Job 作为单元。它旨在为部署 HPC（例如 MPI）和 AI/ML 训练工作负载（如 PyTorch、Jax、Tensorflow 等）提供统一的 API。

JobSet 的主要特性包括：

• 支持多模板作业：允许用户轻松指定不同 pod 模板，用于不同的 pod 组（例如领导者、工作者、参数服务器等）。
• 自动无头服务配置和生命周期管理：为分布式工作负载中的每个工作者提供稳定的网络端点。
• 可配置的失败策略：允许用户指定在工作负载失败时 JobSet 应重新启动的最大次数。
• 可配置的成功策略：允许用户针对特定的 ReplicatedJob 配置成功条件。
• 独占位置：允许用户指定子作业与特定拓扑域的 1:1 映射。
• 快速失败恢复：通过重新创建所有子作业来快速恢复。
• 启动序列：允许用户为 ReplicatedJob 配置启动顺序。
• 与 Kueue 集成：支持通过 Kueue 对工作负载进行排队管理。

2. 项目快速启动

下面是一个快速启动 JobSet 的示例：

apiVersion: "batch.jobset/v1alpha2"
kind: JobSet
metadata:
  name: example-jobset
spec:
  jobSetTemplate:
    spec:
      template:
        spec:
          containers:
          - name: jobset-example
            image: kubernetes-sigs/jobset:latest
          restartPolicy: OnFailure

将上述 YAML 文件保存为 jobset.yaml，然后使用 kubectl 应用它：

kubectl apply -f jobset.yaml

3. 应用案例和最佳实践

案例一：分布式机器学习训练

在分布式机器学习训练中，通常需要一个领导者节点来协调多个工作者节点的训练任务。以下是一个简单的 JobSet 配置，用于启动一个领导者节点和两个工作者节点：

apiVersion: "batch.jobset/v1alpha2"
kind: JobSet
metadata:
  name: distributed-ml
spec:
  jobSetTemplate:
    spec:
      replicas: 1
      template:
        spec:
          containers:
          - name: leader
            image: tensorflow/tensorflow:latest
            command: ["python", "train.py"]
      cleanPodPolicy: All
  childTemplates:
  - replicas: 2
    template:
      spec:
        containers:
        - name: worker
          image: tensorflow/tensorflow:latest
          command: ["python", "train.py", "--worker"]
      cleanPodPolicy: All

最佳实践

• 确保为每个容器设置合适的资源限制。
• 使用适当的失败策略，以便在任务失败时能够重新启动。
• 为不同的任务使用不同的容器镜像和命令。

4. 典型生态项目

JobSet 可以与以下 Kubernetes 生态系统项目集成：

• Kueue：用于工作负载队列管理，提供多租户支持和资源共享。
• Metrics Server：用于收集集群级别的度量数据。
• Prometheus：用于监控 JobSet 的性能和状态。

以上就是 JobSet 的使用教程，希望对您有所帮助。