Kubernetes GPU调度与管理完全指南

原创于 2025-06-09 09:06:30 发布 · 299 阅读

CC 4.0 BY-SA版权

Kubernetes GPU调度与管理完全指南

website Kubernetes website and documentation repo: 项目地址: https://gitcode.com/gh_mirrors/webs/website

概述

Kubernetes从1.26版本开始提供了对AMD和NVIDIA GPU(图形处理单元)的稳定支持，允许在集群的不同节点上管理和调度GPU资源。本文将详细介绍如何在Kubernetes中使用GPU资源，包括配置方法、使用限制以及高级调度技巧。

GPU设备插件机制

Kubernetes通过设备插件(Device Plugin)机制让Pod能够访问GPU等专用硬件资源。作为集群管理员，您需要完成以下准备工作：

在节点上安装对应硬件厂商的GPU驱动程序
部署GPU厂商提供的设备插件

目前主流GPU厂商都提供了Kubernetes设备插件实现，包括AMD、Intel和NVIDIA等。

GPU资源请求方式

当设备插件部署完成后，集群会暴露可调度的自定义GPU资源，如amd.com/gpu或nvidia.com/gpu。在容器中请求GPU资源的方式与请求CPU或内存类似，但有一些特殊限制：

GPU只能定义在资源limits部分
可以只定义limits而不定义requests，Kubernetes会自动使用limits值作为requests
如果同时定义limits和requests，两者值必须相等
不能只定义requests而不定义limits

以下是一个请求GPU资源的Pod示例：

apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod-example
spec:
  containers:
  - name: cuda-container
    image: nvidia/cuda:11.0-base
    resources:
      limits:
        nvidia.com/gpu: 2  # 请求2个NVIDIA GPU

异构GPU集群管理

如果集群中包含不同类型的GPU节点，可以通过节点标签和节点选择器将Pod调度到合适的节点上。例如：

# 为节点添加GPU类型标签
kubectl label nodes node1 gpu-type=nvidia-tesla-v100
kubectl label nodes node2 gpu-type=amd-radeon-mi25

然后在Pod定义中使用nodeSelector：

spec:
  nodeSelector:
    gpu-type: nvidia-tesla-v100

自动节点标签管理

对于大规模集群，手动管理GPU节点标签可能效率低下。Kubernetes社区提供了Node Feature Discovery(NFD)工具来自动发现和标记节点的硬件特性。

NFD能够：

自动检测节点上的硬件特性
将这些特性作为节点标签发布
支持添加扩展资源、注解和节点污点
兼容所有受支持的Kubernetes版本

管理员可以结合NFD和厂商特定的插件来自动标记GPU节点。例如，NVIDIA提供了与NFD集成的插件，可以自动标记节点的GPU型号、显存大小等属性。

高级调度策略

利用节点亲和性和反亲和性规则，可以实现更精细的GPU调度策略。以下示例展示了如何调度到具有特定GPU特性的节点：

apiVersion: v1
kind: Pod
metadata:
  name: ai-training-pod
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: "nvidia.com/gpu.memory"
            operator: Gt
            values: ["16000"]  # 只调度到显存大于16GB的节点
          - key: "nvidia.com/gpu.family"
            values: ["tesla"]   # 只使用Tesla系列GPU
  containers:
  - name: training-container
    image: tensorflow/tensorflow:latest-gpu
    resources:
      limits:
        nvidia.com/gpu: 1