Volcano项目vGPU功能使用指南：实现高效GPU资源共享-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00849/article/details/148523520

Volcano项目vGPU功能使用指南：实现高效GPU资源共享

volcano Volcano是一个开源的Kubernetes批处理作业编排引擎，用于管理Kubernetes集群中的批量工作负载。 - 功能：Kubernetes作业编排；批处理负载管理；Kubernetes集群管理。 - 特点：高性能；易于使用；支持多种云供应商；与Kubernetes集成。项目地址: https://gitcode.com/gh_mirrors/vol/volcano

前言

在现代AI计算和深度学习场景中，GPU资源的高效利用一直是集群管理的核心挑战。Volcano作为一款专为高性能计算设计的Kubernetes批处理调度系统，其vGPU功能通过创新的资源虚拟化技术，实现了GPU资源的细粒度共享。本文将深入解析Volcano vGPU的两种实现模式，并提供详细的使用指南。

一、Volcano vGPU技术架构

Volcano提供了两种不同层级的GPU虚拟化方案，满足不同场景下的需求：

1. HAMI-core模式（软件虚拟化）

技术原理：基于VCUDA技术实现，通过拦截CUDA API调用实现资源限制。这种方案在驱动层对GPU计算核心和显存进行虚拟划分，无需硬件支持。

核心特点：

兼容所有NVIDIA GPU型号
支持显存和计算核心的百分比分配
资源隔离依赖软件调度

典型场景：

开发测试环境
对GPU利用率要求不高的常规训练任务
需要同时运行多个轻量级AI服务的场景

2. Dynamic MIG模式（硬件虚拟化）

技术原理：利用NVIDIA Ampere架构及以上GPU的MIG（Multi-Instance GPU）技术，在硬件层面将物理GPU划分为多个独立实例。

核心特点：

需要A100/H100等支持MIG的GPU
硬件级性能隔离保障
资源划分遵循MIG的固定几何规格
显存分配自动匹配最接近的MIG规格

典型场景：

生产环境关键任务
对延迟敏感的推理服务
需要确定性能保障的分布式训练

二、环境准备与部署

基础环境要求

硬件要求：
- NVIDIA显卡驱动版本≥440
- 支持CUDA的GPU设备
软件依赖：
- nvidia-docker≥2.0
- Kubernetes≥1.16
- Volcano≥1.9
运行时配置：
- Docker默认运行时需设置为nvidia
- 节点需正确安装NVIDIA容器工具包

Volcano组件安装

核心组件部署：通过Helm或YAML方式部署Volcano调度器、控制器等核心组件
vGPU设备插件安装：部署volcano-vgpu-device-plugin，该插件负责：
- 节点GPU资源发现
- 资源分配与回收
- MIG配置管理

调度器配置：修改volcano-scheduler-configmap，启用vgpu插件：

actions: "enqueue, allocate, backfill"
tiers:
- plugins:
  - name: predicates
  - name: deviceshare
    arguments:
      deviceshare.VGPUEnable: true
      deviceshare.SchedulePolicy: binpack

环境验证

执行以下命令检查节点资源注册情况：

kubectl get node <node-name> -o yaml

确认输出中包含类似资源信息：

allocatable:
  volcano.sh/vgpu-memory: "89424"
  volcano.sh/vgpu-number: "8"

三、vGPU使用实践

HAMI-core模式使用

示例Pod配置：

apiVersion: v1
kind: Pod
metadata:
  name: vgpu-demo
  annotations:
    volcano.sh/vgpu-mode: "hami-core"
spec:
  schedulerName: volcano
  containers:
  - name: cuda-container
    image: nvidia/cuda:11.0-base
    resources:
      limits:
        volcano.sh/vgpu-number: 1   # 申请1个虚拟GPU
        volcano.sh/vgpu-cores: 30    # 限制使用30%计算核心
        volcano.sh/vgpu-memory: 4000 # 限制使用4GB显存

关键参数说明：

vgpu-number：申请的虚拟GPU数量
vgpu-cores：计算核心使用百分比（可选）
vgpu-memory：显存使用限制（MB，可选）

Dynamic MIG模式使用

前置准备：

在节点启用MIG模式：
```
sudo nvidia-smi -mig 1
```
（可选）配置MIG几何划分策略

示例Pod配置：

apiVersion: v1
kind: Pod
metadata:
  name: mig-demo
  annotations:
    volcano.sh/vgpu-mode: "mig"
spec:
  schedulerName: volcano
  containers:
  - name: cuda-container
    image: nvidia/cuda:11.0-base
    resources:
      limits:
        volcano.sh/vgpu-number: 1
        volcano.sh/vgpu-memory: 5000

注意事项：

实际分配的显存会向上取整到最接近的MIG规格
计算核心由MIG实例类型决定，不可单独配置

四、调度策略详解

Volcano提供灵活的调度策略配置：

显式模式选择：
- 通过volcano.sh/vgpu-mode注解强制指定模式
- 未指定时调度器自动选择最优模式
资源分配策略：
- binpack：尽量将Pod调度到少数节点
- spread：尽量分散Pod到不同节点
混合集群支持：
- 可同时存在HAMI-core和MIG节点
- 调度器根据Pod需求自动匹配

五、监控与运维

资源监控

调度器指标：
```
curl http://<scheduler-service>:8080/metrics
```
关键指标包括：
- 调度延迟
- 资源分配成功率
- 各节点资源利用率
设备插件指标：
```
curl http://<device-plugin-pod>:9394/metrics
```
关键指标包括：
- GPU温度与功耗
- 显存使用情况
- MIG实例状态

常见问题排查

资源分配失败：
- 检查节点nvidia-smi输出
- 验证设备插件日志
性能异常：
- 确认实际分配的MIG规格
- 检查是否有其他进程占用资源

六、方案选型建议

| 评估维度 | HAMI-core | Dynamic MIG | |----------------|-------------------------|-------------------------| | 硬件要求 | 无特殊要求 | 需Ampere架构以上GPU | | 隔离级别 | 软件隔离 | 硬件隔离 | | 资源灵活性 | 支持百分比配置 | 固定规格 | | 性能确定性 | 一般 | 有保障 | | 适用场景 | 开发测试、通用计算 | 生产环境、关键任务 |