GPU Operator 升级与配置笔记

原创 已于 2025-11-10 14:18:52 修改 · 1k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #gpu管理软件 #gpu管理平台 #超融合AI管理平台 #AI实训教学平台 #AI管理平台 #AI实训平台

于 2025-10-29 09:29:35 首次发布

项目地址：
github地址：https://github.com/hwua-hi168/quantanexus
gitee地址：https://gitee.com/hwua_1/quantanexus-docs
公有云版地址： https://www.hi168.com

如果是添加主机和GPU,  请从第3步开始看。

如果是想看怎么用, 请看最后一步。

1. 系统预检查 (precheck)

# 移除系统关键文件的安全属性标志，允许修改这些文件
chattr -i /etc/passwd
chattr -i /etc/shadow
chattr -i /etc/group
chattr -i /etc/gshadow

# 检测系统中是否安装了NVIDIA显卡设备
lspci -nn | grep -i nvidia

# 检查CPU是否支持虚拟化技术(vmx/svm)和DMA保护(iommu/dmar)
grep -E "vmx|svm|dmar|iommu" /proc/cpuinfo

# 验证IOMMU组设备的配置状态，检查IOMMU是否启用
ls -l /sys/kernel/iommu_groups/*/devices/*

# 显示NVIDIA GPU的详细信息和驱动状态
nvidia-smi

# 卸载主机上的NVIDIA驱动及相关组件
sudo systemctl stop nvidia-persistenced    # 停止NVIDIA持久化守护进程
sudo apt-get purge *nvidia* *cuda* *cudnn* -y  # 卸载NVIDIA相关软件包
sudo apt-get purge "*nvidia*"  -y          # 强制卸载所有NVIDIA相关包
dpkg -l|grep nvidia                        # 检查是否还有NVIDIA包残留
dpkg -l|grep cuda                          # 检查是否还有CUDA包残留
sudo apt-get purge "*cuda*"  -y            # 强制卸载所有CUDA相关包

2. GPU Operator 升级操作

# 设置要升级到的版本标签
export RELEASE_TAG=v25.3.2

# 更新NVIDIA Helm仓库
helm repo update nvidia

# 获取指定版本的GPU Operator配置模板并保存到本地文件
helm show values nvidia/gpu-operator --version=$RELEASE_TAG > values-$RELEASE_TAG.yaml

# 执行GPU Operator升级操作
helm upgrade gpu-operator nvidia/gpu-operator -n gpu-operator \
    --disable-openapi-validation \
    -f values-$RELEASE_TAG.yaml \
    --version $RELEASE_TAG

配置文件修改说明：

# 启用沙箱工作负载支持，用于虚拟机透传场景
sandboxWorkloads:
  enabled: true              # 启用沙箱工作负载功能
  defaultWorkload: "container"  # 设置默认工作负载类型为容器

小伙伴们  可 以 注 & 册 https://www.hi168.com 白 & 飘  算 & 力哦。

3. 节点标签配置

# 为节点添加GPU驱动部署标签，允许在该节点部署GPU驱动
kubectl label node hi168-node1 nvidia.com/gpu.deploy.driver=true

# 为节点配置GPU工作负载模式，设置为VM透传模式
kubectl label node hi168-node1 --overwrite nvidia.com/gpu.workload.config=vm-passthrough

4. 安装正确的内核版本

# 列出系统中可用的Linux内核镜像包
apt list linux-image-*generic

# 需要检查NVIDIA官方文档中的内核版本兼容性标签
# https://catalog.ngc.nvidia.com/orgs/nvidia/containers/driver/tags

Ubuntu24, ubuntu22 都有支持。

# 安装指定版本的内核及其相关组件
sudo apt-get install -y \
    linux-image-6.8.0-52-generic \      # 安装指定版本的Linux内核镜像
    linux-headers-6.8.0-52-generic \    # 安装指定版本的内核头文件
    linux-modules-extra-6.8.0-52-generic # 安装额外的内核模块

# 锁定内核版本，防止自动更新导致兼容性问题
sudo apt-mark hold linux-image-6.8.0-52-generic linux-headers-6.8.0-52-generic

# 查看GRUB引导菜单中的内核启动项
grep menuentry /boot/grub/grub.cfg

# 编辑GRUB默认配置文件，手动设置启动项
vi /etc/default/grub

# 使用sed命令自动修改GRUB默认启动项为指定内核版本
sudo sed -i 's/GRUB_DEFAULT=.*/GRUB_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 6.8.0-52-generic"/g' /etc/default/grub

# 更新GRUB引导配置并重启系统
sudo update-grub && sudo reboot

# 验证当前运行的内核版本
uname -r

# 检查是否已加载NVIDIA内核模块
lsmod | grep nvidia

# 重启GPU Operator部署以适配新的内核环境
kubectl rollout restart deployment gpu-operator -n gpu-operator

5. 配置KubeVirt允许GPU设备透传

# 列出系统中的NVIDIA GPU设备及其PCI ID信息
lspci -nn | grep -i nvidia

# 导出当前KubeVirt自定义资源配置到本地文件
kubectl get kubevirt kubevirt -n kubevirt -o yaml > kubevirt.yaml

# 使用patch命令更新KubeVirt配置，添加允许的GPU设备列表

kubectl patch kubevirt kubevirt -n kubevirt --type merge -p '
{
  "spec": {
    "configuration": {
      "permittedHostDevices": {
        "pciHostDevices": [
          {
            "pciVendorSelector": "10de:1eb8",
            "resourceName": "nvidia.com/TU104GL_TESLA_T4",
            "externalResourceProvider": true
          }
        ]
      }
    }
  }
}'

“pciVendorSelector”: “10de:1eb8”,  # NVIDIA GPU的PCI厂商ID和设备ID “resourceName”: “nvidia.com/TU104GL_TESLA_T4”,  # 在Kubernetes中显示的资源名称 “externalResourceProvider”: true  # 表示资源由外部提供者管理

重要说明：

 - 用户必须手动将直通GPU和vGPU资源添加到KubeVirt CR的permittedDevices列表中 

- pciVendorSelector需要根据实际GPU设备的PCI ID进行配置 

- resourceName可以根据实际GPU型号自定义命名 

- externalResourceProvider设置为true表示由GPU Operator等外部组件管理资源

6. 在虚拟机中应用配置

# 应用配置到Kubernetes集群，创建带有GPU支持的虚拟机
kubectl apply -f poc-with-nvidia.yaml

虚拟机配置文件解析 (poc-with-nvidia.yaml)：

```yaml

apiVersion: kubevirt.io/v1

kind: VirtualMachine

metadata:

  name: tian-vm2              # 虚拟机名称

  namespace: default          # 所在命名空间

  labels:

    app: tian-vm2            # 标签，用于标识应用

spec:

  running: true               # 创建后立即启动虚拟机

  

  template:

    metadata:

      labels:

        app: tian-vm2        # 模板标签

    spec:

      # 节点亲和性配置，确保虚拟机调度到指定节点

      affinity:

        nodeAffinity:

          requiredDuringSchedulingIgnoredDuringExecution:

            nodeSelectorTerms:

            - matchExpressions:

              - key: kubernetes.io/hostname    # 匹配节点主机名

                operator: In                   # 操作符：在列表中

                values:

                - hi168-node1                  # 目标节点名称

      

      domain:

        cpu:

          cores: 2            # 分配2个CPU核心

        resources:

          requests:

            memory: 1Gi       # 请求1GB内存

        devices:

          interfaces:

          - name: default

            masquerade: {}    # 网络接口使用masquerade模式

          

          # GPU设备透传配置

          gpus:

          - deviceName: nvidia.com/TU104GL_TESLA_T4  # GPU资源名称（需与KubeVirt配置一致）

            name: gpu1        # GPU设备在虚拟机中的名称

          

          # 磁盘设备配置

          disks:

          - name: containerdisk1

            disk:

              bus: virtio     # 第一个磁盘使用virtio总线

          - name: cloudinitdisk

            disk:

              bus: virtio     # cloud-init磁盘使用virtio总线

              

      # 网络配置

      networks:

      - name: default

        pod: {}               # 使用Pod网络

      

      # 存储卷配置

      volumes:

        - name: containerdisk1

          persistentVolumeClaim:

            claimName: "tian-rbd-dv001"        # 使用已有的PVC作为系统盘

        

        - name: cloudinitdisk

          cloudInitNoCloud:

            userData: |-

              #cloud-config

              user: ubuntu                     # 默认用户名

              password: ubuntu                 # 默认密码

              chpasswd: { expire: False }      # 密码永不过期

```

关键配置说明：

  1. 节点亲和性: 确保虚拟机调度到预先配置好GPU环境的hi168-node1节点
  2. GPU透传: 通过gpus字段将物理GPU设备透传给虚拟机
  3. 资源分配: 为虚拟机分配2核CPU和1GB内存
  4. 存储配置: 使用现有的PVC作为系统盘，并配置cloud-init用于初始化系统
  5. 网络配置: 使用Pod网络并采用masquerade模式实现网络访问

验证命令：

# 查看虚拟机状态
kubectl get vm tian-vm2

# 查看虚拟机实例状态
kubectl get vmi tian-vm2

# 进入虚拟机控制台
kubectl virt console tian-vm2

lspci |grep -i nvidia

参考文档

- [Upgrading the NVIDIA GPU Operator](https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/upgrade.html)

- [GPU Operator with KubeVirt](https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/gpu-operator-kubevirt.html)

- [NVIDIA GPU Driver](https://catalog.ngc.nvidia.com/orgs/nvidia/containers/driver/tags)

AI应用架构师如何优化模型训练的GPU资源利用率？
AI天才研究院
08-03 922
场景核心瓶颈推荐技巧小模型（ResNet-18）数据加载、小batch优化DataLoader、增大batch size、算子融合中模型（BERT-base）显存、算力混合精度、梯度累加、数据并行大模型（GPT-3）显存、模型大小张量并行、流水线并行、激活值重计算超大数据集（ImageNet）数据加载、训练速度数据并行、优化DataLoader、动态batch sizeGPU优化的本质是平衡显存和算力：既要让显存尽可能摆满，又要让算力一直工作。优化的步骤是。
使用 GPU-Operator 与 KubeSphere 简化深度学习训练与 GPU 监控
KubeSphere
03-04 2190
本文将从 GPU-Operator 概念介绍、安装部署、深度训练测试应用部署，以及在 KubeSphere 使用自定义监控面板对接 GPU 监控，从原理到实践，逐步浅析介绍与实践 GPU-Operator。 GPU-Operator简介 众所周知，Kubernetes 平台通过设备插件框架提供对特殊硬件资源的访问，如 NVIDIA GPU、网卡、Infiniband 适配器和其他设备。然而，使用这些硬件资源配置和管理节点需要配置多个软件组件，如驱动程序、容器运行时或其他依赖库，这是困难的和容易出错的。 NV
深入解析NVIDIA GPU Operator：实现Kubernetes环境下的GPU资源优化管理
异构算力老群群（在读985计算机博士生）的技术博客
04-07 1326
NVIDIA GPU Operator凭借其对Kubernetes原生机制的深度整合，极大地简化了GPU资源在大规模集群环境中的管理工作。通过自动化部署、管理和监控GPU相关组件，不仅提高了集群的运营效率，也保障了GPU资源的充分利用，为深度学习、高性能计算等应用场景在云原生环境下的落地实践提供了坚实的基础支撑。：通过DCGMExporter，GPU Operator可以实时收集GPU的各种运行状态和性能数据，帮助运维人员及时发现并解决问题，确保GPU资源的高效利用和集群稳定性。
gpu-operator是如何发现显卡的（1）
02-21 534
我们的最终目标是要取出numa，那这个numa是怎么取的呢？诚然，我们可以将numa放到devs中，但现在代码中只放了一个iommu的id，而且在node的capabilities中也看不到gpu的数量，这是怎么回事呢？
在 KubeVirt 中使用 GPU Operator
lldhsds的专栏
11-13 1785
KubeVirt 是 Kubernetes 的一个虚拟机管理插件，允许您在 Kubernetes 集群中运行和管理虚拟机。它消除了为虚拟机和容器工作负载管理独立集群的需求，二者现在可以在单一 Kubernetes 集群中共存。在此之前，GPU Operator 仅支持为运行 GPU 加速的容器配置工作节点。现在，GPU Operator 也可以用于为运行 GPU 加速的虚拟机配置工作节点。运行带有 GPU 的容器和虚拟机所需的前提条件不同，主要区别在于所需的驱动程序。
GPU 环境搭建指南：使用 GPU Operator 加速 Kubernetes GPU 环境搭建
探索云原生
11-14 939
上一篇文章GPU 使用指南：如何在裸机、Docker、K8s 等环境中使用 GPU分享了裸机、Docker 环境以及 K8s 环境中如何使用 GPU。整个流程还算比较简单，但是因为需要在节点上安装 GPU Driver、Container Toolkit 等组件，当集群规模较大时还是比较麻烦的。为了解决这个问题，NVIDIA 推出了。
GPU 环境搭建指南：使用 GPU Operator 加速 (k8s)Kubernetes GPU 环境搭建
Richardlygo的博客
07-24 1106
上一篇文章 GPU 使用指南：如何在裸机、Docker、K8s 等环境中使用 GPU[1] 分享了裸机、Docker 环境以及 K8s 环境中如何使用 GPU。整个流程还算比较简单，但是因为需要在节点上安装 GPU Driver、Container Toolkit 等组件，当集群规模较大时还是比较麻烦的。为了解决这个问题，NVIDIA 推出了 GPU Operator[2]，
NVIDIA GPU Operator简易说明
2401_83124266的博客
03-29 1378
中发现GPU，需要安装驱动、部署device plugin等一系列操作，使用GPU。方案，MPS方案目前可以单独试用部署，相信很快会集成到Operator中。的方式对节点单独设置驱动型号，驱动版本推荐见。个人经验是推荐使用较高版本。Operator可以。
无需手动输入命令，简单3步即可在K8S集群中启用GPU
2401_83916283的博客
04-22 1289
在本文中，我将阐述在Kubernetes集群中使用GPU的简单方法。在未来的文章中，我们还将GPU推向至边缘并向你展示如何完成这一步骤。为了真正地简化步骤，我将用Rancher UI来操作启用GPU的过程。Rancher UI只是Rancher RESTful APIs的一个客户端。你可以在GitOps、DevOps和其他自动化解决方案中使用其他API的客户端，比如Golang、Python和Terraform。不过，我们不会在此文中深入探讨这些。
私有部署 GPU 服务器配置方案全解：创业者、AI部署者的终极实战指南
最新发布
Clownseven的博客
06-18 1493
私有GPU部署不再难，适合AI训练与推理的服务器配置方案完整指南，覆盖成本、硬件、架构与部署技巧。
[学习笔记]SiftGPU入门
大眼的学习之路
11-06 2757
当有读者看到我这篇SiftGPU入门的学习笔记时，相信你已经读过了高博那篇《SLAM拾萃：SiftGPU》，那篇文章写于16年，已经过去两年的时间。在我尝试配置SiftGPU的环境时，遇到了几个问题，在网络上也少有较为系统的关于SiftGPU的介绍，因此觉得有必要记录下来，以便同样对此感兴趣的同学们少走弯路。 暑假的时候参加了高分举办的无人机大赛，在进行图像处理的时候用到过特征提取，当时主要是考...
nvidia gpu-operator
weixin_46546444的博客
08-24 2146
用于给集群环境调度 gpu ，由 n 个子组件组成。分别如下描述: GPU Operator 是一个 Kubernetes Operator，用于自动化 NVIDIA GPU 的配置和管理。它可以部署、管理和监控 GPU 驱动、容器工具包、设备插件等组件。作用: 负责协调和管理整个 GPU Operator 的运行，确保 GPU 相关的组件都正确部署和配置。描述: 这个组件通常与 Node Feature Discovery (NFD) 相关，可能用于清理或管理节点特征信息。
提高 Kubernetes 中的 GPU 利用率
专注于人工智能领域的小何尚
06-20 3020
对于可扩展的数据中心性能，NVIDIA GPU 已成为必备品。由数千个计算内核支持的 NVIDIA GPU 并行处理能力对于加速不同行业的各种应用程序至关重要。如今，各行各业的计算密集型应用程序都在使用 GPU：在这个范围内的不同应用程序可能有不同的计算要求。训练巨型 AI 模型，其中 GPU 并行批处理数百个数据样本，使 GPU 在训练过程中得到充分利用。然而，许多其他应用程序类型可能只需要一小部分 GPU 计算，从而导致海量计算能力未得到充分利用。在这种情况下，为每个工作负载配置适当大小的 GPU 加速
NVIDIA GPU Operator install in kubernetes
爱死亡机器人
12-01 2699
Kubernetes通过设备插件框架提供对特殊硬件资源的访问，如NVIDIA GPU、⽹卡、Infiniband适配器和其他设备。但是，配置和管理带有这些硬件资源的节点需要配置多个软件组件，例如驱动程序、容器运⾏时或其他库，这些组件组合起来⽐较困难且容易出错。GPU Operator相关架构如下：可以从架构上看到，NVIDIA GPU Operator使⽤Kubernetes中的Operator框架⾃动管理提供GPU所需的所有NVIDIA软件组件。
Kubernetes 使用 containerd 实现 GPU 支持及 GPU Operator 部署指南
gs80140的专栏
05-11 1722
Kubernetes 从 1.20 开始默认不再支持 dockershim，主流发行版（如 kubeadm、k3s、OpenShift）都逐渐转向使用 containerd 或 CRI-O。与 Docker 相比，containerd 更轻量、启动更快，并对 CRI 接口支持原生。
OCP4.10上英伟达GPU离线安装配置实战
力哥讲技术
04-17 1122
在 OpenShift 上进行了完整的认证，并且作为标准 Red Hat Marketplace Operaort 提供给 OpenShift 用户使用，因此 Nvidia GPU Operator 在 OpenShift 上非常简单，唯一需要注意的就是之前提到过的，在所检索的节点上 BIOS 是否有 Security Boot 设置，由于 Nvidia GPU Operator 会直接操作节点的上的受信软件变更。这个错误并不是说明过程如何被阻塞的，具体的提示会在相应 Pods 的执行日志里面。
Rancher2.8安装NVIDIA GPU Operator
05-28
好的，用户现在需要的是在Rancher2.8中安装NVIDIA GPUOperator的教程。首先，我得回忆一下...[^1]: NVIDIA GPU Operator 通过自动化驱动堆栈管理显著简化了生命周期管理，与手动安装方案相比具有更好的版本一致性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值