KubeVirt下gpu operator实践(GPU直通)

KubeVirt下GPU Operator实践（GPU直通）
原创 已于 2024-11-21 20:31:08 修改 · 1.4k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#虚拟化 #Kubevirt #Kubernetes #gpu

于 2024-11-21 20:10:15 首次发布

KubeVirt下gpu operator实践(GPU直通)

参考《在 KubeVirt 中使用 GPU Operator》，记录gpu operator在KubeVirt下实践的过程，包括虚拟机配置GPU直通，容器挂载GPU设备等。

KubeVirt 提供了一种将主机设备分配给虚拟机的机制。该机制具有通用性，支持分配各种类型的 PCI 设备，例如加速器（包括 GPU）或其他连接到 PCI 总线的设备。

1. 准备工作

硬件信息

三台服务器，每台服务器的主要硬件配置信息如下：

  • 型号： H3C UniServer R5200 G3

  • cpu：Xeon® Gold 5118 CPU @ 2.30GHz，2x12x2

  • mem: 512GB

  • disk: 1.75GBx2，一块用于系统盘，一块用于ceph数据盘。

  • gpu：GV100GL_TESLA_V100_PCIE_16GB*4

kubernetes集群环境

k8s环境信息如下，使用v1.27.6版本，节点同时作为管理节点和业务节点。

]# kubectl get node
NAME    STATUS   ROLES                  AGE     VERSION
node1   Ready    control-plane,master   7d18h   v1.27.6
node2   Ready    control-plane,master   7d18h   v1.27.6
node3   Ready    control-plane,master   7d18h   v1.27.6

rook-ceph环境安装

使用版本v1.13.5，组件信息如下：

]#  kubectl get pod -n rook-ceph
NAME                                                READY   STATUS      RESTARTS        AGE
csi-cephfsplugin-5k87k                              2/2     Running     4 (5d22h ago)   12d
csi-cephfsplugin-88rmz                              2/2     Running     0               5d22h
csi-cephfsplugin-np9lb                              2/2     Running     4 (5d22h ago)   12d
csi-cephfsplugin-provisioner-5556f68f89-bsphz       5/5     Running     0               5d22h
csi-cephfsplugin-provisioner-5556f68f89-jswvj       5/5     Running     0               5d22h
csi-rbdplugin-5v8dm                                 2/2     Running     0               5d22h
csi-rbdplugin-provisioner-76f966fdd8-6jwdk          5/5     Running     0               5d22h
csi-rbdplugin-provisioner-76f966fdd8-sjf6c          5/5     Running     3 (4d21h ago)   5d22h
csi-rbdplugin-s8k4x                                 2/2     Running     4 (5d22h ago)   12d
csi-rbdplugin-s97mc                                 2/2     Running     4 (5d22h ago)   12d
os-rook-set-cronjob-28865084-h5jdf                  0/1     Completed   0               118s
rook-ceph-agent-7bdf69b4f7-wzl7r                    1/1     Running     0               5d22h
rook-ceph-crashcollector-node1-c9bc54894-s7lps      1/1     Running     0               5d22h
rook-ceph-crashcollector-node2-6448cdd8f9-7dlgs     1/1     Running     0               5d22h
rook-ceph-crashcollector-node3-56d876f9c6-6bjlr     1/1     Running     0               5d22h
rook-ceph-exporter-node1-7c7d659d96-6k55c           1/1     Running     0               5d22h
rook-ceph-exporter-node2-7bc85dfdf-xdt8g            1/1     Running     0               5d22h
rook-ceph-exporter-node3-f45f5db9d-8jrgs            1/1     Running     0               5d22h
rook-ceph-mds-ceph-filesystem-a-5bbf4d5d79-qwsd2    2/2     Running     0               5d22h
rook-ceph-mds-ceph-filesystem-b-69b5fc4f7-fhlth     2/2     Running     0               5d22h
rook-ceph-mgr-a-5f5768988-6dsm2                     3/3     Running     0               5d22h
rook-ceph-mgr-b-5c96dcf465-7gcrk                    3/3     Running     0               5d22h
rook-ceph-mon-a-5dcb9b69c5-p5mh9                    2/2     Running     0               5d22h
rook-ceph-mon-b-6575d4f46b-gsthp                    2/2     Running     0               5d22h
rook-ceph-mon-c-7ff969d568-gqzr4                    2/2     Running     0               5d22h
rook-ceph-operator-86d5cb7c46-nx4jc                 1/1     Running     0               5d22h
rook-ceph-osd-0-69c8c7fb45-nvvsx                    2/2     Running     0               5d22h
rook-ceph-osd-1-5fcdbc57bf-dh8cf                    2/2     Running     0               5d22h
rook-ceph-osd-2-7445bdc885-sxqbc                    2/2     Running     0               5d22h
rook-ceph-rgw-ceph-objectstore-a-795c4c64cf-xbhkl   2/2     Running     0               5d22h
rook-ceph-tools-5877f9f669-tndwc                    1/1     Running     0               5d22h

kubevirt安装

参考kubevirt官方文档完成虚拟化插件的安装，本文使用的版本为v1.2.0-amd64。

]# kubectl get pod -n kubevirt
NAME                                READY   STATUS    RESTARTS   AGE
virt-api-74d58d7fc8-5v5t4           1/1     Running   0          5d21h
virt-api-74d58d7fc8-m7lhw           1/1     Running   0          5d21h
virt-controller-55d7978dc-d9tk2     1/1     Running   0          5d21h
virt-controller-55d7978dc-xsvtm     1/1     Running   0          5d21h
virt-exportproxy-795d79f86b-qgc4c   1/1     Running   0          5d21h
virt-exportproxy-795d79f86b-wxt4b   1/1     Running   0          5d21h
virt-handler-4x55q                  1/1     Running   0          5d21h
virt-handler-b9b27
最低0.47元/天 解锁文章
在 KubeVirt 中使用 GPU Operator
lldhsds的专栏
11-13 1759
KubeVirt 是 Kubernetes 的一个虚拟机管理插件，允许您在 Kubernetes 集群中运行和管理虚拟机。它消除了为虚拟机和容器工作负载管理独立集群的需求，二者现在可以在单一 Kubernetes 集群中共存。在此之前，GPU Operator 仅支持为运行 GPU 加速的容器配置工作节点。现在，GPU Operator 也可以用于为运行 GPU 加速的虚拟机配置工作节点。运行带有 GPU 的容器和虚拟机所需的前提条件不同，主要区别在于所需的驱动程序。
GPU运维工程师入门指南 (第五篇): 初入Kubernetes - 使用NVIDIA GPU Operator
weixin_42587823的博客
09-17 957
本文介绍了如何通过NVIDIA GPU Operator在Kubernetes集群中实现GPU资源管理。文章首先解释了原生Kubernetes不支持GPU识别的原因，以及Device Plugin框架的作用。重点介绍了GPU Operator的一站式自动化能力，包括自动安装驱动、容器工具包等组件。实战部分详细演示了通过Helm安装GPU Operator、验证GPU资源，并运行首个GPU Pod的完整流程。文章最后预告了后续将探讨的GPU资源精细化管理主题，包括型号区分、资源隔离和共享技术等。
kubevirt-gpu-device-plugin:适用于Kubevirt的NVIDIA k8s设备插件
05-22
NVIDIA K8s设备插件可将GPU和vGPU分配给Kubevirt VM 目录 关于 这是一个kubernetes设备插件，可以发现并公开kubernetes节点上的GPU和vGPU。 这个设备插件将使您可以在kubernetes集群中启动GPU连接的 VM。 它是专门为服务Kubernetes集群中的Kubevirt工作负载而开发的。 特征 发现绑定到VFIO-PCI驱动程序的Nvidia GPU，并将它们公开为可通过模式连接到VM的设备。 发现在kubernetes节点上配置的Nvidia vGPU并将其公开以附加到Kubevirt VM 在kubernetes节点上的GPU上执行基本的运行状况检查。 先决条件 需要配置Nvidia GPU才能通过GPU或vGPU。 快速入门部分提供了有关此内容的详细信息 Kubernetes版本> = v1.11 Kubevirt版本> =
Kubernetes 的 NVIDIA 设备插件
ycloud
11-22 1570
前言：这两天在搞kubeflow，之前也没了解过GPU相关的服务，这是在kubernetes之上用过机器学习的一个平台，也可认为kubeflow是kubernetes的ML工具包。
GPU虚拟化理解包含直通，k8s安装，GPU-manager
weixin_46519031的博客
08-10 1078
vgpu虚拟化容器层面实现流程与步骤
K8s集群gpu支持（直通和vgpu）
qq_42152032的博客
06-22 5776
1-1v1.8之前的老版本:基于nvidia-docker实现(基本不用了,了解) 前期准备：1、nvidia driver 2、cuda 3、nvidia-docker K8s 启动pod时指定参数，即可使用gpu （1）alpha.kubernetes.io/nvidia-gpu 指定调用nvidia gpu的数量 （2）为了能让GPU容器运行起来，需要将Nvidia驱动和CUDA库文件指定到容器中。这里需要使用hostPath，您只需要将hostPath指定到/var/lib/nvidia-do
【虚拟化与云计算】ESXi 7显卡直通及AlmaLinux显卡驱动安装：【虚拟化GPU资源管理与优化配置与云计算】ESXi 7显卡直通及AlmaLinux显卡驱动安装：GPU资源管理与应用部署指南
08-25
此外，还介绍了如何在KubeSphere平台上安装NVIDIA GPU Operator，以方便管理和监控Kubernetes集群中的GPU资源。最后，通过部署TensorFlow并进行GPU计算测试，验证了GPU加速的效果。 适合人群：具备一定Linux系统管理...
六种GPU虚拟化：除了直通、全虚拟化 (vGPU)还有谁？
生活需要深度
11-17 1721
由于GPU的复杂性和安全隔离的要求，GPU直通技术相对于任何其他设备来说，会有额外的PCI 配置空间模拟和MMIO的拦截（参见QEMU VFIO quirk机制）。物理GPU虚拟化为多个虚拟机GPU，每个虚拟GPU直接分配给虚拟机使用，通过软件调度的方式在主机（Host）与计算机的来宾账户（Guest）之间提供一个中间设备来允许Guest虚拟机访问Host中的物理GPU。厂家（Nvidia ，AMD ，Intel等 ）的GPU，只要支持IOMMU的理论上都可以，即直通模式的实现依赖于IOMMU的功能。
【亲测免费】 推荐文章：利用KubeGPU释放Kubernetes的GPU潜力
gitblog_00967的博客
08-16 928
推荐文章：利用KubeGPU释放Kubernetes的GPU潜力 在现代云计算环境中，GPU已经成为大数据处理、深度学习和高性能计算的重要驱动力。而Kubernetes作为容器编排领域的领头羊，正在逐渐融合这些先进的硬件资源。这就是我们要向您推荐的项目——KubeGPU。 项目介绍 KubeGPU是微软研究实验室开发的一个创新项目，它为Kubernetes扩展了对GPU的强大支持。项目分为两部分：...
从0开始装一套 KubeVirt 1.2.1
clay's blog
07-01 1217
固定 IP 能力：网络需要支持具备固定 IP 的能力， 这里选用 Calico数据持久化：dataVolume、hostDisk、PVC ，这里选用 dataVolume，可以动态创建 PVC， 并将镜像填充进去SC 选用 local-storage，性能最好，灾备首先磁盘 RAID 做了冗余，其次在应用层实现高可用灾备。
KVM虚机GPU直通实践总结
smartvap_2012的博客
03-08 1万+
【注意】目录/usr/lib/dracut/modules.d/下的每一个子目录都代表一个 dracut模块，每个模块至少包含一个module-setup.sh脚本（用于模块的安装和配置设定），20这个数字设置的原则是要小于被覆盖的驱动程序模块nvidia。采用如上GPU直通方式A，vfio-pci模块的绑定配置匹配的是供应商与设备ID，这会导致绑定主机上所有同一型号的GPU，不符合我们期望的部分GPU给宿主机的容器使用，部分GPU做直通给虚机使用的情形，为此需要考虑绑定设备PCI地址的方式。
基于libvirt创建vGPU实例
wuyongpeng的专栏
02-03 5579
一、什么是vGPU？ vGPU（virutal GPU）是实现在虚机中使用GPU资源的一种方式。虚机使用GPU的另外一种方式是passthrough，即GPU直通到vm虚机中。
KubeVirt虚拟机存储及网络卸载加速解决方案
yusur的博客
08-02 1393
随着云计算和容器技术的飞速发展，Kubernetes已成为业界公认的容器编排标准，为用户提供了强大、灵活且可扩展的平台来部署和管理各类应用。然而，在企业的实际应用中，仍有许多传统应用或遗留系统难以直接容器化，通常采用传统的虚拟化技术来支撑。因此，企业需要同时运行容器和虚拟机的混合云或私有云环境，以便开发者和运维人员方便地管理和维护这两种类型的工作负载，这促使了KubeVirt项目的诞生。KubeVirt是一个开源项目，由Red Hat、IBM、Google、Intel和SUSE等多家公司共同推动和贡献。
Kubernetes安装GPU支持插件
weixin_33772645的博客
05-07 362
2019独角兽企业重金招聘Python工程师标准>>> ...
一文告诉你，如何在 Kubernetes 的容器引擎中运行 KVM 和 VMware VM！
优快云云计算
04-05 3045
作者|Gilson Melo译者 | 天道酬勤责编 | 徐威龙封图|优快云下载于视觉中国随着微服务的出现，人们通常会问：“是否有可能通过Kubernetes上的微服务在基于内...
kubernetes安装kubevirt提供虚拟机功能（一）
BY_xiaopeng的博客
04-27 6820
kubevirt kubernetes 虚拟机
KubeVirt介绍
热门推荐
Oliverlyn的专栏
05-02 1万+
KubeVirt的价值及使用 本文将从Kubevirt的价值及如何使用两方面介绍。 KubeVirt价值 如果说kubevirt的价值是什么？那么就是要问为什么需要Kubevirt。 kubevirt 技术试图解决在开发团队已经接受或者试图接受K8S思想时但存在有些基于虚拟化的工作负载难以实现容器化的情景。 更确切地说，KubeVirt提供了一个统一的开发平台，开发者在同一个共享环境中既能...
在Kubernetes（k8s）中使用GPU
小云的博客
12-10 4286
介绍Kubernetes 支持对节点上的 AMD 和 NVIDIA GPU （图形处理单元）进行管理，目前处于实验状态。修改docker配置文件root@hello:~# cat /etc...
k8s虚拟化GPU方案
09-11 4051
一、
NVIDIA安装失败，NVIDIA APP需要NVIDIA GPU
最新发布
10-19
<think>首先，用户的问题是：“我想查找NVIDIA安装失败，提示NVIDIA APP需要NVIDIA GPU的解决方案”。翻译成英文是："I want to find a solution for NVIDIA installation failure, where it prompts that NVIDIA APP requires an NVIDIA GPU."。 用户引用了两个引用： - 引用[1]：关于运行NVIDIA设备插件的先决条件，包括NVIDIA驱动程序版本、nvidia-docker或nvidia-container-toolkit版本、配置nvidia-container-runtime为默认运行时，以及Kubernetes版本要求。 - 引用[2]：关于nvidia gpu operator的安装、升级和卸载，提到如果节点已经预装了GPU驱动程序，如何操作。 用户说这些引用仅供参考，不是真正的需求，我应该参考用户上一次的问题和我的回答。用户上一次的问题是：“请帮我梳理一下nvidia gpu operator的使用入门”，但我没有之前的对话历史，所以我只能基于当前上下文。 在系统指令中，它说：“请尽可能多的参考用户上一次的问题和你的回答。”，但由于这是新的对话，我需要假设没有之前的上下文，或者基于提供的引用。 用户当前的查询是关于解决NVIDIA安装失败的具体错误：提示“NVIDIA APP需要NVIDIA GPU”。这表明在安装过程中，系统检测不到NVIDIA GPU。 可能的解决方案包括： 1. 确保系统有NVIDIA GPU硬件。 2. 安装正确的NVIDIA驱动程序。 3. 配置系统以识别GPU。 4. 检查nvidia-container-toolkit或相关工具的安装。 从引用中： - 引用[1]强调先决条件：NVIDIA驱动程序>=384.81，nvidia-docker或nvidia-container-toolkit>=2.0或1.7.0（Tegra系统需要>=1.11.0），配置nvidia-container-runtime，Kubernetes版本>=1.10。 - 引用[2]提到了如果驱动程序预装，操作符如何处理。 针对错误“NVIDIA APP需要NVIDIA GPU”，常见原因： - 没有物理GPU。 - 驱动程序未安装或版本不兼容。 - 容器运行时未正确配置。 - 在虚拟化环境中，GPU未通过。 解决方案步骤： 1. 确认GPU是否存在：使用命令如 `lspci | grep -i nvidia` 检查是否有NVIDIA GPU。 2. 安装最新NVIDIA驱动程序：从NVIDIA官方网站下载并安装适合的驱动程序。 3. 安装nvidia-container-toolkit：确保它已安装并配置为默认运行时。 4. 验证安装：用 `nvidia-smi` 命令检查驱动程序是否正常工作。 5. 对于Kubernetes环境（如GPU operator），确保节点上有GPU，并进行相应配置。 结构化回答： - 使用系统指令：行内数学表达式用$...$格式，但这里可能不需要数学表达式。 - 独立公式用$$...$$，但同样，可能不需要。 - 使用中文回答。 - 生成相关问题。 - 添加引用标识：在引用的段落末尾添加[^1]或[^2]。 回答结构： 1. 确认问题：解释错误的原因。 2. 提供解决方案步骤。 3. 引用相关信息。 4. 生成相关问题。 生成相关问题： - 基于主题，如： 1. 如何检查系统是否有NVIDIA GPU？ 2. 如何安装NVIDIA驱动程序？ 3. 如何配置nvidia-container-toolkit？ 4. Kubernetes中如何使用GPU operator？ 最终回答应清晰、逐步。 </think>### 解决NVIDIA安装失败提示“NVIDIA APP需要NVIDIA GPU”的方法 当安装NVIDIA相关软件（如驱动程序、容器工具包或GPU Operator）时，出现“NVIDIA APP需要NVIDIA GPU”的错误提示，通常表示系统检测不到可用的NVIDIA GPU硬件或驱动程序配置存在问题。这可能是由于硬件缺失、驱动程序未正确安装、容器运行时未配置，或环境不满足先决条件所致[^1][^2]。下面我将逐步解释解决方案，确保操作安全可靠。 #### 步骤1：确认系统是否有物理NVIDIA GPU 首先，需要检查服务器或主机是否配备了NVIDIA GPU硬件。如果没有GPU，NVIDIA软件无法正常运行。 - **操作指令**： 1. 在Linux终端运行命令：`lspci | grep -i nvidia`。 - 如果输出中包含类似“NVIDIA Corporation”的行（例如：`01:00.0 VGA compatible controller: NVIDIA Corporation GP102 [GeForce GTX 1080 Ti] (rev a1)`），则表示GPU存在。 - 如果无输出，说明没有检测到GPU硬件。 - **常见问题与解决**： - 无GPU硬件：考虑添加物理GPU或切换到支持GPU的环境（如云服务商的GPU实例）。 - GPU未被系统识别：检查BIOS/UEFI设置，确保PCIe槽位启用；在虚拟化环境（如VMware或KVM）中，验证GPU是否已直通（passthrough）配置[^1]。 #### 步骤2：安装或更新NVIDIA驱动程序 如果GPU存在但驱动程序未安装或版本过旧，会导致安装失败。确保驱动程序版本符合要求（NVIDIA驱动程序 ≥ 384.81）[^1][^2]。 - **操作指令**： 1. 删除旧驱动程序（避免冲突）： ```bash sudo apt-get purge nvidia-* # Ubuntu/Debian sudo yum remove nvidia-* # CentOS/RHEL ``` 2. 安装最新驱动程序： - 从NVIDIA官网下载适合的驱动包（https://www.nvidia.com/Download/index.aspx）。 - 运行安装命令（例如）： ```bash sudo sh NVIDIA-Linux-x86_64-xxx.run # 替换xxx为驱动版本号 ``` 3. 验证驱动程序： ```bash nvidia-smi # 应输出GPU状态，如驱动版本、GPU利用率 ``` - 如果`nvidia-smi`报错，重启系统后重试。 - **常见问题与解决**： - 驱动程序安装失败：确保系统无Secure Boot干扰（进入BIOS禁用Secure Boot）；使用`dkms`重建内核模块。 - 预装驱动问题：如引用[2]所述，如果节点已预装驱动，GPU Operator会检测并跳过安装，但需确保驱动兼容（使用`nvidia-smi`检查版本）[^2]。 #### 步骤3：配置NVIDIA容器运行时 错误可能源于容器运行时（如Docker或containerd）未正确设置，导致APP无法访问GPU资源。需要安装并配置nvidia-container-toolkit（版本 ≥ 1.7.0，Tegra系统 ≥ 1.11.0）[^1][^2]。 - **操作指令**： 1. 安装nvidia-container-toolkit： ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add - \ && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit ``` 2. 配置Docker运行时（如果使用Docker）： ```bash sudo nvidia-ctk runtime configure --runtime=docker --set-as-default sudo systemctl restart docker ``` 3. 测试容器运行： ```bash docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi ``` - 输出应显示GPU信息；如果报错，检查工具包版本。 - **常见问题与解决**： - 运行时未设为默认：如引用[1]强调，必须将`nvidia-container-runtime`配置为默认低级运行时；编辑`/etc/docker/daemon.json`添加`"default-runtime": "nvidia"`[^1]。 - Kubernetes环境问题：在GPU Operator中，确保Operator配置正确（参考步骤4）。 #### 步骤4：验证Kubernetes环境（如果适用） 如果错误发生在Kubernetes集群中（如使用NVIDIA GPU Operator），需检查节点标签和Operator配置[^2]。 - **操作指令**： 1. 检查节点GPU状态： ```bash kubectl describe node <节点名> | grep nvidia.com/gpu ``` - 应有类似`nvidia.com/gpu: 1`的输出。 2. 确保GPU Operator安装正确： - 如果驱动程序预装，启用Operator时添加`driver.enabled=false`参数（引用[2]）： ```bash helm install gpu-operator nvidia/gpu-operator --set driver.enabled=false ``` - 否则，Operator会自动安装驱动。 3. 监控Operator日志： ```bash kubectl logs -n gpu-operator-resources deploy/nvidia-operator-validator ``` - **常见问题与解决**： - Operator报错“requires NVIDIA GPU”：检查节点是否被打上`nvidia.com/gpu.present`标签；确保Kubernetes版本 ≥ 1.10[^1]。 - 资源冲突：预装驱动可能导致冲突，引用[2]提到Operator会检测并处理，但需验证日志是否有“driver already installed”提示[^2]。 #### 总结 以上步骤覆盖了常见原因和解决方案。核心是顺序执行：1. 确认GPU硬件；2. 安装/更新驱动；3. 配置容器运行时；4. 检查Kubernetes设置（如果适用）。如果所有步骤通过，`nvidia-smi`应正常输出。如果问题持续，提供详细错误日志以便进一步分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lldhsds

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值