ubuntu20.04 k8s nvidia-device-plugin： failed to initialize NVML

最新推荐文章于 2025-11-11 23:55:06 发布
原创 最新推荐文章于 2025-11-11 23:55:06 发布 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kubernetes #linux #运维

本文解决了一台Ubuntu 20.04机器在Kubernetes集群中无法获取显卡数据的问题。通过调整Docker配置及nvidia-device-plugin的YAML文件，最终实现了GPU资源的有效利用。
部署运行你感兴趣的模型镜像

部署k8s时其中一台机器ubuntu20.04无法获取到显卡数据，其他ubuntu16.04机器可以正常获取显卡数据

主机上可以正常看到显卡信息

 

1.查看pod日志

错误：Failed to initialize NVML: could not load NVML library.

 

2.进入docker

单独启动报同样的错

看一下nvidia-smi

找不到libnvidia-ml.so错误

 

 

加载这个库启动libnvidia-ml.so 试试

成功起来

3.猜测原因可能是docker在ubuntu20.04上运行没有价值nvidia相关的库，考虑启动前先执行ldconfig加载库 

4.修改nvidia-device-plugin的yml 文件的启动方式启动前先执行ldconfig

 5.重新部署后正常

您可能感兴趣的与本文相关的镜像

Wan2.2-I2V-A14B

Wan2.2-I2V-A14B

图生视频
Wan2.2

Wan2.2是由通义万相开源高效文本到视频生成模型，是有​50亿参数的轻量级视频生成模型，专为快速内容创作优化。支持480P视频生成，具备优秀的时序连贯性和运动推理能力

虚拟化(Vmware系列)&双系统系列&运维系列：【已解决】Failed to initialize NVML: Driver/library version mismatch NVML librar
weixin_54626591的博客
09-22 1558
【已解决】Failed to initialize NVML: Driver/library version mismatch NVML library version: 535.161
k8s报错Error: template: nvidia-device-plugin/templates/gfd.yml:22:19: executing "nvidia-device-plugin/...
牛奔的博客
01-30 496
前言 在安装 kubernetes 插件 k8s-device-plugin时，报错： Error: template: nvidia-device-plugin/templates/gfd.yml:22:19: executing "nvidia-device-plugin/templates/gfd.yml" at <.Subcharts.gfd>: nil pointer ev...
Failed to initialize NVML: could not load NVML library解决
vah101的专栏
10-26 4474
报错： 2020/10/26 07:47:20 Failed to initialize NVML: could not load NVML library. nvidia-kubevirt-gpu-device-plugin: symbol lookup error: nvidia-kubevirt-gpu-device-plugin: undefined symbol: nvmlDeviceGetCount_v2 需要下载cuda包，可以到： https://developer.nvidia.c
解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML
菜鸡AI
05-28 6346
解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML: Driver/library version mismatch 文章目录解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML: Driver/library version mismatch微信交流群：前言：1、nvidia-smi报错2、分析3、解决方案3.1 删除旧驱动3.2 知道版本安装3.3 检验 微信交流群： 我建立了1组C
Failed to initialize NVML: Driver/library version mismatch解决方法
最新发布
zjh919的博客
11-11 201
报错：Failed to initialize NVML: Driver/library version mismatch。
【已解决】Failed to initialize NVML: Driver/library version mismatch NVML library version: 535.161
热门推荐
BetrayFree的博客
04-11 5万+
分配的新电脑，ubuntu18.04系统，nvidia的驱动都装好了，但是使用指令： nvidia-smi报错： Failed to initialize NVML: Driver/library version mismatch安装gpustat也显示找不到gpu，且cuda，深度学习gpu均不行 …解决此问题的一种方法是更新或回滚 NVIDIA 驱动程序，以使其与当前安装的 NVML 库版本匹配。上面4个方法是我都一一尝试过的，我用的系统是ubuntu的，具体方法也都是在知乎和csdn找的。
【Kubenates新增gpu节点调度】
eason's live
05-22 1596
k8s节点加入gpu节点并让服务使用gpu
记NVIDIA显卡A100在K8S POD中“Failed to initialize NVML: Unknown Error“问题解决
jiageibuuuyi的博客
02-01 7035
因项目原因需要在k8s上跑GPU相关的代码，优选使用NVIDIA A100显卡，但在根据官方文档简单并部署后，出现了pod中GPU运行一段时间后丢失的问题，进入容器后发现nvidia-smi命令报错"Failed to initialize NVML: Unknown Error"。尝试删除并且重建容器后，刚开始nvidia-smi命令正常，但是在大约10秒过后，重复出现以上异常。
Ubuntu20.04系统执行nvidia-smi时报错：Failed to initialize NVML: Driver/library version mismatch
weixin_43994864的博客
02-23 1670
一大早准备跑代码，于是，在Ubuntu20.04终端输入nvidia-smi，执行，然后莫名奇妙出现Failed to initialize NVML: Driver/library version mismatch错误！！此时，一顿无语O__O "… 前一天晚上才跑的程序，就回去睡了一觉回来就报错了。。。 1. 报错原因 于是百度资料，查看是什么原因导致的，根据网上资料依次输入命令： # 查看显卡驱动所使用的内核版本 cat /proc/driver/nvidia/version # 查看系统驱动日志
树莓派4BUbuntu server 20.04 Kubernetes-v1.17.x- Docker19.03 keadmv1.10.3部署错误一览
qq_41657220的博客
10-10 2075
execute keadm command failed: failed to exec 'bash -c sudo ln /etc/kubeedge/edgecore.service /etc/systemd/system/edgecore.service && sudo systemctl daemon-reload && sudo systemctl enable edgecore && sudo systemctl start edgecore', err: ln: failed to creat
NVIDIA驱动兼容性问题深度解析：Ubuntu 20.04下GPU支持避坑指南（90%开发者踩过的雷）
# NVIDIA驱动在Ubuntu 20.04中的深度集成与生产级治理 你知道吗？就在上周，某AI初创公司的训练集群因为一次内核更新，导致32台GPU服务器全部“黑屏失联”——不是显示器没信号，而是远程SSH也连不上了。运维团队花...
k8s部署nvidia
03-30
好的，用户想在Kubernetes集群中部署NVIDIA GPU驱动及相关配置，我需要根据提供的引用资料整理步骤。... - 容器报错`Failed to initialize NVML: Insufficient Permissions`时： ```bash chmod 666 /dev/nvidia* ```
检查nvidia-smi是否可在容器内运行：排查GPU不可见问题的8种常见错误与对策
在AI训练任务启动失败、`nvidia-smi` 报错“Failed to initialize NVML”时，你有没有一瞬间怀疑过：这台服务器真的插了GPU吗？ 说实话，我第一次遇到这个问题的时候，也下意识地跑去机房掀开服务器机箱看了一眼——...
搭建k8s集群
qianshang666的博客
06-24 1599
这是本人亲测搭建k8s成功后的教程，将踩坑全部都记录下来了，6大错误提示总结，帮你避免问题，后续会继续更新k8s,Docker,python开发等相关内容，求读者大大多多关注！！！
nvidia-smi报错：Failed to initialize NVML: Driver/library version mismatch
Bean的博客
04-11 2579
nvidia-smi报错：Failed to initialize NVML: Driver/library version mismatch
执行nvidia-smi命令报Failed to initialize NVML: Driver/library version mismatch错误
a319506345的博客
05-27 7020
Failed to initialize NVML: Driver/library version mismatch
Failed to initialize NVML: Driver/library version mismatch
Hoshea_sun的博客
12-08 751
服务器显卡驱动与内核
Ubuntu18.04 NVIDIA解决Failed to initialize NVML: Driver/library version mismatch
weixin_42421591的博客
05-22 1428
在跑isaacgym的legged robot的时候，发现显卡挂掉了，不能用CUDA，因此使用nvidia-smi来查看显卡信息，没有出现显卡信息，但出现下面的错误 Failed to initialize NVML: Driver/library version mismatch 这表明内核驱动与系统驱动不匹配 查看驱动的内核版本 cat /proc/driver/nvidia/version 这一步可以看到内核版本kernel module的版本，我的是510.60.02 通过
Nvidia显卡Failed to initialize NVML Driver/library version mismatch错误解决方案
weixin_54104864的博客
11-07 6560
最近GPT比较火，开始折腾了一下gpu,用来跑项目：今天运行程序突然发现用不了，经排查应该是由于NVIDIA内核驱动版本与系统驱动版本不一致导致的。下面简单总结了这个错误的解决方案。
ubuntu20.04终端输入nvidia-sim找不到命令
07-10
在 Ubuntu 20.04 系统中遇到 `nvidia-smi: command not found` 错误，通常意味着 NVIDIA 驱动未正确安装，或者系统环境变量未配置好以识别 `nvidia-smi` 命令。 ### 1. 检查 NVIDIA 驱动是否已安装 运行以下命令来确认系统是否已经识别到 NVIDIA 显卡驱动： ```bash lspci | grep -i nvidia ``` 如果输出包含 NVIDIA 设备信息，则表示硬件正常，但可能驱动未安装或未加载。可尝试手动安装 NVIDIA 驱动。 ### 2. 安装 NVIDIA 驱动 可以通过以下方式安装适合当前显卡型号的驱动： #### 使用官方推荐方法手动安装 前往 [NVIDIA 官网](https://www.nvidia.cn/Download/index.aspx?lang=cn) 下载对应显卡型号的驱动程序，并按照步骤进行安装。一般流程如下： 1. 禁用 Nouveau 开源驱动。 2. 切换至字符终端（Ctrl+Alt+F3）并停止图形界面。 3. 赋予驱动文件执行权限并运行安装脚本： ```bash chmod +x NVIDIA-Linux-x86_64-<version>.run sudo ./NVIDIA-Linux-x86_64-<version>.run ``` #### 使用 apt 安装（适用于快速部署） 也可以使用 Ubuntu 官方仓库提供的 NVIDIA 驱动版本进行安装： ```bash sudo ubuntu-drivers autoinstall ``` 安装完成后重启系统，并再次尝试运行 `nvidia-smi` 命令。 ### 3. 添加环境变量（可选） 如果驱动已安装但仍然提示找不到 `nvidia-smi`，则可能是 `/usr/bin` 或 `/usr/local/nvidia/bin` 未包含在 `PATH` 中。可在 `.bashrc` 文件中添加路径： ```bash export PATH=/usr/local/nvidia/bin:$PATH source ~/.bashrc ``` ### 4. Docker 环境下使用 `nvidia-smi` 若用户是在 Docker 容器内运行 `nvidia-smi` 并提示命令未找到，则需要确保容器支持 GPU 访问。可以运行以下命令测试 NVIDIA 容器工具是否正常工作： ```bash sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base nvidia-smi ``` 如果该命令成功显示 GPU 信息，则说明 NVIDIA Container Toolkit 已正确安装；否则需重新安装相关组件。 ### 5. 其他问题排查 - 若出现 `Failed to initialize NVML: Unknown Error`，可能与驱动损坏或冲突有关，建议卸载现有驱动后重新安装[^4]。 - 如果 `/usr/bin/nvidia-smi` 报错“No such file or directory”，则表明驱动安装不完整，应检查安装日志并修复。 ---
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值