nvidia-smi 的坑。

最新推荐文章于 2025-09-17 14:00:50 发布
原创 最新推荐文章于 2025-09-17 14:00:50 发布 · 2.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#gpu #运维

本文探讨了运维监控GPU的存活状态中遇到的问题，包括供电不足导致GPU掉线及nvidia-smi命令延迟的解决方案。强调了确保足够供电和使用timeout命令的重要性。
部署运行你感兴趣的模型镜像

运维监控 GPU 的alive的存活状态

发现了一下一些坑

1 供电不足导致 gpu掉线。

我们用的是 1080， 结果功率低于500W， 不足以支撑 gpu，风扇，等配套硬件的功率， 所以导致gpu掉线。
最后，增加供电功率。

2 nvidia-smi 检查存活状态及温度时， 命令延迟
nvidia-smi

这条命令就一直卡在那， 最后借用 timeout 这个命令， 超时自动kill ，

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

docker内部执行nvidia-smi无任何显示的解决方法
davidhopper的博客
04-11 8986
仔细观察启动Docker的提示，说是Docker内部的Nvidia显卡驱动异常，未能启用Nvidia显卡，于是按照Nvidia官方网站。相关的代码居然没有编译，于是在Docker内部执行Nvidia显卡驱动检测命令。最开始我以为是Docker启动有问题，于是连续重启两次，仍然是。本以为万事大吉，结果非常不幸，执行第一步。今天在Docker内部编译程序，发现与。进入Docker，执行命令。
Ubuntu 20.04安装GTX 1060显卡驱动+cuda 11.4 + cudnn 8，nvidia-smi 报错：NVIDIA-SMI has failed
weixin_43041894的博客
08-27 2383
启动ssh服务 接下来的操作，我全都是从另一台电脑ssh远程连接到这个Ubuntu16电脑上操作的 换源 备份： -修改/etc/apt/sources.list为以下内容： 准备工作 删除旧的驱动 屏蔽开源驱动nouveau，首先创建新文件： 添加的内容如下： 更新上述配置： 此时执行命令lsmod | grep nouveau还可以看见以下内容，证明刚才的配置还没有生效： 为了使刚才的配置生
nvidia-smi &nvidia-docker
xinming_365的博客
08-19 1238
nvidia-smi nvidia-smi是nvidia 的系统管理界面 ，其中smi是System management interface的缩写，它可以收集各种级别的信息，查看显存使用情况。此外, 可以启用和禁用 GPU 配置选项 (如 ECC 内存功能)。
Ubuntu系统安装NVIDIA驱动+CUDA超详细安装指南
fcclzydouble的博客
09-17 2041
前言在深度学习、科学计算和图形处理等领域，正确安装NVIDIA显卡驱动和CUDA工具包是至关重要的。最近系统出现问题，重新安装了Ubuntu系统，刚好借此机会记录一下在Ubuntu 20.04.6 LTS系统上为NVIDIA RTX 3090 显卡安装驱动和CUDA12.5的全过程。系统环境准备操作系统：Ubuntu：20.04.6 LTS显卡：NVIDIA RTX 3090终端：建议使用zsh/bash。
docker内使用nvidia-smi命令提示No devices were found
qq_27733357的博客
06-25 1797
不要使用systemctl restart docker，没效果。3.运行systemctl start docker。2.运行systemctl stop docker。
【Docker】Docker 中不能使用 nvidia-smi
Talk is cheap. Show me the code
04-23 4150
docker 中执行 nvidia-smi 后报错： Failed to initialize NVML: Unknown Error
在docker容器里执行nvidia-smi时，报错：Failed to initialize NVML: Unknown Error
qq_43546528的博客
04-16 1181
具体原因在网上搜了很多，可能是由于驱动程序版本过旧导致的。解决办法：重启docker，即可正常解决。
无法使用nvcc -V指令，但是可以使用nvidia-smi指令
V10LET_的博客
03-27 1096
这个系列是记录我个人在学习过程中，遇到的一些问题，并记录我成功的方法，真实有效MMDetecion3D本身的安装文档非常不利好于新人，所以在此记录了我遇到的坑与解决办法。
(CentOS 7)nvidia-smi:Failed to initialize NVML: Driver/library version mismatch
静静的学习就好
07-11 2955
nvidia-smi:Failed to initialize NVML: Driver/library version mismatch的一种解决方式，希望对大家有用。
【小伟哥AI之路】nvidia-smi之nvidia-persistenced卡顿加速详解
Lightweight User Interface Toolkit
10-11 9223
当初接触nvidia显卡让我一头雾水 ubuntu系统安装、nvidia显卡驱动安装遇到的坑 什么循环桌面不能进系统，tesla k80 的算力问题 升级为现在的GeForce RTX2080 Ti 在了解nvidia-smi命令后 具体nvidia-smi命令详情见 【小伟哥AI之路】nvidia-smi之GPU状态监测命令详解 进入正题 如果显卡数量在4张以上，在nvidi...
解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML
菜鸡AI
05-28 6339
解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML: Driver/library version mismatch 文章目录解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML: Driver/library version mismatch微信交流群：前言：1、nvidia-smi报错2、分析3、解决方案3.1 删除旧驱动3.2 知道版本安装3.3 检验 微信交流群： 我建立了1组C
docker镜像导出后，跨平台造成nvidia-smi不可用的问题
qq_42890035的博客
02-27 1095
如果是通过save保存到本地的，镜像是一个tar包，则可以在新电脑上通过：因为windows的docker底层使用的WSL，和Linux不一样，所以在一个平台制作导出的镜像在另一个平台使用时，可能会出现gpu不可用的问题。比如在Ubuntu系统加载Windows平台导出的镜像时，通过创建容器后，那么接下来的内容就会详细如何解决跨平台无法使用GPU的问题。
NVIDIA-Docker安装时输入sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi报错
weixin_47776213的博客
05-31 1382
nvidia-smi。
在docker里使用gpu的解决方案（镜像内安装驱动使用nvidia-smi后显示Failed to initialize NVML: Driver/library version mismatch）
qq_33859479的博客
04-19 8501
3. 装好后使用docker run --gpus all 启动容器即可在docker里使用nvidia-smi。1. 保证docker环境内没有nvidia驱动程序，防止后续配置出现驱动版本不一致的情况。2. docker镜像外下载ubuntu-container-toolkit并安装。但容易和外面的版本不一致导致各种报错version mismatch之类的。要么在docker环境内安装nvidia-driver。
nvidia docker安装和驱动安装
m0_37192554的博客
09-28 4807
docker
深度学习docker环境配置之nvidia-docker安装使用
热门推荐
qq_41776453的博客
03-27 2万+
docker容器技术–。：Anaconda用于隔离不同的python环境；docker可以理解成在你的机器里面安装了一个独立的系统，因此它可以隔离不同的CUDA环境，还有着独立的文件系统，防止别人删掉你的实验和环境等。
电脑断电后N卡显卡驱动失效，nvidia-smi指令显示“NVIDIA-SMI has failed because it couldn‘t communicate...“解决方法
weixin_44060400的博客
09-12 2375
电脑型号惠普暗影精灵4，Win和Ubuntu18.04双系统 以下解法不一定适用于所有人，只是提供一个思路，本人小白，如果有错漏还请大家指正 之前为了给笔记本电脑清灰+升级内存拆了机，之后发现Ubuntu的显卡驱动失效，编译含有CUDA的代码无法通过，在终端中输入nvidia-smi，报错显示“NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVID
NVIDIA-SMI has failed带来的一系列问题
qq_38531623的博客
06-26 574
记实验室的小红帽服务器重启后，使用nvidia-smi出现以下问题：现记录解决该问题过程中遇到的坑，首先百度到的解决方案就是安装dkms组件（Dynamic Kernel Module Support），利用dkms将未编译到内核之中的Linux驱动程序进行手动编译。但是在使用命令 出现了第一个问题RPM-GPG-KEY-rockyofficial 是一个RPM软件包管理系统使用的GPG密钥。RPM（Red Hat Package Manager）是一种在Linux系统中广泛使用的软件包管理工具，用于安装、
深度学习烦人的基础知识(2)---Nvidia-smi功率低，util高---nvidia_smi参数详解
mantoureganmian的专栏
01-13 4936
三个人，一个在举重，一个人在跑步，一个人在走路。他们都在运动，都是忙碌的，也就是GPU-Util占用高。但是很显然举重的，对外做功高，跑步的做功低，走路的最差，也就是GPU的耗电情况。如下所示，其表格中，有这么多参数，且参数名与值的其位置是一一对应的。我用不同颜色进行标识，同一种颜色的方框和箭头，标识出参数名和其值的位置关系。Pwr是指GPU运行时耗电情况，如图中GPU满载是300W，目前是86W与GPU2的空载情况功率相等。如下图所示，GPU功率很低，Util占用率高。，也就是人员到位了，在等活干，
(mmdet) root@autodl-container-15da118152-e0c14560:~/mmdetection# # 确认CUDA真实版本（注意不是nvidia-smi显示的驱动版本） nvcc -V # 输出应类似：CUDA Version 11.8 # 确认PyTorch版本 python -c "import torch; print(torch.__version__, torch.version.cuda)" nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2023 NVIDIA Corporation Built on Mon_Apr__3_17:16:06_PDT_2023 Cuda compilation tools, release 12.1, V12.1.105 Build cuda_12.1.r12.1/compiler.32688072_0 2.5.1+cu121 12.1 (mmdet) root@autodl-container-15da118152-e0c14560:~/mmdetection# # 彻底移除旧版本 pip uninstall -y mmcv mmcv-full # 清除残余文件 find /usr/local/lib/ -name "*mmcv*" -delete Found existing installation: mmcv 2.1.0 Uninstalling mmcv-2.1.0: Successfully uninstalled mmcv-2.1.0 WARNING: Skipping mmcv-full as it is not installed. WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager, possibly rendering your system unusable.It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv. Use the --root-user-action option if you know what you are doing and want to suppress this warning.
最新发布
10-28
1. **GPU架构选择**：通过 `nvidia-smi -q | grep "Product Name"` 查询GPU型号 - RTX 30系：`TORCH_CUDA_ARCH_LIST=8.6` - A100：`TORCH_CUDA_ARCH_LIST=8.0` 2. **内存不足处理**：添加交换空间 ```bash ...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值