nvidia-smi 启动刷新很慢

最新推荐文章于 2025-03-20 19:59:58 发布
原创 最新推荐文章于 2025-03-20 19:59:58 发布 · 423 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#vscode

文章介绍了如何通过运行一行命令`sudonvidia-persistenced--persistence-mode`来启用NVIDIAGPU的持久化模式，以此避免频繁启动和停止带来的性能损耗。此模式确保GPU在无应用使用时仍保持活动状态，对于需要持续高性能计算的场景尤其有益。

一行代码解决：

sudo nvidia-persistenced --persistence-mode
执行nvidia-smi命令，反应特别慢的原因
盛世芳华
05-16 3268
公司有多台AI服务器，最近几台服务器在执行nvidia-smi命令时，非常慢，要等5-6秒才能执行成功，翻了系统日志也没找到任何异常，最后发现，原来是显卡切换到了节能模式，只需关闭节能模式，切换到持久模式即可。系统重启后，大概率又会变成节能模式，只需要在系统引导时自动启用NVIDIA持久性模式即可。
nvidia-smi出现的比较慢
minione_2016的博客
07-17 1万+
一个比较老的问题，一般四卡以上的机器可能会出现 以前我都是 nvidia-smi -pm 1 后来发现了有一个貌似比较科学的方法 sudo nvidia-persistenced --persistence-mode...
Ubuntu服务器nvidia-smi刷新慢的问题解决
一个菜鸟的奋斗
11-17 2445
新安装了nvidia驱动之后，通过nvidia-smi命令查看显卡使用情况，需要等1s多，刷新很慢。可通过如下命令解决： sudo nvidia-persistenced --persistence-mode 之后，就可以正常速度显示了。
nvidia-smi启动慢，设置persistence，开机启动以及临时启动
qq_40947610的博客
05-20 2612
参考：https://forums.developer.nvidia.com/t/setting-up-nvidia-persistenced/47986/10
解决nvidia-smi指令速度过慢问题
qq_45270993的博客
03-10 1364
解决nvidia-smi指令速度过慢问题
nvidia-smi参数详解，GPU和显存分析
weixin_41012399的博客
09-23 2639
总结起来，显存是一种专门用于存储图形数据的内存，而 GPU 是一种专门用于处理图形和图像数据的处理器。显存和 GPU 是紧密相关的，GPU 使用显存来存储和处理图形数据，以实现高性能的图形渲染和处理能力。在PyTorch中，当你执行完model=MyGreatModel().cuda()之后就会占用相应的显存，占用的显存大小基本与上述分析的显存差不多（会稍大一些，因为其它开销）。显存占用和GPU利用率是两个不一样的东西，显卡是由GPU计算单元和显存等组成的，显存和GPU的关系有点类似于内存和CPU的关系。
深入解析nvidia-smi输出信息：诊断CUDA环境状态的9条权威依据
# 深入解析 `nvidia-smi`：从命令行工具到智能诊断系统的构建之路 在AI训练任务跑着跑着突然挂掉的深夜，你是不是也经历过那种“明明代码没问题，但GPU就是不动了”的抓狂时刻？ 你打开终端，敲下那句熟悉的： ```...
【性能调优第一步】：用nvidia-smi监控GPU利用率的8个高级诊断技巧
# GPU性能监控与深度分析：从nvidia-smi到智能诊断体系 在深度学习模型动辄上千亿参数、训练任务持续数周的今天，GPU早已不是“插上就能跑”的傻瓜式硬件。你有没有遇到过这样的场景？看着 `nvidia-smi` 显示 GPU ...
GPU资源识别与验证：nvidia-smi命令深度解读及6类常见问题精准排查
# GPU资源管理的“仪表盘”：从nvidia-smi到智能运维体系构建 在AI训练集群的机房里，你是否曾见过这样的场景——某台服务器上的四张A100卡中，只有两张满载运行，另外两张却“空转”，利用率不足5%？或者，一次...
(base) root@I24c7a0c6db03d01609:/hy-tmp/kuavo-rl-opensource/kuavo-robot-train/scripts# nvidia-smi Wed Nov 5 14:01:22 2025 +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.161.08 Driver Version: 535.161.08 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA GeForce RTX 4090 D On | 00000000:C2:00.0 Off | Off | | 0% 45C P2 90W / 425W | 3263MiB / 24564MiB | 37% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================你看这个GPU占用率多少，num_envs 只有128，我感觉训练还是有点慢，要不要把num_envs加大
最新发布
11-06
我们正在分析用户的问题：用户提供了nvidia-smi的输出信息，并询问在num_envs为128时训练慢，是否应该加大num_envs。但是，用户没有直接提供nvidia-smi的输出内容。因此，我们需要根据常见的nvidia-smi输出信息来...
nvidia-smi命令输出结果缓慢问题
豆芽菜
05-10 7546
比如你服务器插着4张卡的时候，有个BUS-ID 02的卡坏了，你把它拔了，再运行$ nvidia-smi，发现还会有BUS-ID 02的显卡出现在结果中。可以看到BUS-ID 02对应的卡槽为SLOT-2，SLOT标号一般在主板上，白色字体，在每个PCIE插槽（很长的那个插槽，插显卡的）的上方。可以看到，损坏的显卡（BUS-ID 02）的序列号（Serial Number）尾号为4953。4、去机房，找到这台服务器上SLOT-2卡槽插的序列号（显卡上一般会贴有白色的序列号标签）尾号为4953的那张卡！
Linux系统执行nvidia-smi命令比较卡，如何优化
guganly的专栏
03-20 1291
nvidia-smi
nvidia-smi命令很长时间才输出
月夜长影
12-18 1万+
这是由于没有启动显卡的persistenced模式, 导致每次nvidia-smi, 如果没有程序再运行, 都要先进行初始化. 解决方法: sudo /usr/bin/nvidia-persistenced --verbose # 再试一下应该可以了. nvidai-smi 将上述命令加到开始启动的脚本中 echo "/usr/bin/nvidia-persistenced --verbose"...
Nvidia gpu驱动安装教程 & nvidia-smi定时输出gpu信息
qq_42152032的博客
06-22 3288
查看本机gpu版本型号(根据型号去官网下载指定版本的最新驱动即可)： /usr/sbin/lspci | grep -i nvidia 不管是玩游戏还是用于并行计算，显卡驱动一定要使用最新的。通常新版本的显卡驱动应该能支持当前最高支持CUDA版本以下的所有版本，所有要关注显卡驱动能支持的最高CUDA版本(显卡驱动不管时新显卡还是旧显卡均可升级)。 nvidia-smi定时输出gpu信息
[环境配置]nvidia-smi输入后几十秒后才有反应卡主解决方法
FL1623863129的博客
06-12 3152
安装好nvidia的驱动,每次执行nvidia-smi命令时,要5秒以上，就跟卡死了一样，这个可如何是好啊，于是找到一个命令输入进去。之后在输入nvidia-smi也不卡了，重启系统也没有发现问题。大家可以试试这个办法。
NVIDIA当“No running processes found”时，为什么我的CUDA GPU-Util~70％？——开启Persistence
热门推荐
HD243608836的博客
08-26 1万+
问题： 在配置了2个Tesla K80卡的系统之后，我注意到在运行时nvidia-smi4个GPU中的一个处于高负荷状态，尽管“没有找到正在运行的进程”。为什么会发生这种情况，我该如何纠正？ 以下是来自的输出nvidia-smi： ➜ compute-0-1: ~/> nvidia-smi Mon Sep 26 14:48:00 2016 +-------------...
nvidia-smi命令输出结果缓慢
Hello Word!
07-23 4239
可能的原因和解决办法： 没有关闭节能模式，打开持久模式。如何关闭节能模式： # 修改或创建配置文件 # persistence mode 能够让 GPU 更快响应任务，待机功耗增加。关闭 persistence mode 同样能够启动任务 $ sudo vim /etc/rc.local # 加入： #!/bin/bash sudo nvidia-smi -pm 1 # 使配置生效 $ source /etc/rc.local Enabled persistence mode for GPU 0
【运维】执行nvidia-smi有点卡，解决办法
q742971636的博客
11-08 3168
考虑到这一点，以下是在系统引导时自动启用NVIDIA持久性模式的一种更通用的方法。请注意，在进行系统配置更改之前，请确保已备份数据，并且最好在具有管理员权限的情况下进行操作。有些情况下，你可能需要在系统引导时运行这个命令。不是所有Linux发行版中都默认启用的，且并非在所有情况下都适用。脚本来启用 NVIDIA GPU 的持久模式。你目前在执行的解决方案似乎旨在通过在系统启动时使用。根据你提供的信息，我看到了一些问题和误导。这将在系统引导时启用 NVIDIA 持久性模式。文件应该在每次系统引导时自动运行。
nvidia-smi卡顿详解
csuzhaoqinghui的博客
02-25 1万+
如果显卡数量在4张以上，在nvidia-smi信息后会非常的慢，非常的卡。尤其在只在乎计算量服务器的时候。 我试过把8张卡 tesla K80 显卡一个个拆下来 8张、7张 6/5/4/3/2/1试试nvidia-smi 结果速度都一样。 需要4到5分钟时间，甚至都不出直接死机。 解决方法 开始的时候以为是driver没有安装好，但是使用nvidia-smi之后可以显示GPU信息，只是疑惑Persistence-M为什么是off呢。。。然后就将其状态改为ON试试，就可以了。 nvidia-..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CVHub

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值