nvidia-smi 显示无进程，但GPU显存被占用

最新推荐文章于 2025-04-24 21:54:54 发布
最新推荐文章于 2025-04-24 21:54:54 发布
阅读量3.3k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_29047129/article/details/103623975
本文解析了在深度学习网络训练中，使用ctrl+c中断训练后导致GPU显存被异常占用的问题。通过fuser命令检查并kill进程释放显存，避免后续训练时显存不足的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题场景

训练网络时，未等网络训练完，中途按了：ctrl + c结束网络训练。当再次进行训练网络时，提示GPU显存不足，使用nvidia-smi查看GPU，无进程占用，但GPU显存被占满。

问题分析

用ctrl + c终止网络训练，只是终止了部分进程，还剩下一部分进程未被终止。

问题解决

1 查看进程

fuser -v /dev/nvidia*

2 终止进程

kill -9 pid

参考

  1. nvidia-smi 无进程占用GPU，但GPU显存却被占用了很多
  2. nvidia-smi无进程占用GPU，但GPU却显示不足
nvidia-smi参数详解，GPU和显存分析
weixin_41012399的博客
09-23 2209
总结起来，显存是一种专门用于存储图形数据的内存，而 GPU 是一种专门用于处理图形和图像数据的处理器。显存和 GPU 是紧密相关的，GPU 使用显存来存储和处理图形数据，以实现高性能的图形渲染和处理能力。在PyTorch中，当你执行完model=MyGreatModel().cuda()之后就会占用相应的显存，占用的显存大小基本与上述分析的显存差不多（会稍大一些，因为其它开销）。显存占用和GPU利用率是两个不一样的东西，显卡是由GPU计算单元和显存等组成的，显存和GPU的关系有点类似于内存和CPU的关系。
NVIDIA GPU管理利器：nvidia-smi详解
weixin_70208651的博客
09-27 5191
nvidia-smi是NVIDIA System Management Interface（系统管理接口）简称，是用于查询和管理NVIDIA GPU设备的命令行工具。通过nvidia-smi，用户可以轻松查看GPU的实时状态信息，包括温度、使用率、内存使用情况、显存使用情况、运行中的进程及其对应的GPU资源占用等，是用户管理NVIDIA GPU不可或缺的工具之一。和一般的Linux命令不同的是，该命令需要服务器有nvidia的GPU并安装相应的GPU驱动才能使用。为有相应显卡的服务器的运维和管理提供价值。
ubuntu nvidia-smi无进程
m0_60594197的博客
04-26 549
为啥占用N/A，没有进程
nvidia-smi无进程但是显卡被占满
m0_52848925的博客
02-03 3648
这个命令查询到的进程ID（PID）是 nvidia-smi 自己维护的，而不是操作系统维护的真实进程ID，真实的PID可以通过其他方式（例如使用ps命令）获取。远程服务器，输入nvidia-smi，看到显存使用率（Memory Usage）几乎占满，但，显存利用率（GPU-Util）为0%。使用 pycharm 的 python console 进行调试的时候，调完之后要把进程终止掉，而不是把界面叉掉！显存使用率占满，说明有进程跑完之后，没有释放掉，一直静静地占着地儿。① jupyter不会释放显存。
解决nvidia-smi无进程，但GPU显存被占用的情况
发现问题，并解决问题，批判性思维
03-24 1700
# 一、问题描述 如题，解决nvidia-smi无进程，但GPU显存被占用的情况。 # 二、解决方案 ```python # 查看没有显示出来的进程 fuser -v /dev/nvidia* # Kill掉 sudo kill -9 pid ``` 如果要`kill`的进程特别多，可以用以下的python脚本： ```python import os pid = list(set(os.popen('fuser -v /dev/nvidia*').read().split())) kill_cmd =
nvidia-smi无进程但显存被占用
Ghlerrix的博客
03-01 848
nvidia-smi无进程但显存被占用
nvidia-smi的简介、安装使用的安装包
11-14
- 运行的进程：正在GPU上执行的进程及其占用的显存和计算单元 **3. 常用nvidia-smi选项** - `-l` 或 `--list`: 持续监控GPU状态，每秒更新一次。 - `-i` 或 `--gpu-id`: 指定要查询的GPU ID。 - `-d` 或 `--...
查看gpu内存nvidia-smi
霜叶的博客
07-28 2536
要在Linux系统上查看NVIDIA GPU的使用情况，您可以使用nvidia-smi命令。这是一个NVIDIA提供的命令行工具，能够显示GPU的各种状态信息，包括但不限于使用率、内存使用情况、温度、时钟速度以及运行在GPU上的进程。nvidia-smi此输出提供了每块GPU的详细状态，包括GPU编号、名称、当前功耗、温度、利用率、已分配的显存和总显存等。同时，底部的“Processes”部分还会列出占用GPU资源的各个进程及其显存使用情况。如果您想更频繁地查看GPU状态，比如每秒查看一次，可以结合。
GPU实时监控神器：从 nvidia-smi 到 nvtop
最新发布
weixin_43887510的博客
04-24 1413
在使用 GPU 训练深度学习模型或进行大规模计算任务时，实时监控 GPU 状态对于合理分配资源、优化性能至关重要。本文将介绍两个非常实用的GPU监控工具：经典的nvidia-smi和更加直观、互动的nvtop。两块 4090 正在高强度运行（91%），说明模型或者任务在跑。显存都占用了一部分，但没有满，说明显存压力不是特别大。没有明显过热现象。进程中多为 python 程序，使用的是 miniconda 环境。两块 RTX 4090 GPU 当前负载较低（基本没跑大的模型或推理任务）
Nvidia-smi看不到桌面进程
币佬爷
11-08 1142
GPU
解决Nvidia-smi没有进程但是显存不释放的问题
热门推荐
打拳的土豆的博客
04-22 1万+
** Nvidia显存占用问题 ** 程序已停掉，但是GPU显存无法释放，我们在使用PyTorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi 也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？ 这是因为使用PyTorch设置多线程进行数据读取，其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下
nvidia-smi 显存被占用却没显示进程
Chokwin的博客
12-02 7444
解决方法： 使用fuser命令： fuser用于显示哪些进程正在使用给定的文件、文件系统或unix套接字。例如，要查看访问USB驱动器的进程ID及其用户 每个进程号后面都跟随一个字母，该字母指示进程如何使用文件。 c：指示进程的工作目录。 e：指示该文件为进程的可执行文件(即进程由该文件拉起)。 f：指示该文件被进程打开，默认情况下f字符不显示。 F：指示该文件被进程打开进行写入，默...
nvidia-smi显示某个gpu没有进程但依然占有显存
weixin_42388228的博客
08-04 2680
具体参考：https://forums.developer.nvidia.com/t/11-gb-of-gpu-ram-used-and-no-process-listed-by-nvidia-smi/44459 如上图所示，索引为2的GPU在下面没有进程但在上面依然占有显存 解决方法： 使用 sudo fuser -v /dev/nvidia* 查看所有gpu的进程，然后找到对应索引2的GPU的进程，kill所有对应进程，如下图就是sudo kill 6810 ...
nvidia-smi查看无进程，但GPU占用率100%问题解决
weixin_45897706的博客
03-30 3494
原因：记住记住记住Ctrl+Z是把当前运行程序挂起，并不是终止运行，终止用Ctrl+C,前段时间跑代码测性能和看部分结果一直用的Ctrl+Z，导致程序都处于挂起状态，占用大量内存。jobs -l 显示Linux中的任务列表及任务状态，包括后台运行的任务。ps -ef | grep ‘python’ 命令将显示所有包含 ‘python’ 关键词的进程信息。在系统进程中查找user并且同时包含 “python” 的进程的命令。| 符号是管道操作符，将命令的输出作为另一个命令的输入。
nvidia-smi指令查看显存被占用，无进程ID的解决方法
weixin_42924890的博客
07-25 1976
nvidia-smi查看显存被占用无进程ID的处理方法
解决Ubuntu16.0下NVIDIA命令nvidia-smi出现 No support N/A情况
epchy12的博客
03-06 1507
解决Ubuntu16.0下NVIDIA命令nvidia-smi出现 No support N/A情况 下载Github补丁包,并解压。 在此感谢 Sam Edwards 提供的CFSworks开源代码 $ cat /proc/driver/nvidia/version 查看nvidia驱动版本，这里是410.48 打开解压的文件夹nvml_fix_master，在该目录下 $ sudo make install TARGET_VER=410.48 libdir=/usr/lib/x86_64-linux-
解决nvidia-smi发现显存占用严重，却看不到进程的问题
elephantbang的博客
12-21 1113
练了一个服务器，跑代码显示显存不足，nvidia-smi一看发现：发现显存占用严重，却看不到进程的问题，直接kill也kill不掉。
nvidia-smi 可以显示gpu占用量和使用率，但不显示PID等详细进程信息的解决方法
samoyan的博客,记录技术成长~
05-29 2958
使用fuser命令可以查看哪些进程正在使用指定的文件或目录。在Linux系统中，GPU设备通常被映射到/dev/nvidia*文件中，因此可以使用fuser命令来查看哪些进程正在使用GPU设备。在上述示例中，可以看到/dev/nvidia0设备正在被PID为1234的python进程使用，/dev/nvidia1设备正在被PID为5678的tensorflow进程使用。执行上述命令后，会列出所有正在使用GPU设备的进程号和相关信息。使用fuser -v /dev/nvidia*查看使用gpu的进程号。
怎么使用nvidia-smi命令统计某个服务占用gpu的显存大小
10-12
`nvidia-smi` 是 NVIDIA 驱动程序提供的一组用于监控和管理 GPU 的命令行工具。如果你想要通过这个命令查看某个特定服务占用 GPU 显存大小，首先你需要知道该服务对应的 GPU 进程ID（PID）。因为 `nvidia-smi` 主要是显示系统级别信息，它并不直接提供服务级别的详细内存跟踪。 以下是基本步骤： 1. 打开终端并输入 `nvidia-smi`，这将显示所有 GPU 的基本信息以及当前正在运行的进程及其资源使用情况。 2. 查找你需要监控的服务对应的 PID。你可以使用如 `ps -aux | grep <service_name>` 来搜索服务名，找到包含目标服务的行，并记录下 PID。 3. 将 PID 传递给 `nvidia-smi` 的 `--process-id` 参数，例如： ``` nvidia-smi --query-gpu=memory.used,memory.free --format=csv,noheader --id=<pid> ``` 这里 `<pid>` 应替换为你找到的实际进程 ID。这条命令会返回指定进程使用的显存（memory.used）和剩余的显存（memory.free）。 4. 结果通常会列出一行，其中 `memory.used` 列就是所求的显存占用大小。 注意：如果你的服务不在GPU上运行，或者服务没有在后台运行导致无法获取到进程ID，那么这种方法就无效了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值