nvidia-smi 显示无进程，但GPU显存被占用

最新推荐文章于 2025-04-24 21:54:54 发布
原创 最新推荐文章于 2025-04-24 21:54:54 发布 · 3.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文解析了在深度学习网络训练中，使用ctrl+c中断训练后导致GPU显存被异常占用的问题。通过fuser命令检查并kill进程释放显存，避免后续训练时显存不足的情况。

问题场景

训练网络时，未等网络训练完，中途按了：ctrl + c结束网络训练。当再次进行训练网络时，提示GPU显存不足，使用nvidia-smi查看GPU，无进程占用，但GPU显存被占满。

问题分析

用ctrl + c终止网络训练，只是终止了部分进程，还剩下一部分进程未被终止。

问题解决

1 查看进程

fuser -v /dev/nvidia*

2 终止进程

kill -9 pid

参考

  1. nvidia-smi 无进程占用GPU，但GPU显存却被占用了很多
  2. nvidia-smi无进程占用GPU，但GPU却显示不足
Linux——杀死“僵尸”进程及解决无进程但显存占用问题
WangJialin
05-12 2922
Linux进程PID变为短横线以及解决无进程但显存占用问题
nvidia-smi参数详解，GPU和显存分析
weixin_41012399的博客
09-23 2549
总结起来，显存是一种专门用于存储图形数据的内存，而 GPU 是一种专门用于处理图形和图像数据的处理器。显存和 GPU 是紧密相关的，GPU 使用显存来存储和处理图形数据，以实现高性能的图形渲染和处理能力。在PyTorch中，当你执行完model=MyGreatModel().cuda()之后就会占用相应的显存，占用的显存大小基本与上述分析的显存差不多（会稍大一些，因为其它开销）。显存占用和GPU利用率是两个不一样的东西，显卡是由GPU计算单元和显存等组成的，显存和GPU的关系有点类似于内存和CPU的关系。
GPU无进程但是有显存占用
kilite的博客
03-23 533
解决gpu显存异常问题
ubuntu nvidia-smi无进程
m0_60594197的博客
04-26 594
为啥占用N/A，没有进程
nvidia-smi无进程但是显卡被占满
m0_52848925的博客
02-03 4181
这个命令查询到的进程ID（PID）是 nvidia-smi 自己维护的，而不是操作系统维护的真实进程ID，真实的PID可以通过其他方式（例如使用ps命令）获取。远程服务器，输入nvidia-smi，看到显存使用率（Memory Usage）几乎占满，但，显存利用率（GPU-Util）为0%。使用 pycharm 的 python console 进行调试的时候，调完之后要把进程终止掉，而不是把界面叉掉！显存使用率占满，说明有进程跑完之后，没有释放掉，一直静静地占着地儿。① jupyter不会释放显存。
解决nvidia-smi无进程，但GPU显存被占用的情况
发现问题，并解决问题，批判性思维
03-24 1998
# 一、问题描述 如题，解决nvidia-smi无进程，但GPU显存被占用的情况。 # 二、解决方案 ```python # 查看没有显示出来的进程 fuser -v /dev/nvidia* # Kill掉 sudo kill -9 pid ``` 如果要`kill`的进程特别多，可以用以下的python脚本： ```python import os pid = list(set(os.popen('fuser -v /dev/nvidia*').read().split())) kill_cmd =
精选资源
nvidia-smi的简介、安装使用的安装包
11-14
- 运行的进程：正在GPU上执行的进程及其占用的显存和计算单元 **3. 常用nvidia-smi选项** - `-l` 或 `--list`: 持续监控GPU状态，每秒更新一次。 - `-i` 或 `--gpu-id`: 指定要查询的GPU ID。 - `-d` 或 `--...
如何使用 `nvidia-smi` 查看 NVIDIA GPU 的当前值
engchina的专栏
12-20 1804
如何使用 `nvidia-smi` 查看 NVIDIA GPU 的当前值
GPU实时监控神器：从 nvidia-smi 到 nvtop
weixin_43887510的博客
04-24 1865
在使用 GPU 训练深度学习模型或进行大规模计算任务时，实时监控 GPU 状态对于合理分配资源、优化性能至关重要。本文将介绍两个非常实用的GPU监控工具：经典的nvidia-smi和更加直观、互动的nvtop。两块 4090 正在高强度运行（91%），说明模型或者任务在跑。显存都占用了一部分，但没有满，说明显存压力不是特别大。没有明显过热现象。进程中多为 python 程序，使用的是 miniconda 环境。两块 RTX 4090 GPU 当前负载较低（基本没跑大的模型或推理任务）
nvidia-smi 输出内容详解
程序猿视角
04-23 1953
nvidia-smi（NVIDIA System Management Interface）是一种命令行实用程序，主要用于监控和管理NVIDIA GPU（图形处理器）的状态和性能。它提供了一个简单而强大的方式来获取有关GPU的实时信息，这些信息包括GPU的使用情况、温度、内存占用等，同时也支持进行一些基本的管理操作。在大多数情况下，nvidia-smi是与NVIDIA GPU驱动程序一起安装的。
CPU占用率高的N种原因
01-20
1、防杀毒软件造成故障  　　由于新版的KV、金山、瑞星都加入了对网页、插件、邮件的随机监控，无疑增大了系统负担。处理方式:基本上没有合理的处理方式，尽量使用最少的监控服务吧，或者，升级你的硬件配备。  　　2、驱动没有经过认证，造成CPU资源占用100%  　　大量的测试版的驱动在网上泛滥，造成了难以发现的故障原因。 处理方式:尤其是显卡驱动特别要注意，建议使用微软认证的或由官方发布的驱动，并且严格核对型号、版本。  　　3、病毒、木马造成  　　大量的蠕虫病毒在系统内部迅速复制，造成CPU占用资源率据高不下。解决办法:用可靠的杀毒软件彻底清理系统内存和本地硬盘，并且打开系统设置软件，察看有
nvidia-smi无进程但显存被占用
Ghlerrix的博客
03-01 891
nvidia-smi无进程但显存被占用
Nvidia-smi看不到桌面进程
币佬爷
11-08 1444
GPU
【ubuntu】Nvidia-smi没有进程但GPU利用率低
Hollycooool的博客
11-15 601
我用的是实验室的A6000，ubuntu20.04，输入nvidia-smi之后没有任何进程占用GPU，但是运行代码时GPU的利用率始终不能100%利用，但是重启解决这个问题。但我在fuser -v /dev/nvidia*中发现有图形化界面，害怕后续删除的时候会导致图形化界面黑屏，于是我在pid.file中将不是程序的id删去，之后输入下面指令。把所有占显存的进程显示出来。
解决Nvidia-smi没有进程但是显存不释放的问题
热门推荐
打拳的土豆的博客
04-22 1万+
** Nvidia显存占用问题 ** 程序已停掉，但是GPU显存无法释放，我们在使用PyTorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi 也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？ 这是因为使用PyTorch设置多线程进行数据读取，其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下
nvidia-smi 显存被占用却没显示进程
Chokwin的博客
12-02 7511
解决方法： 使用fuser命令： fuser用于显示哪些进程正在使用给定的文件、文件系统或unix套接字。例如，要查看访问USB驱动器的进程ID及其用户 每个进程号后面都跟随一个字母，该字母指示进程如何使用文件。 c：指示进程的工作目录。 e：指示该文件为进程的可执行文件(即进程由该文件拉起)。 f：指示该文件被进程打开，默认情况下f字符不显示。 F：指示该文件被进程打开进行写入，默...
nvidia-smi显示某个gpu没有进程但依然占有显存
weixin_42388228的博客
08-04 2803
具体参考：https://forums.developer.nvidia.com/t/11-gb-of-gpu-ram-used-and-no-process-listed-by-nvidia-smi/44459 如上图所示，索引为2的GPU在下面没有进程但在上面依然占有显存 解决方法： 使用 sudo fuser -v /dev/nvidia* 查看所有gpu的进程，然后找到对应索引2的GPU的进程，kill所有对应进程，如下图就是sudo kill 6810 ...
nvidia-smi查看无进程，但GPU占用率100%问题解决
weixin_45897706的博客
03-30 4114
原因：记住记住记住Ctrl+Z是把当前运行程序挂起，并不是终止运行，终止用Ctrl+C,前段时间跑代码测性能和看部分结果一直用的Ctrl+Z，导致程序都处于挂起状态，占用大量内存。jobs -l 显示Linux中的任务列表及任务状态，包括后台运行的任务。ps -ef | grep ‘python’ 命令将显示所有包含 ‘python’ 关键词的进程信息。在系统进程中查找user并且同时包含 “python” 的进程的命令。| 符号是管道操作符，将命令的输出作为另一个命令的输入。
nvidia-smi指令查看显存被占用，无进程ID的解决方法
weixin_42924890的博客
07-25 2233
nvidia-smi查看显存被占用无进程ID的处理方法
nvidia-smi 进程GPU Memory Usage 显示N/A
最新发布
07-30
- 先解释问题：nvidia-smi中进程GPU Memory Usage显示N/A的原因。 - 然后列出可能的原因。 - 最后提供解决方法。 - 使用中文回答，因为用户指定了中文。 - 在回答中自然地添加引用标识，例如[^1]。 - 生成相关问题。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值