转载：GPU占用显存，但看不到PID进程

最新推荐文章于 2025-04-24 21:54:54 发布
最新推荐文章于 2025-04-24 21:54:54 发布
阅读量574 收藏 10
点赞数 19
文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dstyaaaa123456/article/details/136199540
版权

转载自：https://blog.youkuaiyun.com/XC___XC/article/details/134800152?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-134800152-blog-116802258.235%5Ev43%5Epc_blog_bottom_relevance_base3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-134800152-blog-116802258.235%5Ev43%5Epc_blog_bottom_relevance_base3&utm_relevant_index=2icon-default.png?t=N7T8https://blog.youkuaiyun.com/XC___XC/article/details/134800152?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1-134800152-blog-116802258.235%5Ev43%5Epc_blog_bottom_relevance_base3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1-134800152-blog-116802258.235%5Ev43%5Epc_blog_bottom_relevance_base3&utm_relevant_index=2

丁优雅ya
关注
ubuntu下实时查看GPU使用情况的两种方式（nvidia-smi、gpustat）及结束占用GPU进程的命令
zeeq的博客
07-21 12万+
要查看gpu占用，这里介绍两个方法，一个是官方的nvidia-smi，装完显卡驱动就能使用了；另一个是gpustat，更方便于查看gpu使用情况。
Linux--无进程却显示占用显存，GPU显存释放方法
夏普通
07-09 1万+
文章目录一、用nvidia-smi查看对应的进程pid二、用nvidia-smi查不到对应的进程pid 程序结束掉，但GPU显存没有释放。 一、用nvidia-smi查看对应的进程pid 用 nvidia-smi 查看显存占用情况如下： 使用kill命令，kill掉对应的进程： kill -9 PID(替换进程号) 再看一下占用情况，可以看到已经释放了： 二、用nvidia-smi查不到对应的进程pid nvidia-smi 查看显存占用情况如下： 发现查不到对应的进程pid，这时候用： bash f
GPU占用显存，但看不到PID进程（已解决）
qq_52302919的博客
04-19 8266
awk 命令来处理 fuser 的输出，遍历每一行输出，以 "kill -9 " 开头，后面跟着每个进程的PID。直接使用sudo kill pid，kill指定pid进程，本文案例为22131，则为以下命令。当我们使用nvidia-smi查看显卡占用时发现显存被占用，但是看不到pid进程。fuser 命令来查找哪些进程正在使用 /dev/nvidia* 文件。
Ubuntu（Linux）GPU显存被占用但是找不到进程解决方法
yzqlyzql的博客
11-22 5282
Ubuntu（Linux）GPU显存被占用但是找不到进程解决方法
GPU无进程但是有显存占用
kilite的博客
03-23 358
解决gpu显存异常问题
（Linux）显存被占用-显示没有进程-nohup
qq_39214409的博客
05-25 1813
这种情况多半是代码中 num_works 的设置大于1导致的。nvidia-smi显示的PID是父进程，那么在kill掉此进程后，子进程仍然在工作。关键问题在于如何找到子进程并终止。
怎么查看服务器GPU显存？为什么没有进程却能占满？
m0_67165162的博客
03-04 1145
服务器的GPU怎么看，为什么明明下面的进程没有占用这么多，但是上面已经满了，可用的显存很少？
【Ubuntu】GPU显存被占用，但显示没有使用GPU的进程
weixin_45800258的博客
02-20 1279
今天使用服务器的时候发现gpu被占了很多内存，但是使用 `nvidia-smi` 命令并没有发现占这么多显存的进程。通过将gpu视为文件，查看访问该文件的进程来找到问题进程，然后尝试杀死相关进程，最后将该用户下的进程一键杀死来解决问题。
GPU实时监控神器：从 nvidia-smi 到 nvtop
最新发布
weixin_43887510的博客
04-24 1124
在使用 GPU 训练深度学习模型或进行大规模计算任务时，实时监控 GPU 状态对于合理分配资源、优化性能至关重要。本文将介绍两个非常实用的GPU监控工具：经典的nvidia-smi和更加直观、互动的nvtop。两块 4090 正在高强度运行（91%），说明模型或者任务在跑。显存都占用了一部分，但没有满，说明显存压力不是特别大。没有明显过热现象。进程中多为 python 程序，使用的是 miniconda 环境。两块 RTX 4090 GPU 当前负载较低（基本没跑大的模型或推理任务）
【Linux】监控NVIDIA GPU显卡占用状态的命令
wzk4869的博客
05-20 1万+
【Linux】监控NVIDIA GPU显卡占用状态的命令
【解决】GPU占用显存，但看不到PID进程
XC___XC的博客
12-05 4453
awk 命令来处理 fuser 的输出，遍历每一行输出，以 "kill -9 " 开头，后面跟着每个进程的PID。常用的查看显卡基本信息的命令 nvidia-smi 发现显存被占用，但是看不到pid进程。kill进程先大概了解一下是那个情况，别到时候把其他人的进程给断了【苦笑】fuser 命令来查找哪些进程正在使用 /dev/nvidia* 文件。可以使用下面的命令，查看详细的pid进程号和占用的显存。
GPU无进程但显存占用
weixin_46214675的博客
01-26 1548
上面这个命令会将所有包含 /debug 字符串的、正在使用 NVIDIA GPU 的进程的 PID 号写入到 pids_to_kill.txt 文件中，而不是直接杀死这些进程。所以就捣鼓了一下，写成blog造福大家！为了保险起见我将要杀死的进程的 PID 号保存到一个文件中，而不是直接杀死它们，当然也是可以做到。这个命令会读取 pids_to_kill.txt 文件中的每一行（也就是每一个 PID），然后杀死对应的进程。grep /debug 是查找命令里面的关键字区分，哪一组是正在跑，哪一组是死掉了的。
nvidia-smi 无进程占用GPU，但GPU显存却被占用了很多
Arthur_Holmes的博客
06-17 1354
转载地址：https://blog.youkuaiyun.com/qq_33547191/article/details/86263859 下图是我当时遇到的问题 如上图，GPU1 显示占用了10G多的显存，但是却没有相应的进程。此时可使用如下命令查...
【已解决】nvidia-smi不显示正在使用GPU的进程
FRIGIDWINTER的博客
03-02 1万+
本文探究nvidia-smi不显示正在使用GPU的进程的原因并予以解决
查询GPU时无进程运行，但是显存却被占用了
热门推荐
呆呆象呆呆的博客
02-24 2万+
查询GPU时无进程运行，但是显存却被占用了 1、具体表现 nvidia-smi或者gpustat无进程在GPU上运行，但GPU显存却被占用了 2、造成原因 应该是存在僵尸进程，已经运行完毕或者卡死，但是内存没有释放，处于挂起状态 3、解决方案 3.1 方案一 重启电脑 3.2 方案二 如果电脑不能重启，那就通过命令行： fuser -v /dev/nvidia* 或者有管理员权限的时候 sudo fuser -v /dev/nvidia* 可以看到对应的设备，是有进程的。 最后就用kill命令行杀掉相
gpu没有运行进程，但是显存一直占用
m0_52253424的博客
11-28 4375
gpu没有运行进程，但是显存一直占用
Electron 报gpu_process_host.cc(951)] GPU process launch faile错误
Deokoo的专栏
08-21 2764
【代码】Electron 报gpu_process_host.cc(951)] GPU process launch faile错误。
GPU进程查看/停止
机器学习专栏
08-12 1437
nvidia-smi GPU进程查看 GPU进程停止 kill -9 PID #PID是nvidia-smi语句查询出来的PID号码
占用显存不大，但显示cuda is out of memory
03-22
### CUDA Out of Memory 显存充足但仍报错的原因分析 尽管显存看似充足，仍可能因某些潜在原因导致 `CUDA out of memory` 错误。以下是可能导致该问题的因素及其对应的解决方案： #### 1. **碎片化内存分配** 即使总的显存量足够，但如果内存被频繁分配和释放，则可能会导致显存碎片化。这种情况下，虽然有未使用的显存空间，但由于缺乏连续的大块内存区域，程序无法成功申请所需的显存。 - 可通过减少动态张量大小的变化来降低显存碎片化的可能性[^1]。 - 使用工具如 `torch.cuda.memory_summary()` 来查看显存使用情况并检测是否存在碎片化现象[^4]。 #### 2. **PyTorch 的缓存机制** PyTorch 中的 GPU 缓存管理器会保留已分配的显存供后续操作重用，这可能导致显存占用显示不准确。如果模型训练过程中存在大量临时变量而未及时清理，这些变量会被保留在缓存中，从而引发错误。 - 调用 `torch.cuda.empty_cache()` 手动清空缓存可以缓解这一问题[^3]。 ```python import torch torch.cuda.empty_cache() ``` #### 3. **批处理尺寸过大** 当批量数据（batch size）设置得过大会增加单次前向传播所需显存量。即便总显存看起来够用，也可能因为瞬时需求过高而导致 OOM 错误。 - 尝试减小 batch size 并观察效果。 #### 4. **模型参数过多或中间激活值较大** 复杂的神经网络结构或者较大的输入分辨率都会显著提升每一步运算所需要的显存量。 - 对于大模型可考虑采用混合精度训练 (Mixed Precision Training)，它利用 FP16 数据类型代替部分 FP32 运算以节省约一半的显存消耗。 ```python from torch.cuda import amp scaler = amp.GradScaler() for data, target in dataloader: optimizer.zero_grad(set_to_none=True) with amp.autocast(): output = model(data) loss = criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` #### 5. **其他进程占用了显存** 有时系统中的其他应用程序也在使用相同的 GPU 设备，造成可用显存少于预期。 - 利用命令行工具 nvidia-smi 查看是否有无关进程正在占用目标 GPU 的资源，并酌情终止不必要的任务[^2]。 ```bash nvidia-smi kill -9 PID ``` --- ### 总结 上述方法涵盖了从调整代码逻辑到优化硬件环境等多个角度应对 `CUDA out of memory` 的策略。具体实施时需结合实际应用场景选取合适的措施组合加以应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值