GPU问题： Linux 无进程显存占用问题

最新推荐文章于 2025-09-29 09:46:39 发布
原创 最新推荐文章于 2025-09-29 09:46:39 发布 · 3.2k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在Linux命令行输入nvidia - smi，显示无进程但GPU显存占用多。原因是历史进程未杀死，解决方案是使用命令查看后台占用进程并将其kill掉。

在linux命令行中键入nvidia-smi，显示没有进程但是GPU显存却使用很多
产生原因：历史进程未杀死

在这里插入图片描述
解决方案：
用下面命令查看后台占用进程：

fuser -v /dev/nvidia*

然后kill掉

kill -9 进程号
【运维】Linux 显存占用清理方法，深度学习pytorch，Linux显存占用详细情况查看
q742971636的博客
06-22 8064
【代码】【运维】Linux 显存占用清理方法，深度学习pytorch，Linux显存占用详细情况查看。
Linux--无进程却显示占用显存，GPU显存释放方法
flyingluohaipeng的博客
01-15 9645
程序结束掉，但GPU显存没有释放。
没有进程在跑，但是GPU显存被占用的处理办法
kalabi的博客
11-01 1596
【代码】没有进程在跑，但是GPU显存被占用的处理办法。
GPU显存占用高却找不到相关进程或者是僵尸进程，一招彻底解决GPU幽灵显存占用问题
最新发布
UGhostX的博客
09-29 1202
GPU显存"幽灵占用"问题解决方案 当nvidia-smi显示显存被占用但找不到对应进程时，会导致新任务因显存不足而失败。该问题通常由进程异常终止或残留的共享内存段导致。解决方案分两步：1)使用sudo fuser -k /dev/nvidia*终止所有关联进程；2)执行sudo ipcs -m | grep nvidia | awk '{print $2}' | xargs -I {} sudo ipcrm -m {}清理残留共享内存。完成这两步后，显存将完全释放，GPU可重新使用。
（Linux）显存被占用-显示没有进程-nohup
qq_39214409的博客
05-25 2169
这种情况多半是代码中 num_works 的设置大于1导致的。nvidia-smi显示的PID是父进程，那么在kill掉此进程后，子进程仍然在工作。关键问题在于如何找到子进程并终止。
linux无进程占用GPU，但却显示显存占满
u012949914的博客
08-18 3825
今天在使用pytorch训练模型时提示： RuntimeError: CUDA out of memory 通过nvidia-smi指令查看了GPU的使用情况，结果很奇怪： 只有几个基础进程占用了大概200M的GPU，但GPU的总体占用为: 24162MiB / 23259 MiB 由于无相关进程显示，所以没有办法通过杀进程的方式释放显存。 通过 gpustat 指令查看了其他用户进程的GPU使用情况： gpustat -u --color 发现和nvidia-smi显示的无区别， 其中root用户的X
运行nvidia-smi发现显存占用但是无程序运行如何处理
Guangli_R的博客
11-12 2366
在使用GPU进行深度学习或其他计算密集型任务时，有时可能会遇到GPU无程序运行但显存仍被占用的情况。本文将介绍如何诊断并解决这个问题，确保GPU资源能够被有效利用。本文介绍了当GPU无程序运行但显存仍被占用时的诊断和解决步骤。通过使用fuser命令查看GPU上的所有程序，并根据需要终止不需要的进程，可以有效地释放被占用的显存资源。在处理这类问题时，请务必谨慎操作，以避免对系统或其他应用程序造成不必要的影响。
Linux——杀死“僵尸”进程及解决无进程但显存占用问题
WangJialin
05-12 2922
Linux进程PID变为短横线以及解决无进程但显存占用问题
实验室服务器使用指南06：kill-9杀不死进程及无进程占用GPU但显存占用大
qq_41876456的博客
12-21 1948
参考资料 杀掉kill -9杀不死的进程 nvidia-smi无进程占用GPU但GPU显存被占用很多 1.最初是想杀掉8208这个进程，然后很自然地就想kill -9 8208 2.用了kill -9这个命令之后就发现Process name没了，但还是占用内存 3.然后使用cat /proc/8208/status这个命令找到8208这个pid号的父目录ppid 8207,再把父目录杀掉 4.然后8208这个pid果然被杀掉了，但是仍然占用内存？？？ 5.于是使用fuser -v /dev/nv
关于Linux+GPU服务器下GPU显存不足问题
米兰的小码农的博客
05-07 4172
#1. 问题描述 在基于Linux系统环境下的GPU服务器上跑深度学习代码时，我们常常会因为不正常退出等问题导致资源没被正常回收而出现GPU显存不足的情况，此时再次运行学习代码就会出现如下图所示报错情况。从图片可以看出我10.91GiB的显存仅剩下362.38MiB，报错提示原因也是ResourceExhaustedError(资源耗尽错误)。 #2. 解决方法 ##2.1 传统方法： 传统...
精选资源
go读取Linux下cpu占用率、cpu温度、内存占用率及磁盘占用率
08-27
在Go语言中，读取Linux系统的CPU占用率、CPU温度、内存占用率以及磁盘占用率涉及到了系统监控和性能分析。以下将详细介绍如何利用Go实现这些功能。 1. **CPU占用率** CPU占用率是指CPU在单位时间内用于执行用户...
【linux】nvidia-smi 查看GPU使用率100%
学无止境、积少成多、厚积薄发
11-04 7723
linux服务器下使用 nvidia-smi or nvidia-smi -l 1【数字表示输出间隔】 命令查看GPU使用情况，三种情况 1、没有进程，GPU使用率为空 这种情况表示，没有进程占用GPU资源，属于为空的正常状态 2、有进程，GPU使用率在变化 我们如果想要终止进程 ps -ef|grep python kill -9 58828 # 58828是该进程id 当然，也可以杀死所有python进程 killall -9 python 以前写的博客有以上教程，戳我进入。 3、看
解决nvidia-smi无进程，但GPU显存被占用的情况
发现问题，并解决问题，批判性思维
03-24 1994
# 一、问题描述 如题，解决nvidia-smi无进程，但GPU显存被占用的情况。 # 二、解决方案 ```python # 查看没有显示出来的进程 fuser -v /dev/nvidia* # Kill掉 sudo kill -9 pid ``` 如果要`kill`的进程特别多，可以用以下的python脚本： ```python import os pid = list(set(os.popen('fuser -v /dev/nvidia*').read().split())) kill_cmd =
nvidia-smi 无进程占用GPU，但GPU显存却被占用了
修行之路
06-02 3495
nvidia-smi 无进程占用GPU，但GPU显存却被占用了
Ubuntu（Linux）GPU显存被占用但是找不到进程解决方法
yzqlyzql的博客
11-22 5494
Ubuntu（Linux）GPU显存被占用但是找不到进程解决方法
Linux闲时自动抢占GPU脚本
周先森爱吃素的博客
05-17 2444
在Linux服务器上，当GPU空闲时自动运行需要使用GPU的程序。
GPU占用显存，但看不到PID进程（已解决）
qq_52302919的博客
04-19 1万+
awk 命令来处理 fuser 的输出，遍历每一行输出，以 "kill -9 " 开头，后面跟着每个进程的PID。直接使用sudo kill pid，kill指定pid进程，本文案例为22131，则为以下命令。当我们使用nvidia-smi查看显卡占用时发现显存被占用，但是看不到pid进程。fuser 命令来查找哪些进程正在使用 /dev/nvidia* 文件。
Linux释放GPU显存
热门推荐
cp3
04-04 2万+
用tensorflow做实验，有时候会由于某种原因，在关闭程序后，GPU的显存仍处于被占用的状态，而用nvidia-smi查不到对应的进程pid. 这时释放显存的方法： sudo fuser /dev/nvidia* 该命令会显示所有占用nvidia设备的进程pid，将这些pid逐个kill掉： kill -9 pid 发现显存已经被释放。 不过，造成这种显存不能被释放现象的原因尚不清...
记录点奇怪的bug
syw1992的博客
12-13 140
记录点搞科研过程中的奇怪bug
linux远程服务器gpustat无进程但占用显存
07-10
在Linux远程服务器上，有时会出现`gpustat`显示没有GPU进程运行，但GPU显存仍被占用的情况。这可能是由多种原因造成的，以下是一些常见的可能性及其解决方法。 ### 原因分析 1. **僵尸进程或异常退出的进程**：某些情况下，GPU进程可能异常终止而未能正确释放其占用的显存资源。这种情况下的显存占用通常会在一段时间后自动释放，但如果系统未能正确回收，则需要手动干预[^1]。 2. **驱动问题**：NVIDIA驱动程序可能存在bug，导致即使所有已知的GPU进程都已结束，显存仍然未被释放。更新到最新版本的驱动程序可以解决这类问题[^1]。 3. **CUDA上下文泄漏**：应用程序可能会因为编程错误而导致CUDA上下文泄漏，即应用程序创建了CUDA上下文但未能正确销毁它们。这种泄漏会导致显存无法被其他进程使用[^1]。 4. **后台服务占用**：有时候，一些后台服务或者守护进程（如Docker容器内的服务）可能在用户不知情的情况下使用了GPU资源，这些服务可能不会出现在标准的`gpustat`输出中[^1]。 ### 解决方案 - **重启相关服务**：如果确定是某个特定的服务导致的问题，尝试重启该服务以释放显存。对于由Docker容器引起的情况，重启相应的容器可能有助于解决问题。 - **更新驱动和软件**：确保使用的NVIDIA驱动程序以及相关的CUDA工具包都是最新的版本，这样可以减少由于软件缺陷引起的显存管理问题。 - **检查并清理僵尸进程**：使用`nvidia-smi`命令查看详细的GPU使用情况，包括PID等信息。找到疑似僵尸进程的条目后，可以通过发送SIGKILL信号给这些进程来强制终止它们，进而释放显存。 - **重启系统**：作为最后手段，如果上述方法都无法解决问题，那么重启整个系统通常是最快捷有效的方式。不过，在采取此措施前应尽量保存好所有必要的数据和日志，以便后续分析问题根源。 ```bash # 查看当前GPU状态 nvidia-smi # 强制杀死指定PID的进程 kill -9 <PID> # 重启nvidia驱动模块（需root权限） modprobe -r nvidia_uvm && modprobe nvidia_uvm ``` 以上脚本提供了几个基本的操作命令，用于诊断和处理GPU显存占用问题。请注意，在执行任何操作之前都应该充分评估风险，并确保了解每一步操作的具体含义。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值