linux 下GPU的僵尸进程

最新推荐文章于 2025-04-12 15:55:53 发布

锁我喉是吧

最新推荐文章于 2025-04-12 15:55:53 发布

阅读量260

点赞数 3

文章标签： linux 服务器运维

本文链接：https://blog.youkuaiyun.com/qq_43767886/article/details/145904441

版权

nvidia-smi发现GPU的显存是满的，但是显示出来的进程只有两个，一共才占用2G，
怎么也查不出来其他进程占用
于是乎我用nvidia-smi --query-compute-apps=pid,used_memory --format=csv

pid, used_gpu_memory [MiB]
2127292, 19498 MiB
2594601, 24090 MiB
1145328, 1636 MiB
3827010, 1196 MiB
3114951, 1846 MiB
42007, 1780 MiB
1246739, 19882 MiB
2328702, 1808 MiB
1697504, 524 MiB
2831323, 410 MiB
2831331, 410 MiB
2831346, 410 MiB
2831374, 410 MiB
2831352, 410 MiB
2831394, 410 MiB
2831362, 410 MiB
2831383, 410 MiB
4074102, 690 MiB
4074066, 1870 MiB
4074068, 2332 MiB
4074090, 690 MiB
4074079, 3298 MiB
4074114, 690 MiB
4074123, 690 MiB
4074138, 690 MiB

去查看进程，然后和所有GPU对应的进程号去比对，发现好多对不上的进程
然后用该命令去查这些进程是啥

ps -p 4074079 -o pid,stat,cmd

显示是僵尸进程，但是还占着显存

4074079 Z    [pt_main_thread] &lt;defunct&gt;

且我用kill - 9进行kill时，并没有用，原来是需要先杀死父进程，才能顺利杀死子进程，
然后去查该进程的父进程

ps -o ppid= -p 4074079

最后根据从父进程进行kill，再kill子进程，最终解决GPU显存对不上的问题

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

锁我喉是吧

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

查看哪个docker环境在占用gpu

sdhdsf132452的博客

06-26

905

有时候发现某些docker占用gpu资源却没有训练，需要查清楚是哪个并且把它stop掉。

linux系统下nvidia显卡杀僵尸进程

weixin_45841324的博客

04-03

639

step1: fuser -v /dev/nvidia* 查看所有被占用显卡的进程号（PID）step2: kill -9 PID 删掉僵尸进程。step3: nvidia-smi 查看显卡利用情况。

参与评论您还未登录，请先登录后发表或查看评论

【bug记录】清除僵尸进程，释放GPU显存

Yulki的博客

05-09

2893

在进行深度学习或其他需要GPU支持的任务时，我们有时会发现虽然没有可见的进程在执行，但GPU资源却意外地被占用。这种情况往往会阻碍我们的工作进度，因为新的任务无法启动。如果你遇到了这种状况，不要担心，这里有一些方法可以帮助你解决这个问题。

ubuntu下 CPU和Nvidia隐藏进程的查看命令

最新发布

weixin_46672177的博客

04-12

186

CPU：通常用top、htop或者ps来查看进程，但某些特殊的进程，比如挖矿进程不能被top等普通的命令查看。Nvidia：通常使用nvidia-smi查看占用显存的进程，但僵尸进程等不能在nvidia-smi中显示。查看僵尸进程的详细信息，kill掉，如果PPid为1，那么只能重启来解决僵尸进程。使用：sudo sysdig -c topprocs_cpu。找到进程的pid，就能继续深挖路径，解决问题。

进程Kill杀死后GPU显存没有释放仍然被占用(僵尸进程)

qq_37591986的博客

06-09

1万+

一行指令杀死占用显存的僵尸进程

PYTHON 多进程

朝着梦想渐行前进

11-21

2793

PYTHON 多进程

[服务器运维] gpu幽灵进程处理

weixin_51552032的博客

08-18

333

这种情况通常是由于所谓的"僵尸进程"引起的。僵尸进程是指那些已经完成任务但没有正确关闭的进程，它们可能因为各种原因未能释放占用的GPU资源。这会导致资源浪费，并且阻碍其他任务的执行。但是有时候这些PID是主进程，已经kill不了了。然后就把这个nvidia下面的进程kill掉就行。有些服务器可能需要sudo权限才能使用。查看当前占用GPU资源的进程。

ubuntu】GPU进程kill后，显存未释放（杀死僵尸进程）

开飞机的小毛驴儿

12-11

448

然后通过以下命令逐一kill僵尸进程。sudo kill -9 进程。通过以下命令查看僵尸进程。一定要进入管理员模式！

Linux——杀死“僵尸”进程及解决无进程但显存占用问题

WangJialin

05-12

2579

Linux进程PID变为短横线以及解决无进程但显存占用问题

CentOS上slurm集群修复节点的nvidia驱动，解决僵尸进程并重启节点

weixin_58468427的博客

11-21

593

slurm集群的10，13， 14节点的nvidia-driver失效。

操作系统——Linux进程概念、控制及相关知识的理解

wjyyywarm的博客

01-27

818

在学习Linux的过程中，进程这一概念，理解起来是有一定难度的，知识点也比较多，但这一部分知识点又相当重要。因此专门写一篇文章，整理一下Linux进程的知识，分享的同时，也方便后面复习。

Linux|kill killall 杀不掉的进程

njuptalex的博客

01-04

2768

问题：有进程占用显存，但是通过kill -9 PID杀不掉，进程Running态应该是等不到数据导致阻塞。 ➜ ~ alias pg pg='ps aux | grep $1' ➜ ~ pg 22109 chenkan+ 10350 0.0 0.0 112680 992 pts/24 S+ 21:33 0:00 grep --color=auto --exclude-dir=.bzr --exclude-dir=CVS --exclude-dir=.git --exclude-d

线程的基本概念及常见问题

lyc201219的博客

03-02

200

提到线程，就不得不提到进程。一个进程代表计算机中实际运行的一个程序

解除 GPU 进程(减少显卡占用)

热门推荐

ture_dream的博客

10-04

2万+

first of all: input : nvidia-smi hen you can see: t 杀死进程命令：kill -9 PID the PID should be number in the chart ,such as 5882 最后重新运行试验，就可以开始跑了

【环境问题】清除僵尸进程 | 深度学习任务中止但是GPU仍在占用

qq_46056318的博客

09-19

602

把所有PID杀掉即可。如果还有其他进程再跑，还要确定一下有用进程的PID。我一般遇到这种是本地网络意外中断了，程序不见了，但是GPU仍在占用。

Linux系统kill僵尸程序

weixin_52581013的博客

04-22

292

服务器发现了几个僵尸进程，gpu显存占了很多，但是利用率为0.只能看到一般的路径，看不到全部的，可以运行以下命令。kill -9 强制kill。这样就能看到全部的名字啦。然后kill掉就可以啦。

删除找不到PID的僵尸进程

qq_28399883的博客

11-07

779

删除找不到PID的僵尸进程

【ubuntu】GPU进程kill后，显存未释放（杀死僵尸进程）

luckynote

10-08

7860

通过以下命令查看僵尸进程 sudo fuser -v /dev/nvidia* 然后通过以下命令逐一kill僵尸进程 sudo kill -9 进程

linux查看gpu使用进程

08-26

要在Linux上查看GPU使用进程，可以使用以下命令： 1. 使用命令`cat /proc/pvr/status |grep GPU`或者`cat /proc/pvr/status`来查看GPU的占用情况。 2. 使用命令`fuser -v /dev/nvidia*`来查看正在使用显卡的进程，其中`/dev/nvidia*`表示显卡设备的路径。这可以帮助你确定哪个进程在使用GPU。 3. 使用命令`ps -A |grep 进程名`来查看某个进程的进程号，其中`进程名`是你想查询的进程名称。例如，要查找进程名为autodd的进程号，可以使用`ps -A | grep autodd`命令。通过以上命令，你可以轻松地查看Linux系统中正在使用GPU的进程。123 #### 引用[.reference_title] - *1* *3* [Linux下查看某一进程GPU、CPU、内存等占用情况](https://blog.youkuaiyun.com/duanerduan/article/details/126371407)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [Linux查看GPU信息和使用情况](https://blog.youkuaiyun.com/u013035197/article/details/130338607)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]