GPU的程序kill后未释放内存

最新推荐文章于 2025-06-07 19:09:18 发布
最新推荐文章于 2025-06-07 19:09:18 发布
阅读量367 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： 运维 shell
原文链接：https://my.oschina.net/u/2286010/blog/3050670
博客介绍了GPU程序管理及僵尸进程处理方法。先关闭ssh或shell窗口重新登录，接着用fuser -v /dev/nvidia*查看运行在gpu上的所有程序，最后kill掉连号的僵尸进程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.先关闭ssh（或者shell）窗口，退出重新登录

2.查看运行在gpu上的所有程序：

fuser -v /dev/nvidia*

3.kill掉所有（连号的）僵尸进程

转载于:https://my.oschina.net/u/2286010/blog/3050670

chenkui5098
关注
【Linux】程序已经运行完了，但是占着GPU，没有释放内存怎么办——kill -9 PID
weixin_44502754的博客
05-21 1362
【Linux】程序已经运行完了，但是占着GPU，没有释放内存怎么办——kill -9 PID
pytorch笔记：清理GPU内存
qq_40206371的博客
06-19 2540
用top/htop找到相应程序的PID,再使用 kill 结束该进程。可以清理任何先前运行的程序可能遗留的未释放内存。
方法-进程已经杀死但是显存还未释放怎么办(ubuntu)
zwhdldz的博客
11-30 1378
训练程序ctrl+c后,依然显示显存占用。##查看后台的训练进程。
解除 GPU 进程(减少显卡占用)
热门推荐
ture_dream的博客
10-04 2万+
first of all: input  : nvidia-smi hen you can see: t 杀死进程命令：kill -9 PID the PID should be number in the chart ,such as 5882 最后重新运行试验，就可以开始跑了
服务器遇到僵尸进程导致的显存占用问题
最新发布
weixin_49176452的博客
06-07 292
从Processes中可以发现并没有运行中的进程，但显存占用了16518MiB。僵尸进程是已终止但仍占用资源的进程。方法 2：强制终止相关进程。方法 1：通过父进程清理。
nvidia-smi GPU的程序kill后未释放显存
乱七八糟的笔记
06-03 5617
tensorflow数据并行，中途中断了，毕竟头一次自己的程序并行跑，很有可能就出错。结果某次出错，GPU并未释放内存; 1 fuser -v /dev/nvidia* 然后需要逐个杀死，注意使用管理员身份 杀死之后，世界清净了： ...
【ubuntu】GPU进程kill后，显存未释放（杀死僵尸进程）
luckynote
10-08 7968
通过以下命令查看僵尸进程 sudo fuser -v /dev/nvidia* 然后通过以下命令逐一kill僵尸进程 sudo kill -9 进程
服务器kill掉的进程为什么还占内存
薰珞婷紫小亭子的博客
11-17 2024
服务器kill掉的进程为什么还占内存
Jumpserver celery 僵尸进程导致内存不释放的问题
大雪冬至的博客
10-25 1287
Jumpserver celery 僵尸进程导致内存不释放的问题 现象： Jumpserver 启动一段时间后，会出现僵尸进程，观察后发现是 celery 的某些进程。 [root@web00-and-backend00 ~]# ps -A -ostat,ppid,pid,cmd |grep -e '^[Zz]' Z 27985 8114 [celery] <defunct> Z 27984 8908 [celery] <defunct> Z 27986
解决pytorch GPU 计算过程中出现内存耗尽的问题
09-18
在循环中，如果我们将这样的变量作为累加器，如上述例子中的`total_loss += loss`，就会导致GPU内存持续增长，因为`loss`变量在每次迭代后都会保留其梯度信息。为解决这个问题，我们可以将累加操作改为`total_loss +...
java检查gpu占用_解决GPU显存未释放问题
weixin_33668386的博客
02-24 909
前言今早我想用多块GPU测试模型，于是就用了PyTorch里的torch.nn.parallel.DistributedDataParallel来支持用多块GPU的同时使用(下面简称其为Dist)。程序运行时，由于程序中其他部分的代码(与Dist无关的代码)出现了错误，导致程序退出。这次使用Dist时没有考虑和处理这种程序崩溃的情况，因此在程序退出前没有用Dist关闭生成的所有进程，最终导致本次进...
pytorch在kill主进程后无法释放显存的问题
georgeandgeorge的博客
05-16 4583
同事写的pytorch程序最近有点奇怪，程序运行结束/强制杀死后，占用的显存没能正常释放。这是怎么一回事呢？ 在pytorch论坛搜到以下的信息：https://discuss.pytorch.org/t/pytorch-doesnt-free-gpus-memory-of-it-gets-aborted-due-to-out-of-memory-error/13775/13 就是说：多进程模式下的pytorch程序有个别版本会有这个bug：已经kill了主进程，可是子进程却没有kill掉，成了僵尸
ubuntu 杀掉gpu 进程
cynyjy的博客
01-27 1902
Ubuntu 杀掉gpu 进程 1、查看进程id nvidia-smi 或者 watch -n1 gpustat -cpu 如果没有安装gpustat ,使用pip 安装即可 pip install gpustat 查看进程id 2、杀掉进程 sudo su # 输入密码申请权限 kill -9 id # 本例id为47791 ...
Ubuntu kill空占GPU显存的进程
darknight
08-16 4279
有的时候，明明自己没有跑任何程序，但是GPU显存的一部分却显示被占用，经过下列三步可以kill空占GPU显存的进程。 1.首先安装fuser sudo apt-get install psmisc 2.查看占用GPU显存的进程 在使用nvidia-smi或者gpustat指令都找不到占用显存进程的情况下，使用下述指令查询 fuser -v /dev/nvidia* 3.kill空占显存的进程 ...
ubuntu】GPU进程kill后，显存未释放（杀死僵尸进程）
开飞机的小毛驴儿
12-11 534
然后通过以下命令逐一kill僵尸进程。sudo kill -9 进程。通过以下命令查看僵尸进程。一定要进入管理员模式！
程序kill后仍占用GPU，kill指令没用
lkaros_的博客
08-24 441
【代码】程序kill后仍占用GPU。
一键kill多进程cuda程序
Wanzi_biulala的博客
11-30 592
深度学习代码中，经常使用多个gpu进行训练，有时需要高效地一次性kill掉部署在多gpu上的进程。
linux释放GPU
03-26
### 如何在 Linux 系统中释放 GPU 资源 当程序运行结束后未正常释放 GPU 资源时，可以采取以下措施来手动释放这些资源。 #### 查看当前 GPU 使用情况 通过 `nvidia-smi` 命令查看当前 GPU 的使用状态以及占用它的进程 ID (PID)[^1]。 ```bash nvidia-smi ``` 如果能够找到具体的 PID，则可以直接杀死该进程以释放 GPU 显存。 #### 杀死特定进程 对于已知的 PID，可以通过发送信号强制终止对应进程： ```bash kill -9 <PID> ``` 此命令会立即停止指定的进程并尝试释放其持有的 GPU 资源。 #### 处理无可见 PID 的显存占用 有时即使 GPU 存在显存占用，但在 `nvidia-smi` 中却看不到任何关联的进程。此时可采用如下方式解决： ##### 方法一：利用 `fuser` 工具扫描设备文件 执行以下命令查找正在使用的 NVIDIA 设备及其对应的进程号，并结束它们： ```bash sudo fuser -v /dev/nvidia* ``` 上述指令不仅显示哪些进程正访问 `/dev/nvidia*` 文件，还会提供更多信息以便确认目标进程身份。随后可根据反馈结果逐一清除干扰项： ```bash sudo kill -9 $(sudo fuser -k /dev/nvidia*) ``` 这种方法适用于那些隐藏于常规工具检测之外但仍实际持有硬件控制权的情况[^2]。 ##### 方法二：重启 X Server 或整个系统服务 作为最后手段之一，在不影响整体服务器稳定性的前提下考虑重新启动图形界面或者计算机本身的服务链路也可能有效果；不过这通常只应在其他所有选项均失败之后才实施。 #### 自动化管理 Tensorflow/GPU 配置 为了避免未来再次遇到类似问题，建议调整 TensorFlow 应用中的参数设置使其更加合理高效地分配和回收计算资源。例如启用动态增长功能减少不必要的锁定行为： ```python import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: try: # 设置GPU按需增长 for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) except RuntimeError as e: print(e) ``` 这样做的好处在于可以让框架内部更灵活处理物理内存请求从而降低外部干预需求频率[^3]。 另外值得注意的是某些特殊场景可能还需要额外配置环境变量比如 CUDA_VISIBLE_DEVICES 控制可用范围进一步优化多卡协作模式下的表现效果[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值