GPU的程序kill后未释放内存

最新推荐文章于 2024-08-03 17:47:56 发布
最新推荐文章于 2024-08-03 17:47:56 发布
阅读量1.2k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Tensorflow/Pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Hansry/article/details/83056729
本文揭示了PyTorch中使用DataLoader进行数据读取时的假多线程现象，实际上是通过多个子进程来模拟多线程工作。文章详细解释了在程序结束后，子进程占用的GPU显存不会自动释放的问题，并提供了手动清理僵尸进程的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用PyTorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下：

1.先关闭ssh（或者shell）窗口，退出重新登录

2.查看运行在gpu上的所有程序：

fuser -v /dev/nvidia*

3.kill掉所有（连号的）僵尸进程

解决使用torch.cuda.empty_cache()仍然GPU显存无法释放的问题
人工智能
03-13 1991
使用pytorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行.在开发的过程中，程序已经关闭，但是GPU显存无法释放，在使用pytorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？
【Linux】程序已经运行完了，但是占着GPU，没有释放内存怎么办——kill -9 PID
weixin_44502754的博客
05-21 1390
【Linux】程序已经运行完了，但是占着GPU，没有释放内存怎么办——kill -9 PID
pytorch在kill主进程后无法释放显存的问题
georgeandgeorge的博客
05-16 4589
同事写的pytorch程序最近有点奇怪，程序运行结束/强制杀死后，占用的显存没能正常释放。这是怎么一回事呢？ 在pytorch论坛搜到以下的信息：https://discuss.pytorch.org/t/pytorch-doesnt-free-gpus-memory-of-it-gets-aborted-due-to-out-of-memory-error/13775/13 就是说：多进程模式下的pytorch程序有个别版本会有这个bug：已经kill了主进程，可是子进程却没有kill掉，成了僵尸
关于使用PyTorch设置多线程（threads）进行数据读取而导致GPU显存始终不释放的问题
jinxin521125的博客
10-14 9987
使用PyTorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下： 1.先关闭ssh（或者shell）窗口，退出重新登录 2.查看运行在gpu上的所有程序： fuser -v /
【pytorch深度学习结束后，代码已经停止运行，GPU显存未释放】
weixin_43737693的博客
11-09 2178
pytorch深度学习结束后，代码已经停止运行，GPU显存未释放
为什么Pytorch多卡训练容易导致GPU显存不释放
hxxjxw的博客
11-02 1209
使用PyTorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行 ...
解决pytorch GPU 计算过程中出现内存耗尽的问题
09-18
在循环中，如果我们将这样的变量作为累加器，如上述例子中的`total_loss += loss`，就会导致GPU内存持续增长，因为`loss`变量在每次迭代后都会保留其梯度信息。为解决这个问题，我们可以将累加操作改为`total_loss +...
java检查gpu占用_解决GPU显存未释放问题
weixin_33668386的博客
02-24 911
前言今早我想用多块GPU测试模型，于是就用了PyTorch里的torch.nn.parallel.DistributedDataParallel来支持用多块GPU的同时使用(下面简称其为Dist)。程序运行时，由于程序中其他部分的代码(与Dist无关的代码)出现了错误，导致程序退出。这次使用Dist时没有考虑和处理这种程序崩溃的情况，因此在程序退出前没有用Dist关闭生成的所有进程，最终导致本次进...
『GPU爆显存』Windows下杀死GPU进程释放显存
猫天意的博客
08-03 823
解决 Windows下GPU爆显存问题
pytorch笔记：清理GPU内存
qq_40206371的博客
06-19 2603
用top/htop找到相应程序的PID,再使用 kill 结束该进程。可以清理任何先前运行的程序可能遗留的未释放内存。
pytorch多进程加速及代码优化方法
09-18
今天小编就为大家分享一篇pytorch多进程加速及代码优化方法。具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决Pytorch训练意外停止显存不释放的问题
xxs8457800的博客
02-14 9595
想要测试搭建的网络最多可以用多大的batch size训练，于是用不同的batch size测试显存的占用大小。用ctrl z结束进程后，发现显存还没有释放。 watch -n 1 nvidia-smi #查看显存占用情况，刷新时间为1秒 GPU的利用率为0，可是显存依然没有释放。 使用ps ax查看进程，发现python main.py依然存在。 可以看到main.py的进程ID为2477...
torch.cuda.empty_cache无法释放显存的原因
DwD-的博客
04-26 5555
torch.cuda.empty()并不能保证100%释放显存，以下是例外情况：
方法-进程已经杀死但是显存还未释放怎么办(ubuntu)
zwhdldz的博客
11-30 1381
训练程序ctrl+c后,依然显示显存占用。##查看后台的训练进程。
Pytorch训练模型时如何释放GPU显存 torch.cuda.empty_cache()内存释放以及cuda的显存机制探索
热门推荐
捡起一束光的博客
04-15 9万+
前言 训练模型时，一般我们会把模型model，数据data和标签label放到GPU显存中进行加速。 但有的时候GPU Memory会增加，有的时候会保持不变，以及我们要怎么清理掉一些用完的变量呢？ 下面让我们一起来探究下原理吧！ pytorch训练 只要你把任何东西（无论是多小的tensor）放到GPU显存中，那么你至少会栈1000MiB左右的显存（根据cuda版本，会略有不同）。这部分显存是cuda running时固有配件必须要占掉的显存，你先训练过程汇总也是无法释放的。 import torch
PyTorch如何支持 GPU 加速计算
xw555666的博客
02-02 2068
PyTorch 通过设计其Tensor数据结构能够灵活地在不同设备上存储和计算，并利用 NVIDIA CUDA 库提供的底层接口来实现 GPU 加速计算，从而显著提升了深度学习算法的训练和推理效率。
Pytorch 多线程 运行卡死
u011058597的博客
09-27 2507
Pytorch多线程运行卡死，在github上面有类似问题https://github.com/pytorch/pytorch/issues/1355 2类问题问题及解决方案如下 1、由opencv引起，解决方案为禁止opencv内部线程，注意放在全局可能不生效，最好放置 __getitem__函数内部 cv2.setNumThreads(0) 2、其实我遇到的情况并非opencv造成，其多线程较少时卡死很少，线程数设置大时卡死要多一些，而且模型小的时候卡死很少，模型大的时候卡死频繁，这问题比
终止进程后，GPU显存仍被占用问题： kill -9彻底杀死进程 | ps aux|grep python | 怎么确认僵尸进程？
weixin_47700137的博客
11-12 5812
问题描述：在Linux终端把进程终止后，发现显存没有被释放出来！
torch显存分析——如何在不关闭进程的情况下释放显存
weixin_44826203的博客
05-18 1万+
torch显存占用分析，以及如何在不关闭进程的情况下，利用代码释放不再占用的显存。
linux释放GPU
最新发布
03-26
### 如何在 Linux 系统中释放 GPU 资源 当程序运行结束后未正常释放 GPU 资源时，可以采取以下措施来手动释放这些资源。 #### 查看当前 GPU 使用情况 通过 `nvidia-smi` 命令查看当前 GPU 的使用状态以及占用它的进程 ID (PID)[^1]。 ```bash nvidia-smi ``` 如果能够找到具体的 PID，则可以直接杀死该进程以释放 GPU 显存。 #### 杀死特定进程 对于已知的 PID，可以通过发送信号强制终止对应进程： ```bash kill -9 <PID> ``` 此命令会立即停止指定的进程并尝试释放其持有的 GPU 资源。 #### 处理无可见 PID 的显存占用 有时即使 GPU 存在显存占用，但在 `nvidia-smi` 中却看不到任何关联的进程。此时可采用如下方式解决： ##### 方法一：利用 `fuser` 工具扫描设备文件 执行以下命令查找正在使用的 NVIDIA 设备及其对应的进程号，并结束它们： ```bash sudo fuser -v /dev/nvidia* ``` 上述指令不仅显示哪些进程正访问 `/dev/nvidia*` 文件，还会提供更多信息以便确认目标进程身份。随后可根据反馈结果逐一清除干扰项： ```bash sudo kill -9 $(sudo fuser -k /dev/nvidia*) ``` 这种方法适用于那些隐藏于常规工具检测之外但仍实际持有硬件控制权的情况[^2]。 ##### 方法二：重启 X Server 或整个系统服务 作为最后手段之一，在不影响整体服务器稳定性的前提下考虑重新启动图形界面或者计算机本身的服务链路也可能有效果；不过这通常只应在其他所有选项均失败之后才实施。 #### 自动化管理 Tensorflow/GPU 配置 为了避免未来再次遇到类似问题，建议调整 TensorFlow 应用中的参数设置使其更加合理高效地分配和回收计算资源。例如启用动态增长功能减少不必要的锁定行为： ```python import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: try: # 设置GPU按需增长 for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) except RuntimeError as e: print(e) ``` 这样做的好处在于可以让框架内部更灵活处理物理内存请求从而降低外部干预需求频率[^3]。 另外值得注意的是某些特殊场景可能还需要额外配置环境变量比如 CUDA_VISIBLE_DEVICES 控制可用范围进一步优化多卡协作模式下的表现效果[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值