释放cuda显存及进程

最新推荐文章于 2025-05-24 20:37:41 发布

转载最新推荐文章于 2025-05-24 20:37:41 发布 · 3.3k 阅读

6 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/lgh0824/article/details/127126483

文章标签：

#linux #运维 #服务器

linux 专栏收录该内容

5 篇文章

订阅专栏

1. 查看当前cuda所有进程

方法1：使用nvidia-smi，查看当前在工作的所有进程PID

方法2：使用fuser -v /dev/nvidia*，查看当前在工作的所有进程，及占用显存的进程PID

使用方法2，能够查看nvidia-smi中占据显存，但是不工作，并且看不到的进程PID

2. 杀死进程

方法1：逐个关闭方法，即使用kill -9 PID，将占用cuda的进程逐一杀死；

方法2：关闭所有占据cuda显存的进程，fuser -k /dev/nvidia*

使用方法2，能够一行命令，释放所有占据显存的进程，比较方便。

参考文献

【cuda】释放cuda显存及进程

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

redfish95

关注关注

3
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Pytorch训练模型时如何释放GPU显存 torch.cuda.empty_cache()内存释放以及cuda的显存机制探索

捡起一束光的博客

04-15

9万+

前言训练模型时，一般我们会把模型model，数据data和标签label放到GPU显存中进行加速。但有的时候GPU Memory会增加，有的时候会保持不变，以及我们要怎么清理掉一些用完的变量呢？下面让我们一起来探究下原理吧！ pytorch训练只要你把任何东西（无论是多小的tensor）放到GPU显存中，那么你至少会栈1000MiB左右的显存（根据cuda版本，会略有不同）。这部分显存是cuda running时固有配件必须要占掉的显存，你先训练过程汇总也是无法释放的。 import torch

解决使用torch.cuda.empty_cache()仍然GPU显存无法释放的问题

人工智能

03-13

1976

使用pytorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行.在开发的过程中，程序已经关闭，但是GPU显存无法释放，在使用pytorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？

参与评论您还未登录，请先登录后发表或查看评论

『GPU爆显存』Windows下杀死GPU进程释放显存

猫天意的博客

08-03

812

解决 Windows下GPU爆显存问题

查看GPU, cuda,显卡被哪个进程占用

热门推荐

bagba的知识分享库

01-25

5万+

linux查看GPU被哪个进程占用：一个命令搞定。

CUDA：out of memory的解决方法（实测有效）

大摆王的博客

05-08

9893

CUDA out of memory问题通常发生在深度学习训练过程中，当GPU的显存不足以容纳模型、输入数据以及中间计算结果时就会触发。：深度学习模型尤其是大型模型，如Transformer或大型CNN，拥有大量的参数，这些参数在训练时需要被加载到GPU显存中。同时，如果批量大小（batch size）设置得过大，一次性处理的数据量也会增加，进一步加大显存的负担。

释放显存

weixin_43077628的博客

05-19

2545

在用pytorch训练完模型后，需要将显存手动释放掉使用nvidia-smi查看占用显存的进程 kill -9 PID(进程号)来结束进程，即可释放显存

释放 GPU 显存

weixin_39986534的博客

06-21

1834

在训练深度网络的时候我们常常使用GPU进行加速可是由于种种原因会导致我们的程序不运行了之后把显存占用。解决方式： 1、查看这个进程的GPU情况 pmap -d PID 2、通过制定用户查看进程信息 ps -u <你的id> 如果使用命令nvidia-smi不显示占用GPU显存的进程，可以使用以下命令查看： fuser -v /dev/nvidia0 3、删除掉进程 kill id Refer: https://blog.youkuaiyun.com/LCCFlccf/article/detail

显存释放

u012953338的专栏

04-24

1459

容器中明明没有程序在跑，可gpu的显存状态是被占用这么多。解决办法： fuser -v /dev/nvidia* 查看哪些进程在占用。然后进kill命令，杀死对应的进程就行了。其中如果 fuser命令不可用，则 apt-get install psmisc 如果安装不了，则： apt-get update 然后再安装就行。 ...

pytorch在kill主进程后无法释放显存的问题

georgeandgeorge的博客

05-16

4585

同事写的pytorch程序最近有点奇怪，程序运行结束/强制杀死后，占用的显存没能正常释放。这是怎么一回事呢？在pytorch论坛搜到以下的信息：https://discuss.pytorch.org/t/pytorch-doesnt-free-gpus-memory-of-it-gets-aborted-due-to-out-of-memory-error/13775/13 就是说：多进程模式下的pytorch程序有个别版本会有这个bug：已经kill了主进程，可是子进程却没有kill掉，成了僵尸

报错torch.OutOfMemoryError: CUDA out of memory...CUDA 内存溢出如何解决？

最新发布

**My Coding Family**

05-24

886

🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！备注：部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。

GPU释放显存

flyingluohaipeng的博客

09-12

9928

查看gpu使用情况，已经如何释放内存

释放GPU显存

qq_47220888的博客

03-11

799

这个命令会杀死所有的进程。（即使把*改为对应卡号，也不会只杀死对应卡下的进程）将*换为对应的卡号，可以显示对应卡下正在运行的进程。

GPU 显存释放

05-15

443

【代码】GPU 显存释放。

[解决方案]如何一次性关闭所有GPU/CUDA进程

江南蜡笔小新

11-04

2940

在最近的模型并行化工程当中,异常退出之后会出现GPU进程挂起无法关闭的情况. 报错RuntimeError: Address already in use 网上的主流的方案是kill -9 PID等命令. 可我有16个进程,这样一个个杀有些繁琐. 查阅资料之后,在这里提供另外一种方法: $ kill $(ps aux | grep YOUR_TRAINING_SCRIPT.py | grep -v grep | awk '{print $2}') 上述方法来来自于 https://leimao.gith

清除占用显存的程序，释放显存——命令

南瓜派三蔬

04-25

3492

sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh

【cuda】释放cuda显存及进程

luckynote

10-08

1万+

方法2：使用fuser -v /dev/nvidia*，查看当前在工作的所有进程，及占用显存的进程PID。使用方法2，能够查看nvidia-smi中占据显存，但是不工作，并且看不到的进程PID。方法1：逐个关闭方法，即使用kill -9 PID，将占用cuda的进程逐一杀死；方法2：关闭所有占据cuda显存的进程，fuser -k /dev/nvidia*方法1：使用nvidia-smi，查看当前在工作的所有进程PID。使用方法2，能够一行命令，释放所有占据显存的进程，比较方便。

神经网络释放GPU显存两种方式（固定or动态）

weixin_35698059的博客

08-30

366

固定的批次数后释放显存固定的批次数后释放显存，比如每训练 100 批次释放一次显存，可以通过在训练循环中添加一个计数器来实现。以下是如何实现这种策略的示例代码：登录后复制 import torch def train(): start_epoch = 0 end_epoch = 100 re...

Linux释放cuda控件

03-27

### 如何在 Linux 系统中正确释放 CUDA 资源在 Linux 下管理 CUDA 资源涉及多个方面，包括显存分配、流控制以及设备上下文管理。以下是关于如何正确释放 CUDA 资源的关键点： #### 显存管理 CUDA 使用 `cudaFree` 函数来释放之前通过 `cudaMalloc` 或其他内存分配函数申请的 GPU 显存[^3]。任何未被正确释放的显存可能会导致程序崩溃或者后续运行失败。 ```cpp // 假设 d_data 是一块已经分配好的GPU内存指针 if (d_data != nullptr){ cudaError_t err = cudaFree(d_data); if(err != cudaSuccess){ fprintf(stderr, "Failed to free device memory: %s\n", cudaGetErrorString(err)); } } ``` 上述代码展示了标准做法，在调用 `cudaFree` 后应检查返回状态以确认操作成功与否。 #### 流销毁当使用 CUDA Streams 来实现并行计算时，创建的 stream 需要在不再需要的时候销毁。这可以通过调用 `cudaStreamDestroy` 实现[^4]。 ```cpp cudaError_t err; err = cudaStreamDestroy(stream); if (err != cudaSuccess){ printf("cudaStreamDestroy failed with error code %d: %s\n", err, cudaGetErrorString(err)); } ``` 此部分强调了清理自定义 streams 的重要性，防止潜在泄漏问题发生。 #### 设备重置对于某些复杂的应用场景可能还需要考虑整个设备环境的重置工作，可以利用 `cudaDeviceReset()` 完成这一目标[^5]。注意该命令会终止当前进程中的所有活动任务并将硬件恢复到初始态，因此通常只应在应用程序结束前执行一次。 ```cpp cudaError_t resetErr = cudaDeviceReset(); if(resetErr != cudaSuccess){ printf("cudaDeviceReset returned error code %d, line(%d): %s\n",resetErr,__LINE__, cudaGetErrorString(resetErr)); } ``` 以上介绍了几种主要方法用于确保Linux平台上的CUDA资源能够得到妥善处理。值得注意的是这些实践不仅适用于单独开发阶段也广泛应用于持续集成环境中比如提到过的MSVC设置情况同样适用类似的原理即保证构建过程中所依赖的各项组件均处于良好配置之下从而保障最终产物的质量稳定可靠[^1]。