[解决方案]如何一次性关闭所有GPU/CUDA进程

最新推荐文章于 2025-05-26 20:38:35 发布
最新推荐文章于 2025-05-26 20:38:35 发布
阅读量2.9k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 杂记 文章标签： Pytorch distributed GPU
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ftimes/article/details/121146992
本文介绍了一种在模型并行化工程中批量关闭异常退出后导致GPU挂起的进程的方法，避免了逐个使用kill-9命令的繁琐操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在最近的模型并行化工程当中,异常退出之后会出现GPU进程挂起无法关闭的情况.
报错RuntimeError: Address already in use
网上的主流的方案是kill -9 PID等命令.
可我有16个进程,这样一个个杀有些繁琐.
查阅资料之后,在这里提供另外一种方法:

$ kill $(ps aux | grep YOUR_TRAINING_SCRIPT.py | grep -v grep | awk '{print $2}')

上述方法来来自于

https://leimao.github.io/blog

【原理分析】GPU的性能瓶颈与解决方案
AI天才研究院
07-17 3580
近年来，随着移动互联网、智能手环、手游的发展，物联网终端设备的普及率逐渐提升，对视频处理、图像识别等计算密集型任务的需求也越来越强烈。在这种情况下，高速并行计算能力（Graphics Processing Unit）显得尤其重要。为了加快处理速度，科技公司都选择部署基于图形处理器（Graphics Processing Unit，GPU）的系统，而设计更快、更省电的算法也是提升处理效率的一个关键因素。
嵌入式GPU编程：基于CUDA的实时图像处理应用开发
qq_40552871的博客
04-14 936
CUDA（Compute Unified Device Architecture）是NVIDIA推出的一种并行计算平台和编程模型，它允许开发者使用C/C++等语言编写程序，充分利用GPU的强大计算能力。技术简介：CUDA的核心思想是将复杂的计算任务分解为多个并行的线程，这些线程可以在GPU的多个核心上同时执行，从而大大提高计算效率。
pytorch卸载cuda+cudnn并重新配置GPU环境，亲测有效
热门推荐
qq_52048052的博客
03-17 1万+
GPU版本的pytorch环境配置，亲测有效，吐血整理，带图详细，搞清对应版本关系
如何切断gpu进程
ArowerYoung的博客
02-13 2762
切断gpu进程，jupyter notebook中会显示kernel切断，以此重新开始。
CUDA没有任何进程，显示占用4GB，一招搞定
最新发布
qq_48773208的博客
05-26 123
今天预计了一个奇怪的时候，CUDA没有任何进程，但是现存就占用了4G，重启也不行，nvidia-smi根本不显示PID号码。输入以下代码，显示跟显卡有关的所有进程，sudo kill -9 所有进程，搞定了。
【Linux】查看GPU状态和关闭指定的GPU进程
weixin_44378835的博客
07-24 4268
。
【个人笔记】如何终止GPU里面的运行的程序
flysky_jay的博客
08-28 1万+
1.首先查看GPU中正在运行的程序： 记录PID号 2.执行kill -9 40705(PID)就可以杀死进程了。
windows下杀死GPU进程
python_plus的博客
12-25 2407
1.windows+R 到cmd窗口，输入nvidia-smi,出如下窗口 2.输入指令： taskkill /PID PTD号 /F 例如我上面： taskkill /PID 16676 /F
PyTorch GPU进阶篇：CUDA 12.3兼容性问题与解决方案
[PyTorch GPU进阶篇：CUDA 12.3兼容性问题与解决方案](https://img-blog.csdnimg.cn/10ea4d13fcca44149da0ba532a021ed4.png) # 1. PyTorch GPU加速概述 ## PyTorch GPU加速的必要性 在深度学习领域，模型的训练和...
解决出现CUDA error-out of memory的问题.pdf
11-16
批量大小越大，GPU需要一次性存储的数据越多。 3. **优化器状态**：优化器如SGD（随机梯度下降）在训练过程中会存储梯度信息，这也会占用显存。 4. **缓存和临时数据**：运算过程中可能产生大量临时数据，如果没有...
GPU 硬件与 CUDA 程序开发工具
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
03-03 1280
从十多年前起，GPU 的浮点数运算峰值就比同时期的 CPU 高一个量级；GPU 的内存带宽峰值也比同时期的 CPU 高一个量级。CPU 和 GPU 的显著区别是：一个典型的 CPU 拥有少数几个快速的计算核心，而一个典型的 GPU 拥有几百到几千个不那么快速的计算核心。CPU 中有更多的晶体管用于数据缓存和流程控制，但 GPU 中有更多的晶体管用于算术逻辑单元。所以，GPU 是靠众多的计算核心来获得相对较高的计算性能的。图 1.1 形象地说明了（非集成） GPU 和 CPU 在硬件架构上的显著区别。
释放cuda显存及进程
redfish95的博客
02-22 3390
如何释放cuda显存及进程
杀死GPU进程的方法
untilyouydc
10-21 1万+
最近GPU上某些进程杀不死，查了一下说是因为父进程虽然kill了，但是子进程的内存还没有释放。因此要重新杀死父进程，我们通过 ps -ef|grep 进程ID ，来查找其父进程。然后再使用 kill -9 父进程ID 来杀死。 ...
gpu如何kill掉
weixin_44885180的博客
05-26 1309
ps aux|grep 关键字 ps aux :查询占用gpu的进程 kill -s 9 pid (pid是进程编号)
ubuntu 杀掉gpu 进程
cynyjy的博客
01-27 1900
Ubuntu 杀掉gpu 进程 1、查看进程id nvidia-smi 或者 watch -n1 gpustat -cpu 如果没有安装gpustat ,使用pip 安装即可 pip install gpustat 查看进程id 2、杀掉进程 sudo su # 输入密码申请权限 kill -9 id # 本例id为47791 ...
ubuntu cuda 关闭和打开看门狗的方法
YNNAD1997的博客
12-02 1228
cuda运行错误：the launch timed out and was terminated in_Liber-coder的博客-优快云博客运行cuda程序时，提示`the launch timed out and was terminated in`原因：核函数运行时间太长，导致看门狗定时器超时。https://blog.youkuaiyun.com/a435262767/article/details/105123416我跑深度学习的时候会出现run time error 因此我想关闭看门狗，但是我服务器在/
杀死gpu进程的方法
weixin_44602056的博客
03-22 1598
利用nvidia-smi查看gpu的pid号，在最下面 nvidia-smi sudo kill -s 9 xxxxx eg: sudo kill -s 9 69930 利用nvidia-smi查看进程是否还在，发现 No running processes found 进程被杀死。
Linux命令 /解决CUDA占用的问题
qq_45770988的博客
11-14 927
2.kill pid (把 pid换成相应的进程对应的数字）1.nvidia-smi 查看哪些进程在占用cuda。ps-u 显示指定用户的进程信息。
【一篇搞定配置】小白如何安装/配置/删除CUDA（详细图文）
十二月的猫
01-21 2923
GPU（图形处理单元）、CUDA、CUDAToolkit和PyTorch之间存在密切的关系，特别是在深度学习和科学计算的领域。本文到这里就结束啦~~
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at ../c10/cuda/
03-26
<think>好的，我现在需要解决用户提到的CUDA初始化错误802的问题。首先，用户描述的错误信息是“Error 802: system not yet initialized”，出现在CUDA 11.3的环境中。我需要根据提供的引用资料和我的知识来分析可能的原因和解决方案。 首先，查看用户提供的引用内容。引用[1]和[2]提到了CUDA初始化错误，可能是在多进程或多线程环境中出现的。引用[3]指出在Python中使用多线程时，如果在子进程中操作CUDA可能会出问题，解决方法是设置multiprocessing的启动方法为'spawn'。引用[4]则提到检查GPU是否正确安装和是否可用。 接下来，我需要整理可能导致CUDA Error 802的原因： 1. **多进程/多线程问题**：特别是在Python中使用多进程时，子进程可能无法正确继承CUDA上下文。如引用[3]所述，设置正确的启动方法可能有效。 2. **驱动或CUDA工具包未正确安装**：如果驱动版本与CUDA不兼容，或者安装过程中出现问题，可能导致初始化失败。 3. **硬件问题**：GPU未正确连接或未被系统识别，或者电源问题导致GPU无法正常工作。 4. **环境配置错误**：如环境变量设置不正确，或者多个CUDA版本冲突。 5. **代码中的错误**：例如在初始化CUDA之前尝试执行CUDA操作，或者在多个线程中重复初始化。 然后，我需要针对这些可能的原因，逐一给出解决步骤： 1. **检查多进程设置**：用户可能在使用多进程时未正确设置启动方法，导致子进程无法访问CUDA。如引用[3]建议，在主程序中使用`mp.set_start_method('spawn')`。 2. **验证CUDA和驱动安装**：运行`nvidia-smi`查看驱动是否正常，检查CUDA版本是否与驱动兼容。使用`nvcc --version`确认CUDA工具包是否正确安装。 3. **确认GPU状态**：使用`nvidia-smi`查看GPU是否被识别，状态是否正常。如果GPU未被识别，可能需要重新安装驱动或检查硬件连接。 4. **环境变量检查**：确保没有冲突的环境变量，如`CUDA_VISIBLE_DEVICES`是否正确设置，或者是否存在多个CUDA路径导致冲突。 5. **代码审查**：检查代码中是否存在在子进程中初始化CUDA的情况，或者重复初始化的操作。确保CUDA操作在主进程中正确初始化后再进行。 另外，引用[2]提到了NVIDIA论坛上的相关讨论，可能需要参考官方文档或论坛中的解决方案，比如更新驱动或CUDA版本，或者应用特定的补丁。 最后，用户可能需要尝试具体的步骤，比如设置多进程启动方法、重新安装驱动/CUDA、检查硬件状态等。同时，建议用户提供更多上下文信息，如代码结构、环境配置，以便更精准地诊断问题。</think>### CUDA初始化错误802的解决方案 #### 1. 多进程/线程设置问题 **问题原因**：在Python中使用`multiprocessing`或`fork`创建子进程时，子进程可能无法继承父进程的CUDA上下文，导致初始化失败。 **解决方案**： - 在代码主程序入口添加以下设置，强制使用`spawn`方法创建子进程： ```python import multiprocessing as mp if __name__ == "__main__": mp.set_start_method("spawn") # 必须在主程序设置一次[^3] ``` - 避免在子进程中直接调用CUDA操作，或在子进程内重新初始化CUDA环境。 --- #### 2. 验证CUDA和驱动安装 **步骤**： 1. **检查驱动状态**： ```bash nvidia-smi # 确认驱动正常加载且GPU可见 ``` 若输出包含GPU信息（如显存占用、温度等），则驱动正常；若报错，需重新安装驱动。 2. **验证CUDA工具包**： ```bash nvcc --version # 查看CUDA编译器版本 cat /usr/local/cuda/version.txt # 查看CUDA运行时版本 ``` 确保CUDA版本与NVIDIA驱动兼容（参考[NVIDIA官方文档](https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html)）。 3. **修复安装**： - 卸载旧版本驱动和CUDA： ```bash sudo apt-get purge nvidia* cuda* ``` - 从[NVIDIA官网](https://www.nvidia.com/Download/index.aspx)下载最新驱动，按文档安装。 - 通过官方仓库安装CUDA工具包： ```bash wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /" sudo apt-get update sudo apt-get install cuda ``` --- #### 3. 检查GPU硬件状态 - **物理连接**：确保GPU正确插入主板PCIe插槽，电源线连接稳定。 - **系统识别**： ```bash lspci | grep -i nvidia # 查看PCI设备列表是否包含NVIDIA GPU ``` 若无输出，可能硬件未连接或主板BIOS设置问题（如禁用PCIe通道）。 --- #### 4. 环境变量配置 - **避免路径冲突**： 确保`PATH`和`LD_LIBRARY_PATH`正确指向当前使用的CUDA版本： ```bash export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH ``` - **指定可用GPU**： 若存在多块GPU，设置`CUDA_VISIBLE_DEVICES`： ```python import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" # 仅使用第一块GPU ``` --- #### 5. 代码调试建议 - **延迟初始化**：在首次调用CUDA操作前添加显式初始化： ```python import torch torch.cuda.init() # PyTorch的显式初始化 ``` - **简化复现**：编写最小化测试代码，排除第三方库干扰： ```python import torch print(torch.cuda.is_available()) # 应输出True tensor = torch.tensor([1.0]).cuda() print(tensor) # 应显示GPU设备信息 ``` --- ### 相关问题 1. **如何检查CUDA与PyTorch版本的兼容性？** 2. **多GPU训练时如何避免CUDA初始化冲突？** 3. **Docker容器中CUDA初始化失败的可能原因？** [^1]: RuntimeError: CUDA error: initialization error Cannot re-initialize CUDA in forked subprocess on network.to(device) operation [^2]: 参考：Error 802: system not yet initialized CUDA 11.3 - NVIDIA Developer Forums : 在main的主程序代码加一行代码`mp.set_start_method('spawn')` [^4]: CUDA_ERROR_NOT_INITIALIZED: initialization error 之你的GPU是活的吗？？
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值