基于pytorch框架使用多gpu训练时，如何有效降低显存

最新推荐文章于 2025-06-05 09:01:41 发布
最新推荐文章于 2025-06-05 09:01:41 发布
阅读量2.5k 收藏 11
点赞数 1
CC 4.0 BY-SA版权
分类专栏： pytorch 文章标签： 多gpu训练 优化显存使用 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/do_what_i_like/article/details/90239923

基于pytorch框架使用多gpu训练时，如何有效降低显存

文章目录

1. 问题阐述

​ 我们在基于pytorch框架采用多gpu进行大数据的训练时，由于自己的batch_size设计的偏大或者其他原因，经常会在程序运行过程中遇到RuntimeError，使得程序中断。在RuntimeError中，Out of Memory``错误出现的最多，其次是 CUDNN_STATUS_EXECUTION_FAILED错误。这两种错误发生的原因都是因为显存不够。

2. 解决方案

为了优化显存的使用，在网上查阅的资料和自己亲身实践的基础上，总结出以下几点

2.1 周期性使用torch.cuda.empty_cache()函数

  1. 使用pytorch在进行神经网络训练时，会产生很多临时变量，随着训练的进行，临时变量将会对训练效率产生一点影响，所以定期采用empty_cache()不仅可以及时清除训练过程中的缓存，释放更多的显存空间，而且提高训练效率。
  2. 在model.eval()之前使用empty_cache()，可以及时清理训练阶段的临时数据
  3. 在保存网络模型前使用empty_cache()，可以减少保存的模型大小。

总之，empty_cache()函数是个非常有用的函数，对于优化显存使用有着很大的帮助

2.2 将loss的计算写入网络的forward()函数中

​ 这里要先说明一下pytorch框架所采用的多gpu并行计算的原理。pytoch会先根据你的设定选用第一

最低0.47元/天 解锁文章

200万优质内容无限畅学
PyTorch中的多GPU加速：提高神经网络训练效率的关键策略
AI天才研究院
07-14 2554
作者：禅与计算机程序设计艺术 深度学习的发展和应用极大的促进了计算机视觉、自然语言处理等领域的快速发展。近年来，随着计算能力的不断提升和互联网的飞速发展，许多公司都希望利用深度学习技术解决各种复杂的问题。比如，在工业界，自动驾驶、目标检测等问题都将会受到更加深刻的关注；而在学术界，深度学习已经成为研究热点，例如图像分类、文本生成、机器翻译
Pytorch训练模型时如何释放GPU显存 torch.cuda.empty_cache()内存释放以及cuda的显存机制探索
热门推荐
捡起一束光的博客
04-15 9万+
前言 训练模型时，一般我们会把模型model，数据data和标签label放到GPU显存中进行加速。 但有的时候GPU Memory会增加，有的时候会保持不变，以及我们要怎么清理掉一些用完的变量呢？ 下面让我们一起来探究下原理吧！ pytorch训练 只要你把任何东西（无论是多小的tensor）放到GPU显存中，那么你至少会栈1000MiB左右的显存（根据cuda版本，会略有不同）。这部分显存是cuda running时固有配件必须要占掉的显存，你先训练过程汇总也是无法释放的。 import torch
pytorch 单机多卡--DistributedDataParallel+混合精度--提高速度，减少内存占用
cloudless_sky的博客
08-17 1481
混合精度，并行单机多GPU并行
深度学习：用del删掉不用的tensor真的能降低显存消耗吗
weixin_48915167的博客
01-07 1246
del能降显存占用么？能不能解决显存溢出不能训练的问题？
PyTorch教程：使用DataParallel实现多GPU数据并行训练
gitblog_00080的博客
06-05 420
PyTorch教程：使用DataParallel实现多GPU数据并行训练 前言 在现代深度学习实践中，使用多个GPU进行训练已经成为提升模型训练效率的常规手段。PyTorch提供了nn.DataParallel这一简单而强大的工具，可以帮助开发者轻松实现多GPU数据并行训练。本文将详细介绍如何使用DataParallel来加速模型训练过程。 数据并行基础概念 数据并行(Data Paralleli...
降低模型训练显存消耗的方法
Micheal_Yuans的博客
03-18 2347
降低模型显存消耗方法
PyTorch并行训练指南：单机多卡并行、混合精度、同步BN训练
idol24的博客
06-30 5636
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！作者｜Todd整理 | 极市平台来源｜https://zhuanlan.zhihu.com/...
GPU 显存不足怎么办？
zhuiqiuk的专栏
06-05 2万+
前言 最近跑的模型都比较大，尤其是Bert， 这真的是难为我 1080ti 了， 在Bert的Example中，官方提供了一些 Trick 来帮助我们加速训练，很良心， 但感觉还不够，于是花费一些时间整理出一个 Trick 集合，来帮助我们在显存不足的时候来嘿嘿嘿。 本文分为两大部分，第一部分引入一个主题：如何估计模型所需显存， 第二个主题：GPU显存不足时的各种 Trick 。 监控 GP...
pytorch多GPU训练简明教程
古月居
08-09 1348
首先打乱数据顺序，然后用 11/2 =6（向上取整），然后6乘以GPU个数2 = 12，因为只有11个数据，所以再把第一个数据（索引为6的数据）补到末尾，现在就有12个数据可以均匀分到每块GPU。BatchSampler原理: DistributedSmpler将数据分配到两个GPU上，以第一个GPU为例，分到的数据是6，9，10，1，8，7，假设batch_size=2，就按顺序把数据两两一组，在训练时，每次获取一个batch的数据，就从组织好的一个个batch中取到。每个进程都有一个唯一的 rank。
pytorch如何使用多块gpu
xiamu_CDA的博客
09-24 1299
多GPU训练在深度学习领域几乎已成标配，它不仅能够显著加快模型训练速度，还为研究者提供了更大的模型规模探索空间。而在众多框架中，PyTorch以其简洁、灵活的设计深受开发者喜爱。然而，对于那些初次尝试利用多GPU提升PyTorch项目性能的新手而言，如何高效地整合多GPU资源仍是一个挑战。本文将带您深入了解PyTorch多GPU训练的核心机制，分享最佳实践，并探索一些鲜为人知但颇具潜力的技术路径。
在Pytorch中使用GPU加速模型训练
weixin_44607838的博客
11-16 3560
CPU->GPU 当我们需要训练一个复杂模型的时候，使用CPU来进行训练往往会花费非常多的时间。因此，一般情况下，我们都会选择在GPU (Graphics Process Unit)环境下进行训练，因为其支持高度的并行计算，可以有效地加快数据处理的速度，减少模型训练时间。Pytorch支持CUDA并行计算框架，该框架是由NVIDIA公司推出的基于自家GPU的并行计算框架。 CUDA 环境检验 如果我们希望在Pytorch实现GPU加速，首先我们需要确认GPU环境是否可用，我们可以使用如下命令来che
讲解pytorch 优化GPU显存占用，避免out of memory
牛肉胡辣汤
12-26 5559
"GPU out of memory"是指在使用GPU进行深度学习任务时，由于GPU显存不足，导致无法分配足够的显存空间来存储模型、数据和计算中间结果，从而导致程序运行失败。在深度学习任务中，对于复杂的神经网络和大规模的训练数据，显存占用成为一个常见的问题。当我们的模型和数据超出GPU显存的限制时，就会出现"out of memory"的错误。为了解决这个问题，我们可以采取一些优化策略来降低显存的占用。通过上述这些优化策略，我们可以有效地降低GPU显存的占用，避免"out of memory"错误的发生。
pytorch显存不足时的解决办法
weixin_43914632的博客
10-14 8559
将float32转化为float16，是最有效的降低显存占用的方式，可以降低一半左右的显存占用。 实现方式：首先在代码的最前面加上 torch.set_default_dtype(torch.float16) 这行代码将这个程序内部所有的float变量转化为float32。 此时如果直接运行程序会出现输入为float参数为floathalf的错误报告。 然后将输入改变为floathalf即可 代码如下 inputs = inputs.type(torch.float16) ...
Pytorch：torch.cuda.empty_cache()
weixin_42046845的博客
03-20 4125
torch.cuda.empty_cache() 是PyTorch中用来释放未被分配的缓存的内存的函数。在使用GPU进行计算时，CUDA会在内部维护一个内存缓存池，以便更快地分配和释放。但有时候，这些缓存的内存在不再需要的时候，它们不会被自动返回到操作系统。
算法模型运行后显存不释放解决办法
qq_60695343的博客
05-26 3158
第一种方式：利用开子进程的方式进行模型对图像处理，子进程任务执行结束，达到显存释放的目的。第二种方式：torch.cuda.empty_cache()
Pytorch运行过程中解决出现内存不足的问题
weixin_45913084的博客
03-15 2万+
1. 前提 利用Transformer模型进行O3浓度的反演 2. 问题 2.1 速度慢 一开始模型是在CPU上面跑的，为了加快速度，我改成了在GPU上跑 方法如下： 1、验证pytorch是否存在GPU版本 在Pycharm命令行输入 import torch print(torch.cuda.is_available) # 若输出为True,则存在GPU版本 # 若输出为False,则不存在GPU版本 我的输出为True，说明pytorch是存在GPU版本的 2、将模型从CPU版本转换到GPU版本
pytorch解决cuda显存问题的方法
Corleone26的博客
01-07 1540
pytorch 机器学习 显存分配
PyTorch 深度学习框架中 torch.cuda.empty_cache() 的妙用与注意事项
叶庭云 成为自己的光
02-20 2052
PyTorch 深度学习框架中 torch.cuda.empty_cache() 的妙用与注意事项
torch.cuda.empty_cache()导致RuntimeError: CUDA error: out of memory.
weixin_43700556的博客
04-02 1118
后来才发现，在多卡训练的时候容易出现这个问题，单卡不会，因为torch.cuda.empty_cache()默认是给GPU0释放显存，而此时GPU0跑满了，无显存可以释放，就会导致显存溢出。之前的经验一般是batch_size设置太大了，显存不够，导致训练的时候爆显存，而这次是因为施放显存而爆显存？之前使用torch.cuda.empty_cache()都不会出现问题，当修改了使用的显卡号就出现问题了。在第一轮训练nvidia-smi看显存是够的，但是测试结束后开始第二轮训练就报错了。
windows下机器学习使用GPU训练，tensorflow和pytorch框架分别有哪些要求
最新发布
08-01
<think>我们正在回答用户关于在Windows系统下使用GPU进行机器学习训练时，TensorFlow和PyTorch框架的配置和环境要求的问题。 根据引用内容，我们知道TensorFlow和PyTorch是两大主流框架，并且它们在使用方式、生态等方面存在差异。因此，我们需要分别说明它们的配置要求。 首先，使用GPU进行训练需要满足以下共同条件： 1. 支持CUDA的NVIDIA显卡（因为目前主流的深度学习框架都使用CUDA来利用NVIDIA GPU进行加速） 2. 安装对应版本的NVIDIA显卡驱动 3. 安装CUDA Toolkit（提供GPU计算所需的库和工具） 4. 安装cuDNN（针对深度神经网络的加速库） 然后，TensorFlow和PyTorch各自有对应的CUDA版本要求，我们需要分别说明。 一、TensorFlow在Windows下的GPU支持配置： 根据TensorFlow官方文档，从TensorFlow 2.0开始，官方提供了GPU支持，但需要满足以下条件： - 显卡：支持CUDA的NVIDIA显卡，计算能力需在3.5以上（建议使用较新的显卡，如RTX系列） - 驱动程序：需要安装与CUDA Toolkit兼容的NVIDIA显卡驱动 - CUDA Toolkit：TensorFlow每个版本都有对应的CUDA版本要求，例如： - TensorFlow 2.10及之前：支持CUDA 11.2 - TensorFlow 2.11及以上：不再提供Windows下的GPU支持，官方建议使用TensorFlow-DirectML（用于AMD显卡）或WSL2（Windows Subsystem for Linux）环境。但注意，如果使用NVIDIA显卡，在Windows上运行TensorFlow 2.11及以上版本，官方推荐使用WSL2。 因此，对于Windows用户，如果希望使用原生Windows环境，建议安装TensorFlow 2.10或更早版本。 具体步骤： 1. 安装NVIDIA显卡驱动（建议使用最新驱动，但需与CUDA版本兼容） 2. 安装对应版本的CUDA Toolkit（例如，TensorFlow 2.10要求CUDA 11.2） 3. 安装对应版本的cuDNN（例如，TensorFlow 2.10要求cuDNN 8.1.0） 4. 安装TensorFlow GPU版本（通过pip安装，如`pip install tensorflow==2.10.0`） 注意：TensorFlow 2.10是最后一个支持Windows原生GPU的版本，之后版本需要WSL2。 二、PyTorch在Windows下的GPU支持配置： PyTorch对Windows的GPU支持较好，通常通过pip或conda安装即可。 具体步骤： 1. 安装NVIDIA显卡驱动（同上） 2. 安装CUDA Toolkit：PyTorch同样需要CUDA，但PyTorch的安装包通常已经包含了所需的CUDA库（通过conda安装时），因此可以不用单独安装CUDA Toolkit。但是，为了确保兼容性，建议安装与PyTorch要求匹配的CUDA Toolkit（如果使用pip安装，通常需要预先安装CUDA Toolkit）。 3. 安装PyTorch：通过PyTorch官网提供的安装命令（选择对应CUDA版本）进行安装。 例如，在PyTorch官网上选择： - PyTorch版本：稳定版（Stable） - 操作系统：Windows - 包管理器：pip或conda - 语言：Python - 计算平台：CUDA 11.7（或根据你的显卡驱动选择，一般最新版PyTorch支持CUDA 11.7和11.8） 安装命令示例（使用pip和CUDA 11.7）： ``` pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 ``` 三、环境要求： - 操作系统：Windows 10或11（64位） - Python：通常建议使用3.7-3.10版本（TensorFlow和PyTorch对Python版本有要求，需查看官方文档） - 虚拟环境：建议使用conda或venv创建虚拟环境，以便管理依赖。 四、验证安装： 安装完成后，需要验证GPU是否可用。 对于TensorFlow： ```python import tensorflow as tf print(tf.config.list_physical_devices('GPU')) ``` 对于PyTorch： ```python import torch print(torch.cuda.is_available()) ``` 五、注意事项： 1. 确保安装的CUDA版本、cuDNN版本与框架要求的版本一致。 2. 如果同时安装TensorFlow和PyTorch，需要确保它们使用的CUDA版本兼容（或者使用不同的虚拟环境）。 3. 对于较新的显卡（如RTX 30系列），需要安装较新的驱动（如支持CUDA 11.x的驱动）才能发挥最佳性能。 六、参考引用： 根据引用[1][2][3][4][5]，我们了解到TensorFlow和PyTorch在生态、使用方式上的差异，但具体到配置，我们主要参考官方文档。 由于用户使用的是Windows系统，并且希望使用GPU，我们需要特别注意TensorFlow在2.11及以后版本对Windows原生GPU支持的改变。 因此，总结如下： 对于TensorFlow： - 如果使用Windows原生环境，安装TensorFlow 2.10或更早版本，并配置对应的CUDA（如11.2）和cuDNN。 - 或者，使用WSL2（Windows Subsystem for Linux）环境，这样可以使用更高版本的TensorFlow（因为Linux下支持更新的CUDA）。 对于PyTorch： - 直接通过官方命令安装即可，选择适合的CUDA版本（如11.7或11.8），安装过程较为简单。 最后，我们生成相关问题。</think>### Windows 下使用 GPU 训练机器学习模型的配置要求 #### 一、TensorFlow 的 GPU 配置要求 1. **硬件要求** - NVIDIA 显卡：计算能力 ≥ 3.5（推荐 RTX 20/30/40 系列） - 显存：≥ 4GB（建议 8GB 以上） - RAM：≥ 16GB 2. **软件环境** - **操作系统**：Windows 10/11（64 位） - **CUDA Toolkit**：需与 TensorFlow 版本严格匹配（例如 TF 2.10 要求 CUDA 11.2） - **cuDNN**：需与 CUDA 版本匹配（例如 CUDA 11.2 → cuDNN 8.1.0） - **Python**：3.7-3.10（TF 2.10+ 不再支持 Python 3.6） 3. **安装步骤** ```bash # 创建虚拟环境（推荐） conda create -n tf_gpu python=3.9 conda activate tf_gpu # 安装 TensorFlow GPU 版 pip install tensorflow==2.10.0 # 最后一个原生支持 Windows GPU 的版本 # 验证 GPU 是否可用 python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))" ``` > **注意**：TensorFlow ≥ 2.11 官方不再支持 Windows 原生 GPU，需改用 [WSL2](https://www.tensorflow.org/install/pip#windows-wsl2) 或 Linux 环境[^1][^3]。 --- #### 二、PyTorch 的 GPU 配置要求 1. **硬件要求** - NVIDIA 显卡：计算能力 ≥ 5.0（推荐 Pascal 架构及以上） - 显存：≥ 4GB（建议 8GB 以上） - RAM：≥ 16GB 2. **软件环境** - **操作系统**：Windows 10/11（64 位） - **CUDA Toolkit**：推荐 11.7 或 11.8（PyTorch 预编译包已包含 CUDA 依赖） - **Python**：3.8-3.11 3. **安装步骤** ```bash # 安装 PyTorch（通过官方命令） pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 验证 GPU 是否可用 python -c "import torch; print(torch.cuda.is_available())" ``` --- #### 三、通用配置要求 1. **驱动与工具** - **NVIDIA 驱动**：需 ≥ 522.25（支持 CUDA 11.8） - **Visual Studio**：2019 或 2022（需安装 "C++ 桌面开发" 组件） 2. **环境管理工具** - **Conda**：推荐使用 Miniconda 管理环境 - **CUDA 检测工具**：运行 `nvidia-smi` 确认驱动和 GPU 状态 --- #### 四、常见问题解决方案 1. **CUDA 版本冲突**： - 使用 `conda install cudatoolkit=11.8` 指定版本 2. **GPU 未被识别**： - 检查驱动兼容性：`nvidia-smi` 显示的 CUDA 版本需 ≥ 框架要求 - 卸载冲突库：`pip uninstall nvidia-cublas-cu11` 等 3. **显存不足**： - 减小 `batch_size` - 使用混合精度训练：`tf.keras.mixed_precision.set_global_policy('mixed_float16')` > **关键提示**： > - TensorFlow 在 Windows 的 GPU 支持受限，**推荐优先使用 PyTorch**（安装更简单，兼容性更好）[^2][^3] > - 若需使用 TensorFlow 最新版，建议通过 WSL2 安装 Ubuntu 系统[^1][^3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值