with torch.no_grad(): 可显著减少显存占用

最新推荐文章于 2025-10-24 19:50:01 发布
原创 最新推荐文章于 2025-10-24 19:50:01 发布 · 5.3k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了解决深度学习模型测试阶段显存溢出的问题，指出使用全图进行推理和未使用with torch.no_grad()是导致显存消耗过大的原因，并分享了通过调整批大小和使用with torch.no_grad()来有效降低显存占用的经验。
部署运行你感兴趣的模型镜像

模型训练的时候，爆显存了，可以调整batch，对数据进行crop等等操作

今天发现一个模型，训练ok，每次测试的时候爆显存。开始以为是因为用了全图（1920x1080略大）进行inference。

这是一方面，但后来发现忘了用with torch.no_grad():
这导致模型运算的时候不能释放显存（记录了梯度信息），所以显存巨大。
加了之后，用了不过3G显存就够了。。确实inference不需要那么多显存的，以后记着这种不正常现象如何处理。

一般训练不爆显存，测试也不会爆；训练时的显存占用远多于inference

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

【Pytorch实战教程】with torch.no_grad():
若北辰
03-28 404
是优化推理效率的关键工具，适用于无需梯度计算的场景。实际应用中常与联合使用，以兼顾模块行为与性能优化。
torch.no_grad()降低显存占用
芒果干的博客
02-04 2891
这个函数一般在测试的时候使用，用来降低显存占用 在训练的时候我们需要学习weight和bias的梯度，但是在测试的时候我们不需要获取他们的梯度，因此可以节省大量的显存 在训练时我们crop成了一个一个块，例如size为256，在测试时如果将整幅图片都送入网络，有时会out of memory，因此需要no_grad语句 使用很简单，在测试时将测试代码放到他下面即可 with torch.no_grad(): # 可以显著的降低显存 for i, img in enumerate(tqdm(test
with torch.no_grad():
weixin_42535423的博客
07-23 3602
with torch.no_grad(): 一般要停止跟踪历史记录（和使用内存），可以将代码块使用 with torch.no_grad(): 包装起来。 在评估模型时，这是特别有用，因为模型在训练阶段具有 requires_grad = True 的可训练参数有利于调参，但在评估阶段我们不需要梯度。 ...
释放内存与加速推理：PyTorch的torch.no_grad()与torch.inference_mode()
最新发布
使者大牙ℂypher的博客
10-24 1197
本文详细介绍、对比了PyTorch中torch.no_grad()与torch.inference_mode()在推理优化中的表现。
【pytorch】 with torch.no_grad():用法详解
热门推荐
sazass的博客
05-11 17万+
在pytorch写的网络中，with torch.no_grad():非常常见。 首先，关于python中的with： with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭／线程中锁的自动获取和释放等。 例如： file = open("１.txt") data = file.read() file.close() 存在问题如下： （１）文件读取发生异常，但没有进行任何处理； （２）可能忘记关闭文件句柄； 改进： try:
PyTorch torch.no_grad() 指南（笔记）
2301_79168784的博客
05-17 1627
的核心功能是在其作用域内临时禁用梯度计算和历史追踪。这意味着，在代码块内或被装饰的函数内执行的所有PyTorch张量运算，都不会被Autograd引擎记录到计算图中。
pytorch 中的with torch.no_grad()
qq_41289353的博客
01-25 559
pytorch 中的with torch.no_grad(): 在pytorch写的网络中，with torch.no_torch():非常常见。 首先，关于python中的with： with语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的”清理“操作，释放资源，比如文件使用后自动关闭/线程中锁的自动获取和释放等。 例如： file = open("1.txt") data =file.read() file.close() 存在的问题如下： （1）文件读取发生异常
强化学习中，with torch.no_grad(): 是什么意思？请详细解释
wq6qeg88的博客
11-25 1346
强化学习中，目标网络（如 DDPG、TD3、SAC）用于估计稳定的目标 Q 值。在 PyTorch 中，默认情况下，所有张量操作都会被跟踪以支持自动微分（Autograd）。即使某些操作并不需要梯度计算，PyTorch 也会记录它们，这会导致额外的计算和内存开销。强化学习中需要用目标网络计算 Q 值，但目标网络的权重固定，不参与反向传播。是 PyTorch 提供的一个上下文管理器，用于临时禁用自动梯度计算。的工具，特别适用于推理、评估或任何不需要反向传播的场景。而非训练时，梯度计算是多余的。
with torch.no_grad():使用实例
07-09
嗯，用户问的是关于PyTorch中的`with torch.no_grad():`的使用实例。我需要先回忆一下这个上下文管理器的作用。它主要用于在执行某些操作时不计算梯度，这对于推理阶段或者不需要反向传播的场景非常有用。 用户可能...
@torch.no_grad()
09-11
- 作为上下文管理器：使用`with torch.no_grad():`来定义一个代码块，在该块内禁用梯度计算。 3. 相关说明： - 在`torch.no_grad`环境下，所有张量操作的`requires_grad`属性会被临时设置为False，但退出该环境后...
with torch.no_grad():显著减少测试时显存占用
qq_61888524的博客
10-17 4748
问题描述 将训练好的模型拿来做inference，发现显存被占满，无法进行后续操作，但按理说不应该出现这种情况。 RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 7.93 GiB total capacity; 6.94 GiB already allocated; 10.56 MiB free; 7.28 GiB reserved in total by PyTorch) 解决方案 ...
问题解决 | 关于torch中遇到的错误及解决
weixin_44649780的博客
08-17 3731
本博客主要解决在torch使用中遇到的问题与解决~
有关torch.nn.embedding的bug解决记录
谁谓荼苦，其甘如荠
10-13 1万+
废话少叙，直接上Traceback File "/home/shenfei1/anaconda3/envs/bert/lib/python3.6/site-packages/torch/nn/functional.py", line 1484, in embedding return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse) RuntimeError: Expected tensor fo
【剪枝】torch-pruning的基本使用
magic_ll的博客
11-22 1万+
假设正在对一个卷积结构化剪枝，需要减去哪些内容，具体第几个卷积核、对应的偏置、BN中对应的维度、与其直接或间接相连的层的核的channel。在结构化剪枝中，这两个卷基层之间存在非常直观的依赖关系，即当我们调整第一层的输出通道时，第二个卷积层的输入通道也需要相应的进行调整，这使得蓝色高亮的参数需要同时被剪枝。怎么去看这个group呢，在下图右侧进行了简单的标注，可以发现conv1的group都会进行剪枝，从而适应conv1的卷积核的维度发生的变化。结构化和非结构化剪枝方向，已发表的有较多的论文。
Torch-Pruning 项目使用指南
gitblog_00913的博客
08-09 1159
Torch-Pruning 项目的目录结构如下： ``` Torch-Pruning/ ├── AUTHORS ├── LICENSE ├── README.md ├── README_CN.md ├── practical_structural_pruning.md ├── requirements.txt ├── setup.py ├── github/ │ └── workflows/...
PyTorch 轻松节省显存的小技巧
lucifer479的博客
07-18 7316
如今的深度学习发展的如火如荼，相信各行各业的大家都或多或少接触过深度学习的知识。显存不足是很多人感到头疼的问题，毕竟能拥有大量显存的实验室还是少数，而现在的模型已经越跑越大，模型参数量和数据集也越来越大。在别人的Batchsize在32甚至64以上时，我们还在为强行塞下1个Batch而努力。以下给大家提供一些节省PyTorch显存占用的小技巧，虽然提升不大，但或许能帮你达到可以勉强运行的及格线。...
torch显存分析——如何在不关闭进程的情况下释放显存
weixin_44826203的博客
05-18 1万+
torch显存占用分析，以及如何在不关闭进程的情况下，利用代码释放不再占用的显存。
with torch.no_grad() 详解
qq_42251157的博客
04-11 2万+
在使用pytorch时，并不是所有的操作都需要进行计算图的生成，只是想要网络结果的话就不需要后向传播 ，如果你想通过网络输出的结果去进一步优化网络的话 就需要后向传播了。 不使用with torch.no_grad():此时有grad_fn=属性，表示，计算的结果在一计算图当中，可以进行梯度反传等操作。 **使用with torch.no_grad()**表明当前计算不需要反向传播，使用之后，强制后边的内容不进行计算图的构建 示例如下： 此时的outputs没有 属性。 可以看..
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值