Gradient-checkpointing的原理

已于 2024-05-26 21:02:49 修改
阅读量575 收藏 2
点赞数 4
CC 4.0 BY-SA版权
文章标签： 性能优化 深度学习
于 2024-05-26 20:53:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smartcat2010/article/details/139220291

原文：

将更大的网络安装到内存中。|by 雅罗斯拉夫·布拉托夫 |张量流 |中等 (medium.com)




 

前向传播时，隔几层就保留一层activation数据，其余层的activation都释放掉；

反向传播时，从最近的checkpoint去重新跑forward，这次跑的不删除；计算梯度每用完一层，才释放掉该层的activation；

N层网络，使用sqrt(N)个checkpoint，activation内存峰值是2*sqrt(N)，计算额外增加N层的forward计算；

一般大模型中，该功能增加20%计算时间，减少20%显存占用；

更激进的做法：如果有SSD等高速存储，可以将所有activation层落盘，backward时从SSD中load进显存，每次只load一层用完即删；

最激进的做法：model weights、optimizer states、lr等，也落盘；随用随读；

smartcat2010
关注
深度学习基础知识干货 | Gradient checkpointing
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
01-08 924
在深度学习中，反向传播（Backpropagation）是训练神经网络的关键步骤，其中需要保留前向传播时的中间结果以计算梯度。Gradient checkpointing通过在前向传播过程中将某些中间结果临时存储在内存中，而不是一直保留，从而显著减少了内存需求。具体而言，它通过在前向传播期间记录计算图的某些部分，然后在反向传播时重新计算这些部分，从而避免了在反向传播过程中保留所有中间结果。这种技术的主要优势是能够在有限的内存条件下训练更大的模型或处理更长的序列，从而提高了模型的训练效率。
gradient_checkpointing
andeyeluguo的博客
01-09 2546
在训练深度神经网络时，反向传播算法需要在前向传播和反向传播之间存储中间计算结果，以便计算梯度并更新模型参数。需要注意的是，梯度检查点技术在减少内存消耗的同时，会导致额外的计算开销。因此，在决定使用梯度检查点时，需要权衡内存消耗和计算开销之间的折衷。梯度检查点技术通过在前向传播期间临时丢弃一些中间结果，仅保留必要的信息，以减少内存使用量。在反向传播过程中，只需要重新计算被丢弃的中间结果，而不需要存储所有的中间结果，从而节省内存空间。然后，在反向传播过程中，这些层将重新计算其所需的中间结果，以便计算梯度。
模型训练实用之梯度检查点
最新发布
weixin_44579176的博客
05-05 844
以时间换空间，是训练大模型的必备技术。尽管会牺牲部分计算效率，但在显存不足时，它是实现模型训练的唯一可行方案。结合混合精度、梯度累积等技术，可进一步提升资源利用率。通过这种方式，内存占用减少50%，但计算量增加约33%（需额外进行一次前向计算）。，并在反向传播时重新计算未保存的激活值，从而减少内存需求。
探索高效深度学习：Gradient Checkpointing 技术详解与应用
gitblog_00034的博客
03-23 875
探索高效深度学习：Gradient Checkpointing 技术详解与应用 项目简介 在深度学习领域，模型的计算复杂度和内存需求是两大挑战。 是一个开源项目，旨在通过一种巧妙的技巧优化模型训练过程中的内存使用，尤其对于需要大量内存的大规模神经网络。该项目由 OpenAI 提供，并且已被广泛应用到多个深度学习框架中。 技术分析 Gradient Checkpointing 的核心思想是在模型的前...
大模型高效训练基础知识：梯度检查点（Gradient Checkpointing）
Steve Wang's blog
07-08 1万+
前向传播过程中计算节点的激活值并保存，计算下一个节点完成后丢弃中间节点的激活值，反向传播时如果有保存下来的梯度就直接使用，如果没有就使用保存下来的前一个节点的梯度重新计算当前节点的梯度再使用。
gradient_checkpointing以计算时间换取内存
小姑仔的博客
07-07 4147
gradient_checkpointing的方法能够以计算时间去换取内存，这里我阅读longformer的源代码的时候，读取到了以下的内容，可以作为以计算时间换取内存的经典代码方式 if self.gradient_checkpointing and self.training: #gradient_checkpoint:以计算时间换内存的方式，显著减小模型训练对gpu的占用 def create_custom_forward(module): def custom_for
gradient_checkpointing=true，有什么用
04-04
嗯，用户现在问的是关于gradient_checkpointing=true的作用。我需要先回忆一下这个技术的背景和用途。记得在训练深度学习模型时，尤其是大型模型，显存占用是一个大问题。梯度检查点技术好像是为了节省显存而设计的...
FastLanguageModel.get_peft_model调整微调参数时use_gradient_checkpointing是什么含义，可以使用什么值？
02-28
嗯，我现在需要理解FastLanguageModel.get_peft_model中的use_gradient_checkpointing参数是什么，以及它可能的取值。首先，我应该回忆一下梯度检查点（gradient checkpointing）的概念。 梯度检查点是一种优化内存...
手搓大模型——qwen2原理解析
m0_75212156的博客
05-16 2314
限于能力、篇幅暂时没把数学部分写上来，后续会补上但是对于qwen的原理梳理成功的将先前的有关于gpt类似的transformers模型的知识串联起来，颇有意思。
深度强化学习系列(10): NoisyNet-DQN原理及实现
深度强化学习(DeepRL)探索博客
04-26 8291
论文地址： https://arxiv.org/pdf/1706.10295v1.pdf 本篇论文是DeepMind发表于顶会ICLR2018上的论文，第一作者Meire，里面也有熟悉的Mnih等大佬，还是往常的阅读顺序： 本文解决的是强化学习中的“探索问题”(efficient exploration)，作者通过给训练网络中添加噪音参数（和梯度更新同时更新网络权重参数），通过权重网络的训练来...
深度学习优化-Gradient Checkpointing
yuweififi的专栏
03-13 482
在反向传播时，如果需要这些被丢弃的激活值，则重新计算它们。通过这种方式，显存使用量可以从 O(L) 降低到 O(K)，其中 L 是网络层数，K 是选择的检查点层数。是一种用于优化深度学习模型训练的技术，旨在减少训练过程中显存的占用。通过合理使用 Gradient Checkpointing，可以在有限的硬件资源下训练更大规模的模型，同时平衡显存和计算开销。：在反向传播时，如果需要被丢弃的激活值，则通过重新计算它们来获取，从而计算梯度。：在前向传播时，选择某些层作为检查点，保存这些层的激活值。
梯度检查点（Gradient Checkpointing）的解释和举例
月亮不知道的博客
04-17 4688
梯度检查点（Gradient Checkpointing）是一种深度学习优化技术，它的目的是减少在神经网络训练过程中的内存占用。在训练深度学习模型时，我们需要存储每一层的激活值（即网络层的输出），这样在反向传播时才能计算梯度。但是，如果网络层数非常多，这些激活值会占用大量的内存。梯度检查点技术通过只在前向传播时保存部分激活值的信息，而在反向传播时重新计算其他激活值，从而减少了内存的使用。
InternVL2-Gradient Checkpointing（梯度检查点）
qq_15821487的博客
09-10 647
参数是一个布尔值，用于控制是否在模型训练过程中启用梯度检查点技术。启用梯度检查点可以减少内存占用，但可能会稍微增加计算时间。对于内存受限的场景，这是一个非常有用的优化手段。在设置该参数时，应根据实际的硬件条件和任务需求来决定是否启用。
pytorch模型训练之fp16、apm、多GPU模型、梯度检查点（gradient checkpointing）显存优化等
u013250861的博客
04-27 4561
这会增加计算时间，减少内存使用，但会产生数学上等价的结果。不过，在默认操作中不会特意设置这两个值（在源代码中默认为 0 和 1），所以会直接等效于正常的 forward 过程。
Pytorch --gradient_checkpointing 使用示例
子燕若水的博客
01-18 1406
相比于原本需要存储所有中间变量以供反向传播使用，使用了checkpoint的部分不存储中间变量而是在反向传播过程中重新计算这些中间变量。查了一下，PyTorch提供了一种更优雅的解决方式gradient checkpoint（查了一下应该是0.4.0之后引入的新功能），以计算时间换内存的方式，显著减小模型训练对GPU的占用。减小输入的大小，e.g.332 × \times× 332 × \times× 3 → \rightarrow→ 224 × \times× 224 × \times× 3。
Gradient Checkpointing 是什么有什么作用
咖乐部
04-24 733
当重计算需要分配一块连续内存，而此时 GPU 显存虽然总量足够，但可能因为碎片化而无法分配成功，或者因为这个短暂的峰值需求（重计算的激活值 + 梯度 + 优化器状态）超过了可用物理显存时，Paged Optimizers 就能介入，将优化器状态暂时移到 CPU 内存，从而释放 GPU 显存以满足重计算的需求，避免训练崩溃。然后在反向传播过程中，当需要用到那些没有被存储的激活值时，再从最近的一个检查点开始，重新进行一小部分前向计算，以临时生成所需的激活值。• 显著降低显存占用: 这是最主要的作用。
tensorflow 显存 训练_【他山之石】训练时显存优化技术——OP合并与gradient checkpoint...
weixin_39960503的博客
12-17 698
作者：bindog地址：http://bindog.github.io/01背景前几天看到知乎上的文章FLOPs与模型推理速度[1]，文中提到一个比较耗时又占显存的pointwise操作x * sigmoid(x)，这实际上是swish activation[2]；暂且不提它背后的争议，本文主要想从这个结构入手来优化它的显存占用以及耗时，并讨论更广泛的训练时显存优化技术。02反向传播是如...
Gradient checkpointing 核心流程详细讲解
日常学习与专研的记录
12-05 1382
本文介绍gradient checkpointing的核心流程。
Pytorch Gradient Checkpoint使用示例
热门推荐
lavinia_chen007的博客
02-03 1万+
文章目录gradient checkpointgradient checkpoint使用示例GPU使用情况监控 训练深度学习模型过程中，经常会遇到CUDA error: out of memory（OOM）的问题。有一些简单粗暴但不elegent的解决办法： 减小Batch Size, e.g 32 →\rightarrow→ 16 减小输入的大小，e.g.332 ×\times× 332 ×\times× 3 →\rightarrow→ 224 ×\times× 224 ×\times× 3 换一块显存
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值