parameters.requires_grad=False ：误差仍然反向传播，梯度不更新

最新推荐文章于 2025-04-09 11:10:19 发布
原创 最新推荐文章于 2025-04-09 11:10:19 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #人工智能

博客讨论了在深度学习中，即使参数requires_grad=False，误差仍能反向传播，但权重和偏置不会更新。重点在于理解误差反向传播的过程与参数更新的区别，以及param.requires_grad设置的影响。

parameters.requires_grad=False ：误差仍然反向传播，梯度不更新

首先要明白，误差回传与否，与 requires_grad 的值没有关系。

取决于 loss.backward( ) 。

再来看误差回传过程中规定是，parameters的梯度计算关闭。

param.requires_grad = False

我们要知道，param 包括的无非是 权重 和 偏置值。

而权重和偏置值的偏导值是多少并不影响误差反向传播，误差反向传播主干部分计算的是每一层激活前神经元的偏导值。

综上：

param.requires_grad = False 不影响误差反向传播正常进行，但是权重和偏置值不更新了。

反向传播和梯度消失
qq_31425127的博客
06-04 2018
注：最近想把以前写的笔记拿出来整理一下，因为是直接从蚂蚁笔记复制粘贴过来的，所以格式上可能有些不规范，将就着看看吧，懒得再改了…… 一、经验风险最小化 统计机器学习算法由模型、策略和算法三个要素构成，当选择了一种算法模型后，下一步就要考虑选择什么样的策略或准则来最优化模型 损失函数是机器学习中用于衡量模型一次预测结果好坏的目标函数 常用的损失函数有： 1、0-1损失函数：非凸函数，...
pytorch中的model.eval()与volatile=True与requires_grad=False
爱在深秋
08-01 5564
最近在看不同的代码，发现有几个地方存在疑惑，所以梳理一下。这个几个地方用来操作或者限定tensor在训练或者测试阶段是否进行求导，或者一些其他限定。
param.requires_grad = False
重剑无锋博客
09-11 3883
param.requires_grad = False:屏蔽预训练模型的权重，只训练全连接层的权重
param.requires_grad = False的作用
weixin_36670529的博客
04-25 8436
param.requires_grad = False的作用是: 屏蔽预训练模型的权重。 只训练最后一层的全连接的权重。 最后一层的添加，是通过[2]中的一句代码： model_conv.fc = nn.Linear(num_ftrs, 2) 可以发现，冻结预训练模型的权重后，验证精度会下降。 ...
for param in model.model.model.backbone.parameters(): param.requires_grad = False你这个代码是错误的
07-31
在使用 YOLOv8 或其他基于 CNN 的模型时，若需冻结模型的 Backbone 部分以防止梯度更新，应确保访问到模型结构中正确的层级，并对其中的参数设置 `requires_grad = False`。YOLOv8 的模型结构通常为嵌套形式，其主干...
.requires_grad = False
03-27
还需要注意，设置requires_grad为False不仅影响反向传播时的梯度计算，前向传播时也不会构建计算图，减少内存占用。这在处理大模型时尤为重要。 总结一下，步骤可能包括： 1. 遍历需要冻结的层的参数，设置requires...
能否用net.eval（）代替param.requires_grad=false，如果我前面有param.requires_grad=true，后面epoch里面只有net.eval（），是否还会更新模型的参数
最新发布
09-23
即使模型处于`eval`模式，只要参数`requires_grad=True`，在反向传播时仍然会计算梯度并进行更新。`eval`模式只是改变了某些层的行为，并不影响优化器更新参数。 但是，需要注意的是，在训练过程中，我们通常不会...
精选资源
Pytorch训练过程中改变模型参数 requires_grad 属性
01-20
当`requires_grad=True`时，PyTorch会在执行反向传播时计算该张量的梯度，这对于训练神经网络至关重要。在训练过程中，有时我们可能需要在不同阶段动态地更改某些模型参数的`requires_grad`属性，例如在迁移学习中...
【笔记】parameters.requires_grad=False ：误差仍然反向传播，梯度不更新
nyist_yangguang的博客
10-13 7398
首先要明白，误差回传与否，与 requires_grad 的值没有关系。 取决于 loss.backward( ) 。 再来看误差回传过程中规定是，parameters的梯度计算关闭。 param.requires_grad = False 我们要知道，param 包括的无非是 权重 和 偏置值。 而权重和偏置值并不影响误差反向传播，误差反向传播计算的是每一层激活前神经元的偏导值。 计算激活前神经元偏导值DZ并不需要 DW 和 DB 的参与（一般涉及到DA 和 W）。 综上： p...
pytorch迁移学习中parameters requires_grad=False和optimizer优化参数的探讨
热门推荐
york1996的博客
10-11 2万+
首先背景是迁移学习，以VGG16网络为例，固定他的特征提取层，优化他的全连接分类层。 有的书上写了： for param in vgg.features.parameters(): param.requeires_grad=False 然后在定义优化器的时候，又写了下面的代码： optimizer=optim.SGD(vgg.classifier.paramters(),lr...
为什么当设置parameters.requires_grad=False ：误差仍然反向传播，梯度不更新
weixin_43960370的博客
05-06 1284
用法：冻结参数，不参与反向传播，具体实现是将要冻结的参数的requires_grad属性置为false，然后在优化器初始化时将参数组进行筛选，只加入requires_grad为True的参数。首先要明白，误差回传与否，与 requires_grad 的值没有关系，取决于 loss.backward( )。而权重和偏置值的偏导值是多少并不影响误差反向传播，误差反向传播主干部分计算的是每一层激活前神经元的偏导值。我们要知道，param 包括的无非是 权重 和 偏置值。
requires_grad=False
qq_40285553的博客
08-26 3054
如果一个参数requires_grad=False，并且这个参数在optimizer里面，则不对它进行更新，并且程序不会报错
param.grad、requires_grad、grad_fn、grad/梯度为None？
Drug discovery
07-29 5914
计算图中的节点分为叶子节点和非叶子节点，叶子节点可以理解成不依赖其他tensor的tensor（例如b = a+1，那么b就是叶子节点），在使用backward()函数进行反向传播计算tensor的梯度时，并不是计算所有的tensor的梯度，而是计算满足这几个条件的tensor的梯度，子节点张量而是中间节点(中间节点张量). 如果该张量的属性requires_grad=True,叶子节点张量的属性grad中,不会在中间节点张量的属性grad中保存这个张量的梯度,这是。
pytorch中detach(), clone（）函数和requires_grad_(False)解释
vivi_cin的博客
04-17 673
这样就得到了 x 和 w 的梯度。detach(): 将当前 tensor 从计算图中分离出来，返回一个新的 tensor，新 tensor 的 requires_grad 属性会被设为 False。1、在使用 Tensor 进行运算时，可能会产生一些临时结果，这些结果并不需要用于梯度计算，因此需要将这些 tensor 分离出计算图，以减少计算开销和内存消耗。2、当需要对某些 tensor 进行修改，但不希望这些修改对之前的梯度计算产生影响时，可以使用 detach() 函数，以避免不必要的计算。
pytorch中detach()函数和requires_grad_(False)解释。
wen_ding的博客
03-15 2927
`detach()` 和 `requires_grad_(False)` 函数是 `PyTorch` 中用于解除计算图连接和停止梯度计算的函数。 `detach():` 将当前 tensor 从计算图中分离出来，返回一个新的 tensor，新 tensor 的 requires_grad 属性会被设为 False。也就是说，调用 detach() 后，将无法再通过这个 tensor 得到梯度信息，即使后续计算的结果与该 tensor 相关。 `requires_grad_(False):` 在原地修改
torch.no_grad() vs. param.requires_grad == False
weixin_52861033的博客
04-09 975
特性类型上下文管理器的属性作用范围代码块 (Block-level)，影响块内所有 PyTorch 运算张量 (Tensor-level)，影响特定的张量（参数）持续性临时 (Temporary)，仅在with块内有效持久 (Persistent)，直到被显式修改效果禁用梯度计算和跟踪(不构建计算图)阻止特定张量的梯度计算和更新(计算图可能仍构建)主要用途模型评估/推理冻结模型层/参数 (微调)资源节省显著节省内存和计算时间(对块内所有操作)节省梯度计算/存储(对特定参数)在块内设置是可以。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值