墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
1k累计阅读
1.1k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
首先要明白，误差回传与否，与 requires_grad 的值没有关系。
取决于 loss.backward( ) 。
再来看误差回传过程中规定是，parameters的梯度计算关闭。
param.requires_grad = False
我们要知道，param 包括的无非是 权重 和 偏置值。
而权重和偏置值的偏导值是多少并不影响误差反向传播，误差反向传播主干部分计算的是每一层激活前神经元的偏导值。
综上：
param.requires_grad = False 不影响误差反向传播正常进行，但是权重和偏置值不更新了。
pytorch——冻结某层参数
参考链接： https://blog.csdn.net/qq_41368074/article/details/107860126 https://blog.csdn.net/Code_Mart/article/details/88254444 首先，我们知道，深度学习网络中的参数是通过计算梯度，在反向传播进行更新的，从而能得到一个优秀的参数，但是有的时候，我们想固定其中的某些层的参数不参与反向传播。比如说，进行微调时，我们想固定已经加载预训练模型的参数部分，指向更新最后一层的分类器，这时应该怎么做呢
param.requires_grad = False的作用
param.requires_grad = False的作用是: 屏蔽预训练模型的权重。 只训练最后一层的全连接的权重。 最后一层的添加，是通过[2]中的一句代码： model_conv.fc = nn.Linear(num_ftrs, 2) 可以发现，冻结预训练模型的权重后，验证精度会下降。 ...
pytorch中的model.eval()与volatile=True与requires_grad=False
最近在看不同的代码，发现有几个地方存在疑惑，所以梳理一下。这个几个地方用来操作或者限定tensor在训练或者测试阶段是否进行求导，或者一些其他限定。
【笔记】parameters.requires_grad=False ：误差仍然反向传播，梯度不更新
首先要明白，误差回传与否，与 requires_grad 的值没有关系。 取决于 loss.backward( ) 。 再来看误差回传过程中规定是，parameters的梯度计算关闭。 param.requires_grad = False 我们要知道，param 包括的无非是 权重 和 偏置值。 而权重和偏置值并不影响误差反向传播，误差反向传播计算的是每一层激活前神经元的偏导值。 计算激活前神经元偏导值DZ并不需要 DW 和 DB 的参与（一般涉及到DA 和 W）。 综上： p...
梯度下降与反向传播：工程师的优化直觉与实战指南
梯度下降是机器学习模型参数优化的基础范式，本质是沿损失函数负梯度方向迭代更新；反向传播则是其工程实现核心，依托链式法则将全局误差逐层分解为局部梯度信号。这一机制不仅支撑着PyTorch、TensorFlow等框架的自动微分能力，更直接决定训练稳定性、收敛速度与显存效率。理解梯度的方向性与模长含义，可诊断nan、梯度消失/爆炸等典型故障；掌握反向传播在计算图中的拓扑遍历与梯度累加逻辑，是调试自定义Layer、启用梯度检查点及混合精度训练的前提。本文聚焦工业级实践，覆盖学习率调优、手动backward实现、内存
自动微分原理与PyTorch梯度机制深度解析
自动微分（AD）是现代深度学习框架的底层核心机制，它既非符号微分的表达式膨胀，也非数值微分的精度妥协，而是基于计算图与链式法则的高效、精确梯度计算范式。其原理在于将任意可编程函数分解为原子运算节点，前向执行并构建依赖关系，反向按拓扑序累积局部梯度，实现O(1)时间复杂度与机器精度级准确率。这一技术支撑了PyTorch的autograd、TensorFlow的GradientTape等关键能力，直接决定混合精度训练中GradScaler的有效性、自定义算子的可微分性以及分布式训练的梯度一致性。本文深入剖析反向
为什么当设置parameters.requires_grad=False ：误差仍然反向传播，梯度不更新
用法：冻结参数，不参与反向传播，具体实现是将要冻结的参数的requires_grad属性置为false，然后在优化器初始化时将参数组进行筛选，只加入requires_grad为True的参数。首先要明白，误差回传与否，与 requires_grad 的值没有关系，取决于 loss.backward( )。而权重和偏置值的偏导值是多少并不影响误差反向传播，误差反向传播主干部分计算的是每一层激活前神经元的偏导值。我们要知道，param 包括的无非是 权重 和 偏置值。
深度学习梯度流动：从计算图到反向传播的底层原理与工程实践
在深度学习中，梯度是优化神经网络参数的核心。理解梯度流动需要从计算图这一基础数据结构入手，它记录了前向传播中所有运算的依赖关系。基于链式法则的反向传播算法，则实现了梯度从损失函数向每一层参数的高效回传。这一机制是自动微分技术的基石，为模型训练提供了根本保障。其技术价值在于，它使得开发者能够构建和优化复杂的深度网络，而无需手动推导繁琐的导数。在工程实践中，无论是使用PyTorch的动态图还是TensorFlow的静态图，都离不开对梯度流动机制的封装。深入理解梯度消失、梯度爆炸等常见问题及其排查方法，对于调试模
【笔记】torch.no_grad（）、eval（）、requires_grad 的区别：torch.no_grad不进行回传,eval回传但不更新梯度，requires_grad设置节点是否更新梯度
torch.no_grad（）不进行backpropagation,eval()回传但不更新梯度，
PyTorch Autograd 原理与实战：动态图、Function 机制与梯度调试
Autograd 是 PyTorch 实现自动微分的核心机制，本质是一种运行时动态计算图构建系统，基于 tensor 的 requires_grad 标志和 operation 的 Function 封装实现链式求导。其原理不依赖静态图编译或语法解析，而是在前向执行中实时记录运算依赖关系，形成由 grad_fn 指针串联的有向无环图。这种设计赋予模型对 Python 控制流（if/for）的天然支持，显著提升算法研发灵活性；同时通过 ctx.save_for_backward 等细粒度内存管理策略，在显存效
PyTorch Autograd 核心机制与工程实践深度解析
Autograd 是 PyTorch 实现自动微分的底层引擎，其本质是基于动态计算图（DAG）的链式法则运行时调度系统。它通过 Tensor 的 requires_grad 标记、Function 的前向/反向原子封装，以及隐式构建的 grad_fn 指针图，将数学求导转化为可追踪、可复现的内存操作。这一机制不仅支撑了梯度下降等优化过程的技术可行性，更直接决定了模型训练的显存效率、调试可观测性与分布式同步行为。在 CV/NLP 工业级模型开发中，Autograd 的控制原语（如 torch.no_grad、
深度学习训练核心：计算图与反向传播机制详解
自动微分是深度学习框架的核心技术，它基于链式法则自动计算函数梯度，为神经网络优化提供数学基础。其原理是通过构建计算图来追踪数据与运算的依赖关系，在前向传播中记录操作，在反向传播中逆向计算梯度。这项技术的价值在于极大简化了复杂模型梯度的求导过程，使研究人员能专注于模型设计而非手动推导。在工程实践中，自动微分支撑了PyTorch、TensorFlow等框架的训练流程，广泛应用于神经网络训练、梯度验证和自定义层实现等场景。理解计算图的动态构建与梯度流动机制，有助于诊断梯度消失、爆炸等问题，并掌握detach、no
PyTorch Tensor底层解密：内存布局、梯度机制与性能优化
Tensor是PyTorch的核心数据载体，远不止多维数组——它是具备设备感知、自动微分和内存共享能力的可执行计算单元。其本质由Storage（连续内存块）、TensorImpl（元数据+状态）和DataPtr（智能指针）三者协同构成，stride机制决定视图操作是否零拷贝，requires_grad属性则定义计算图中的梯度责任链。理解这些原理，能规避RuntimeError: Trying to backward through the graph a second time等高频报错，显著提升模型训练稳
深度学习训练不稳定？从计算图与反向传播原理解决梯度问题
在深度学习模型训练中，梯度消失与梯度爆炸是导致训练不稳定、模型难以收敛的常见问题。其核心原理源于反向传播过程中的链式求导，当梯度在多层网络中连续相乘时，过小或过大的局部梯度会引发指数级衰减或增长。理解这一机制需要掌握计算图这一基础概念，它将复杂的前向计算与梯度回传过程抽象为有向无环图，清晰地揭示了数据与梯度的流动路径。自动微分技术正是基于计算图，实现了梯度的自动计算，成为现代深度学习框架的基石。在工程实践中，通过可视化梯度流动、诊断梯度异常，开发者能够有效应对训练中的不稳定现象，例如使用梯度裁剪缓解爆炸，或
从计算图视角彻底理解反向传播：原理推导与PyTorch实战
如果你在深度学习的入门路上卡在了“反向传播”这个关键环节，看着公式推导一头雾水，或者代码能跑通但总觉得原理是黑盒，那么这篇文章就是为你准备的。 反向传播（Backpropagation）常被描述为神经网络的“学习引擎”，但很多教程要么陷入复杂的数学符号，要么直接调用 loss.backward() 一笔带过。这导致一个普遍困境： 你知道它很重要，却说不清梯度究竟是如何从损失函数一步步“流”回每一层参数的，更别提在自定义层或复杂网络结构时进行有效的调试了。 本文的核心判断是： 理解反向传播，最直观、最工程化的
20-输入数据和标签requires_grad属性
在深度学习中，requires_grad是一个用于控制张量是否需要计算梯度的属性。当输入图像数据的requires_grad = False时，意味着 PyTorch 不会为该张量计算梯度，这通常用于表示，比如普通的。而经过数据requires_grad = True，这是因为卷积层中的参数（权重和偏置）通常是需要学习和更新的，在反向传播过程中需要计算关于这些参数的梯度，以便通过优化算法来调整它们的值以最小化损失函数。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
7149
扫一扫
