pytorch 自定义参数不更新

最新推荐文章于 2023-06-19 16:01:44 发布
最新推荐文章于 2023-06-19 16:01:44 发布
阅读量7.2k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： pytorch知识宝典
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jacke121/article/details/103672674
本文探讨了在PyTorch中如何在nn.Module中定义参数，并指出即使中间变量可能无梯度，但最终变量仍能在反向传播过程中进行更新。通过示例展示了nn.Parameter的使用和其在梯度计算中的行为。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

nn.Module中定义参数：不需要加cuda，可以求导，反向传播

class BiFPN(nn.Module):
    def __init__(self, fpn_sizes):

    self.w1 =  nn.Parameter(torch.rand(1))

    print("no---------------------------------------------------",self.w1.data, self.w1.grad)

下面这个例子说明中间变量可能没有梯度，但是最终变量有梯度：

cy1 cd都有梯度

import torch

xP=torch.Tensor([[ 3233.8557,  3239.0657,  3243.4355,  3234.4507,  3241.7087,
          3243.7292,  3234.6826,  3237.6609,  3249.7937,  3244.8623,
          3239.5349,  3241.4626,  3251.3457,  3247.4263,  3236.4924,
          3251.5735,  3246.4731,  3242.4692,  3239.4958,  3247.7283,
          3251.7134,  3249.0237,  3247.563
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Bug记录——nn.Parameter（）参数不更新、根据loss自学习权重变量不更新、pytorch 模型自定义参数不更新、网络梯度为None，参数不更新解、tensor参数有梯度，但不更新
Chaoy6565的博客
05-03 5712
记录一个bug。bug描述：这是关于一个Pytorch模型自定义nn.Parameter（）参数不更新的bug。就是用nn.Parameter（）定义一个参数变量，它可以根据loss调整大小。1、看该变量的梯度是否为0或者为None。2、学习率是否过小和过大。3、是否加入了optimal的优化参数序列中。4、softmax也会使结果失去梯度,用log_softmax代替。5、torch.argmax(),会使结果失去梯度。
pytorch自定义新层demo_Pytorch 自定义模型参数及更新
weixin_42314711的博客
01-12 660
被这个问题困扰了很久，用nn.parameter()定义了参数，但该参数没有更新，.grad() 为none, is_leaf 为False， 其了个怪了。原来是在参数初始化的时候没有正确初始化，我好菜~~~~~。1) 先看正确的例子import torchimport torch.nn as nnclass Mask(nn.Module):def __init__(self):super(Mas...
pytorch 自定义参数不更新方式
09-18
今天小编就为大家分享一篇pytorch 自定义参数不更新方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 自定义网络参数，但网络参数数值不更新
qq_42256930的博客
04-17 833
如果我们仅仅将fw1的网络参数放到优化器中，依然采用b处开始计算梯度，fw2会有梯度值，但是由于没放到优化器中，因此fw2的网络参数是不会更新的。没有把定义的网络的参数放到优化器中因此，对应的网络部分的参数是不会更新的。
Pytorch参数不更新问题
不想成为网红的程序员不是好司机
05-04 1万+
今天写代码写到半夜，遇到了2次pytorch的loss不下降的问题。打印出网络参数，印证了参数并没有更新。通过搜集网上的资料，总结出了解决问题的3种办法。 (1) 用torch.autograd.Variable，把输入转换为Variable。但是对于离散型输入不适用 (2)计算出loss后，loss = loss.requires_grad_()。此方法有效。 (3)检查optimizer，如果model更新了，那么要重新运行一次 optimizer = optim.Adam(model.paramete
Pytorch 实现自定义参数层的例子
09-18
本篇文章将深入探讨如何在 PyTorch 中实现自定义参数层，并通过两个具体的例子来阐述这一过程。 首先，我们要理解 PyTorch 的基本模块（Module）系统。`nn.Module` 是所有自定义层的基础类，它提供了构建神经网络的...
pytorch逻辑回归梯度、权重等所有参数不更新的问题(Logistic Regression)
T555hhh555hhh的博客
12-03 1115
pytorch逻辑回归梯度、权重等所有参数不更新的问题(Logistic Regression)
pytorch grad_fn以及权重梯度不更新的问题
duanmuji的博客
12-22 3万+
前提：我训练的是二分类网络，使用语言为pytorch Varibale包含三个属性： data：存储了Tensor，是本体的数据 grad：保存了data的梯度，本事是个Variable而非Tensor，与data形状一致 grad_fn：指向Function对象，用于反向传播的梯度计算之用 在构建网络时，刚开始错误为没有可以grad属性的变量，百度后得知要对需要进行迭代更新的变量设置requ...
【Pytorch】如何自定义带可学习超参的损失函数？以及参数不更新问题记录
IT_AGENT_PY的博客
06-19 3051
自定义带可学习参数的损失函数，以及解决超参数不更新问题
pytorch定义哪些层不进行梯度更新
jingtingxu369的博客
12-04 2084
import torch.nn as nn class OurNet(nn.Module): def __init__(self): super(OurNet, self).__init__() self.conv1a = nn.Conv2d(3, 64, 3, padding=1, bias=False) self.conv2a = nn.Conv2d(3, 64, 3, padding=1, bias=False) self.co.
pytorch---之固定某些层权重再训练
zxyhhjs2017的博客
03-09 4580
1.children()这个方法，就是将网络中的模块化，可以自己动手试试看 2.然后prameters就是每一个模块里面的参数，或者是所有网络的参数都可以，相当于对一个模块或者所有网络里的参数requires_grad都设置为false,相当于这些模块里的参数都不再反传梯度了 3.再在优化器这里加一点东西，如下所示： optimizer = torch.optim.RMSprop(fi...
【Torch】解决tensor参数有梯度，weight不更新的若干思路
lwgkzl的博客
11-24 1万+
问题： 在torch类里面用nn.Parameter声明了一个可学的Tensor参数， 结果每次梯度回传之后，可以看到变量梯度，但是该参数的weight始终不变，一直保持着初始值。 思路： 遇到某参数的weight一直不更新，解决思路有以下几种： 1. 检查该变量的梯度是否为0或者为None， 对于pytorch的中间变量，输出梯度的方式见博客：https://www.jianshu.com/p/ad66f2e38f2f 如果是None或者0，说明梯度没有...
Pytorch中nn.Parameter（）参数的使用
qq_48479056的博客
03-29 1万+
这两天在学习怎么对网络的两个输出f1，f2，分别得到两个权重值w1，w2，然后做一个自适应的加权融合，得到最终的结果Q。在网上百度，发现了这个函数的使用nn.Parameter（），从而记录一下。 1、含义解读： 讲的很清楚，引用！ Parameter：参数。在做神经网络的训练时，其实就是训练一个模型，这个模型就是去学习一个函数，这个函数可以准确的学习到我们想要到的东西，比如正确的对物体进行分类。函数的输入就是模型的输入：一张图像，得到的模型输出就是一个预测值。我们平时的学习率，batch大小等都是一些常见
nn.Parameter()
qq_43638337的博客
04-07 1万+
可以方便地定义和管理模型的可训练参数，并且在模型训练过程中可以自动计算梯度并更新参数值，是构建神经网络模型时常用的工具。是 PyTorch 中的一个类，用于创建可训练的参数（权重和偏置），这些参数会在模型训练过程中自动更新。
PyTorch 学习笔记（四）：激活函数对比、权重初始化、防止过拟合的方法
h__ang的博客
04-22 5641
一. 激活函数 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 1. Sigmoid Sigmoid非线性函数的数学表达式是σ(x)=11+e−x\sigma (x)=\frac{1}{1+e^{-x}}σ(x)=1...
PyTorch(总)——PyTorch遇到令人迷人的BUG与记录
热门推荐
hudongloop的博客
06-28 12万+
这篇博客就用来记录在使用pytorch时遇到的BUG，虽然年纪大了，但是调出BUG还是令人兴奋^_^! BUG1： 在使用NLLLoss()激活函数时，NLLLoss用来做n类分类的，一般最后一层网络为LogSoftmax，如果其他的则需要使用CrossEntropyLoss。其使用格式为：loss(m(input), target)，其中input为2DTensor大小为（minibatch...
pytorch 关于权重（初始化、固定）
一位浪漫的极客
04-09 3224
权重初始化： emb那种可以直接from_pretrained 固定权重 利用requires_grad=False，这样只是不更新，但是还是会计算并占用显存 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d...
pytorch自定义类
最新发布
03-23
### 创建 PyTorch 自定义类的方法 #### 1. 自定义 Dataset 类 `torch.utils.data.Dataset` 是 PyTorch 中的核心抽象之一，用于封装数据集。要创建自定义数据集，可以通过继承 `Dataset` 并实现其必要的方法来完成。 以下是实现自定义数据集的一个示例： ```python import os from PIL import Image import torch from torch.utils.data import Dataset class CustomImageDataset(Dataset): def __init__(self, root_dir, transform=None): self.root_dir = root_dir self.transform = transform self.image_files = [] # 遍历目录并收集所有图像文件路径 for category in ['cats', 'dogs']: category_path = os.path.join(root_dir, category) for file_name in os.listdir(category_path): if file_name.endswith(('.png', '.jpg', '.jpeg')): self.image_files.append(os.path.join(category_path, file_name)) def __len__(self): return len(self.image_files) def __getitem__(self, idx): img_path = self.image_files[idx] image = Image.open(img_path).convert('RGB') label = 0 if 'cat' in img_path else 1 if self.transform: image = self.transform(image) return image, label ``` 上述代码展示了如何构建一个简单的猫狗分类数据集[^4]。它实现了三个主要部分： - 初始化函数 (`__init__`)：负责读取和存储数据。 - 获取长度函数 (`__len__`)：返回数据集中样本的数量。 - 获取单个项函数 (`__getitem__`)：根据索引获取特定样本及其标签。 --- #### 2. 自定义神经网络层 除了数据集外，还可以通过继承 `torch.nn.Module` 来创建自定义的神经网络层或模型组件。 下面是一个简单的一维卷积操作扩展的例子： ```python import torch import torch.nn as nn import torch.nn.functional as F class CustomConvLayer(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1): super(CustomConvLayer, self).__init__() self.conv = nn.Conv1d(in_channels, out_channels, kernel_size, stride=stride, padding=padding) def forward(self, x): x = self.conv(x) x = F.relu(x) return x ``` 此代码片段展示了一个带有 ReLU 激活函数的自定义一维卷积层[^2]。用户可以根据需求进一步修改该结构以适应更复杂的场景。 --- #### 3. 自定义 C++ 扩展算子 对于性能敏感的应用程序，可能需要编写高效的底层运算符。PyTorch 支持使用 C++ 和 CUDA 编写自定义算子，并将其集成到 Python 环境中。 以下是如何注册和调用自定义算子的简化流程[^3]： ##### (a) 定义 C++ 运算符 假设我们有一个名为 `my_custom_op.cpp` 的文件，其中包含如下内容： ```cpp #include <torch/extension.h> at::Tensor my_custom_add(at::Tensor a, at::Tensor b) { return a + b; } PYBIND11_MODULE(TORCH_EXTENSION_NAME, m) { m.def("add", &my_custom_add, "Add two tensors"); } ``` ##### (b) 构建扩展模块 运行以下命令编译 C++ 文件为共享库： ```bash python setup.py install ``` ##### (c) 调用自定义算子 在 Python 中导入并测试新算子： ```python import torch import custom_extension a = torch.tensor([1., 2., 3.]) b = torch.tensor([4., 5., 6.]) result = custom_extension.add(a, b) print(result) # 输出: tensor([5., 7., 9.]) ``` 这种技术允许开发者充分利用 GPU 加速功能优化计算密集型任务。 --- #### 4. 导出自定义模型至 ONNX 格式 如果希望将含自定义算子的模型导出为 ONNX，则需指定额外参数以便正确解析这些特殊节点。 示例如下： ```python import torch model_test = ... # 替换为实际模型对象 ipt = torch.randn(1, 3, 224, 224) # 输入张量形状匹配模型预期输入 model_name = "custom_model.onnx" torch.onnx.export( model_test, ipt, 'results/onnx/' + model_name, input_names=['input'], output_names=['output'], custom_opsets={"custom": 1} # 添加自定义命名空间及版本号 ) ``` 此处的关键在于传递字典形式的 `custom_opsets` 参数给 `export()` 方法。 --- ### 总结 无论是管理复杂的数据源还是设计新颖的架构单元，在 PyTorch 生态系统内均提供了灵活多样的工具链支持开发人员探索创新解决方案。从基础层面理解各个组成部分的工作原理有助于加速项目进展并提升最终成果质量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值