关于用nn.Parameter自建模型问题

最新推荐文章于 2025-06-04 10:15:16 发布
原创 最新推荐文章于 2025-06-04 10:15:16 发布 · 558 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #人工智能

本文讨论了在使用PyTorch开发自定义模型时遇到的问题，包括参数绑定、设备迁移和性能差距。作者分享了如何处理参数转换、使用ModuleList和ModuleDict，以及发现官方库在某些情况下性能更优的原因，可能涉及到并行化和资源管理问题。
部署运行你感兴趣的模型镜像

这篇文章用于记录学习遇到的bug，以便后续查看。细节描述不够详尽，若遇到相似的问题，可以在评论区交流。

如何用公式创建自己的模型

让自定义类继承自nn. Module，在init中直接创建nn. Parameter类成员变量，就会自动绑定到model. parameters中，可以通过调用parameters方法查看。
在绑定的时候我遇到两个问题：

  1. 参数不能to(device)，不然会绑定不上，而且模型在to gpu的时候参数自然会转到上面，但是子模块有没有to(device)没有影响（平时写Linear也不会在定义模块后面加上一句to(device)吧）
  2. 如果是把参数定义成list，或者dict，默认是不会绑定到模型中的，需要把类型改成nn. ParamList或ParamDict
  3. 如果是把子模块（或者叫层）定义成list，需要使用ModuleList和ModuleDict
    注：2，3两种情况多见于模块本身支持multiple layers
    修改了以上的问题，梯度正常下降了！

发现效果不如官方库好

我正在做的两个模型，DCSN和LSTM，我都直接用代码实现了其功能，发现他们在cpu上的运行效率比官方提供的nn. LSTM慢了很多，有人解释说是nn. LSTM底层使用了c/c++代码，所以效率会更高。
但是我的模型在gpu下比cpu还慢，但官方库没有这个问题，我认为是我的并行化做得不好，而且在一些不必要的地方切换gpu与cpu会损耗时间。

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

nn.Parameter()函数
qq_51599283的博客
07-17 759
Parameter()通俗的解释就是把一个Tensor转换成可学习训练的参数。只有参数才可以进行训练学习，所以这里可以看做是一个类型转换函数，把Tensor类型转换成Parameter类型。类型转换之后，这些参数就是模型的一部分，不再是普通的数据，被自动添加到Paeameter参数列表中。这里是初始化模型参数，使用torch.randn()创建一个784X256的权重w张量，然后用nn.Parameter()处理。在学习李沫的动手学习深度学习中遇见了这个函数并且没有解释，所以自己进行了一些探索并记录下来。
torch.nn.Parameter
每日提升一点点
06-16 790
Parameter是Tensor的子类，同时拥有一种非常特殊的性质：当他们与Module S一起使用时，也就是说当它们作为Module参数进行使用时，它们会自动添加到Module的参数列表中，并且出现在parameters()迭代器里。(这样就可以自动计算梯度等) import torch.nn as nn import torch import math import torch.nn.functional as F import numpy as np class NN_Network(nn.M.
[nn.Parameter]理解总结与初始化方法大全
panbaoran913的博客
05-31 1万+
文章目录一、查看性质二、参数是否初始化的区别三、参数初始化的方法1. 均匀分布2. 正太分布3. 常数分布4. 全1分布5. 全0分布6.单位分布:question:7. xavier_uniform 分布8. xavier_normal 分布9. kaiming_uniform 分布10. kaiming_normal 分布11、正交矩阵12、稀疏矩阵13. 函数初始化14、遍历初始化 Parameter实际上也是Tensor，也就是说是一个多维矩阵，是Variable类中的一个特殊类。当我们创建一个m
Pytorch nn.Parameter() (register_parameter)
热门推荐
hxxjxw的博客
08-10 3万+
nn.Parameter可以这样用
nn.Parameter()
qq_43638337的博客
04-07 1万+
可以方便地定义和管理模型的可训练参数，并且在模型训练过程中可以自动计算梯度并更新参数值，是构建神经网络模型时常用的工具。是 PyTorch 中的一个类，用于创建可训练的参数（权重和偏置），这些参数会在模型训练过程中自动更新。
PyTorch里面的torch.nn.Parameter()详解
09-18
本文将深入探讨`torch.nn.Parameter()`的作用、使用方法以及它在构建神经网络模型时的重要性。 首先，`torch.nn.Parameter()`的主要功能是将一个普通的张量（Tensor）转化为可训练的参数。当一个张量通过`torch.nn....
nn.Parameter和nn.Linear、nn.ModuleList和nn.Sequential区别
taoqick的专栏
10-21 282
self.weight = nn.Parameter(torch.FloatTensor(out_features, in_features)) 和self.weight = nn.Linear(in_features, out_features) 有什么区别？ 初始化方式不一样，nn.Parameter初始化方式需要指定，nn.Linear默认是Kaiming初始化 nn.Linear默认有个bias
torch.nn.Parameter()函数
梦在黎明破晓时的博客
09-16 3186
在很多经典网络结构中都有这个函数，故对其进行了解。torch.nn.Parameter 作用将一个不可训练的类型为Tensor的参数转化为可训练的类型为parameter的参数，并将这个参数绑定到module里面，成为module中可训练的参数。
深入探索 PyTorch：torch.nn.Parameter 与 torch.Tensor 的奥秘
2401_85742452的博客
08-19 1019
PyTorch 是一个基于Torch库的开源机器学习库，广泛用于计算机视觉和自然语言处理领域的研究和生产。它提供了强大的GPU加速的张量计算能力，以及构建深度学习模型的动态计算图。通过本文的深入分析，我们了解到和在 PyTorch 中扮演着不同的角色。Parameter用于定义模型的参数，而Tensor用于一般的数值计算。理解它们之间的区别对于构建和训练深度学习模型至关重要。
nn.parameter
weixin_36670529的博客
04-30 2130
class torch.nn.parameter.Parameter[source] 作为一种模型参数的张量。参数是张量的子类，在与模块s一起使用时具有一个非常特殊的特性——当它们被指定为模块属性时，它们会自动添加到参数列表中，并且会出现，例如在parameters()迭代器中。分配一个张量就没有这样的效果。这是因为人们可能想要在模型中缓存一些临时状态，比如RNN的最后一个隐藏状态。如果没有像Parameter的类，这些临时变量也要注册。 参数： data (Tensor) – 参数张量
nn.Parameter
最新发布
m0_69648014的博客
06-04 513
是 PyTorch 中用于定义可训练参数的类，继承自。它是神经网络模型中需要优化的张量（如权重、偏置）的包装类，会自动注册到模型的参数列表中，便于优化器更新。
nn.Parameter(）
weixin_44295084的博客
09-21 1287
参考笔记：https://www.cnblogs.com/xiaoqing-ing/category/1999823.html https://blog.csdn.net/echo_gou/category_11251120.html 沐神提供的：https://courses.d2l.ai/zh-v2/ 1、 W1 = nn.Parameter( torch.randn(num_inputs, num_hiddens, requires_grad=True) * 0.01) nn.Paramet
torch.nn.parameter.Parameter
weixin_43118280的博客
04-09 730
torch.nn.parameter.Parameter介绍 介绍 Parameter是张量tensor的一个子类：class Parameter(torch.Tensor) 一般是在需要用户自己创建一些张量加到模型的学习模块里面去学习， 比如在注意力机制里面，我们一般可以加入可学习的位置编码 pos_emb = torch.rand(1,num_patch,dim) pos_emb = torch.nn.parameter.Parameter(pos_emb, requires_grad=True)
PyTorch 之 nn.Parameter
牛牛博士博客
01-27 1984
PyTorch 之 nn.Parameter
torch.nn.Parameter()
lihaiyuan_0324的博客
10-22 738
首先，我写这篇文章的起源是因为，我突然看到了一段有关torch.nn.Parameter()的代码。因此就去了解了一下这个函数，把自己的一些理解记录下来，希望可以帮到你。
nn.Parameter与nn.paramter
03-04
<think>好的，我现在需要回答用户关于PyTorch中nn.Parameter和nn.parameter的问题。首先，我需要确认用户的问题是否存在拼写错误，因为第二个提到的nn.parameter可能应该是nn.Parameter。接下来，我需要回忆和整理这两个概念的相关知识。 首先，nn.Parameter是PyTorch中的一个类，用于将张量包装为模型参数，这样在训练过程中可以自动进行梯度更新。而用户提到的nn.parameter可能是一个笔误，因为在PyTorch中并没有这个名称的模块或者类。正确的应该是nn.Parameter。 接下来，我需要详细解释nn.Parameter的作用、使用方法以及它在模型训练中的重要性。同时，可能需要对比普通张量和Parameter的区别，说明为什么需要这个类。例如，当定义一个自定义层时，使用nn.Parameter可以让PyTorch知道这些张量是需要被优化的参数，从而在调用model.parameters()时包含它们，优化器会更新它们的值。 另外，需要举一个简单的例子来说明如何使用nn.Parameter，比如在自定义模块中初始化权重和偏置。同时，要提到Parameter的自动梯度计算功能，即requires_grad默认为True，而普通张量需要显式设置。 还要注意区分nn.Parameter和torch.Tensor，说明Parameter是Tensor的子类，但增加了自动注册到模块参数列表中的特性。此外，可能还需要提到ParameterList和ParameterDict这些容器，用于管理多个参数。 最后，检查是否有遗漏的信息，比如如何在模型中使用Parameter，或者常见的错误场景，比如忘记使用nn.Parameter导致参数不被优化器识别。确保解释清晰，结构合理，帮助用户彻底理解这两个概念。</think>在 PyTorch 中，`nn.Parameter` 是一个非常重要的类，而 `nn.parameter` 可能是笔误（实际不存在）。以下是详细说明： --- ### **1. nn.Parameter 的作用** `nn.Parameter` 是 PyTorch 中用于**将张量标记为模型参数**的类。它的核心功能是： - **自动注册到模块参数列表**中（可通过 `model.parameters()` 获取） - **自动梯度计算**（`requires_grad=True` 默认生效） - **优化器可识别**（会被优化器自动追踪并更新） --- ### **2. 基本用法** ```python import torch.nn as nn class MyLayer(nn.Module): def __init__(self): super().__init__() # 定义可训练参数 self.weight = nn.Parameter(torch.randn(3, 5)) # 会被自动注册为参数 self.bias = nn.Parameter(torch.zeros(5)) # 同样会被注册 def forward(self, x): return x @ self.weight + self.bias ``` --- ### **3. 与普通张量的区别** | 特性 | `nn.Parameter` | 普通 `torch.Tensor` | |---------------------|--------------------------------|-------------------------------| | 是否被 `model.parameters()` 包含 | ✅ 是 | ❌ 否（除非手动注册） | | `requires_grad` 默认值 | True | False（需要显式设置） | | 用途 | 存储需要学习的模型参数 | 存储中间计算结果或固定值 | --- ### **4. 常见错误场景** 如果忘记使用 `nn.Parameter`，参数将**不会被优化器更新**： ```python # 错误示例 ❌ self.weight = torch.randn(3, 5) # 普通张量不会被注册为参数 print(list(model.parameters())) # 输出为空列表，导致无法训练 ``` --- ### **5. 高级用法** - **参数容器**： ```python # 管理多个参数 self.params = nn.ParameterList([nn.Parameter(torch.randn(10)) for _ in range(5)]) ``` - **参数字典**： ```python self.params_dict = nn.ParameterDict({ 'w1': nn.Parameter(torch.randn(2,2)), 'b1': nn.Parameter(torch.zeros(2)) }) ``` --- ### **6. 底层原理** `nn.Parameter` 是 `torch.Tensor` 的子类。当模块被实例化时，所有 `nn.Parameter` 属性会被自动添加到模块的 `_parameters` 字典中，这是优化器能自动识别参数的机制。 --- ### **总结** - ✅ 用 `nn.Parameter` 包装所有需要学习的参数 - ✅ 自动梯度计算 + 优化器自动识别 - ❌ 避免直接使用普通张量作为可训练参数 - 💡 自定义参数管理时可配合 `nn.ParameterList` 或 `nn.ParameterDict` 使用
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值