Pytorch nn.Module模块详解

已于 2022-04-23 23:06:59 修改
阅读量4.4w 收藏 280
点赞数 57
CC 4.0 BY-SA版权
分类专栏： Pytorch 文章标签： 深度学习
于 2019-05-10 21:41:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42018112/article/details/90084419

torch.nn是专门为神经网络设计的模块化接口. nn构建于autograd之上，可以用来定义和运行神经网络。
nn.Module是nn中十分重要的类，包含网络各层的定义及forward方法。

如何定义自己的网络：

  1. 需要继承nn.Module类，并实现forward方法。继承nn.Module类之后，在构造函数中要调用Module的构造函数, super(Linear, self).init()
  2. 一般把网络中具有可学习参数的层放在构造函数__init__()中。
  3. 不具有可学习参数的层（如ReLU）可放在构造函数中，也可不放在构造函数中（而在forward中使用nn.functional来代替）。可学习参数放在构造函数中，并且通过nn.Parameter()使参数以parameters（一种tensor,默认是自动求导）的形式存在Module中，并且通过parameters()或者named_parameters()以迭代器的方式返回可学习参数。
  4. 只要在nn.Module中定义了forward函数，backward函数就会被自动实现（利用Autograd)。而且一般不是显式的调用forward(layer.forward), 而是layer(input), 会自执行forward().
  5. 在forward中可以使用任何Variable支持的函数，毕竟在整个pytorch构建的图中，是Varible在流动。还可以使用if, for, print, log等python语法。

值得注意的是：
Pytorch基于nn.Module构建的模型中，只支持mini-batch的Variable输入方式。比如，只有一张输入图片，也需要变成NxCxHxW的形式：

input_image = torch.FloatTensor(1, 28, 28)
input_image = Variable(input_image)
input_image = input_image.unsq
最低0.47元/天 解锁文章

200万优质内容无限畅学
pytorch学习笔记二——nn.Module
墨夜之枫的博客
11-26 1954
《神经网络与深度学习》笔记一——机器学习基础
PyTorch之nn.Module、nn.Sequential、nn.ModuleList使用详解
酒酿小圆子呀～
06-30 5285
nn.functional 中的函数没有可学习的参数，与nn.Module 中的层不同。其实这两种方法都是使用relu激活，只是使用的场景不一样，F.relu()是函数调用，一般使用在foreward函数里。在上述示例中，我们首先导入nn.functional 模块，然后在网络的forward 方法中使用F.relu 函数作为激活函数。的主要优势是它的计算效率和灵活性，因为它允许你以函数的方式直接调用这些操作，而不需要创建额外的层。是PyTorch中一个重要的模块，它包含了许多用于构建神经网络的函数。
Pytorch 03: nn.Module模块了解
热门推荐
一遍看不懂，我就再看一遍
07-25 6万+
从代码角度学习理解Pytorch学习框架03： 神经网络模块nn.Module的了解。   # coding=utf-8 import torch import torch.nn as nn import torch.nn.functional as F from torch.autograd import Variable """Pytorch中神经网络模块化接口nn的了解""" ""...
【深度学习】【入门】神经网络的基本骨架nn.Module
最新发布
2401_86886401的博客
07-03 193
PyTorch中构建神经网络的核心是继承nn.Module基类，它封装了网络层定义、参数管理和前向传播逻辑。示例展示了如何创建简单模型：定义类继承nn.Module，在__init__中初始化网络层，在forward方法中实现前向传播。调用父类构造函数和执行前向计算是必要操作。最后通过实例演示了一个简单的加法网络，输入1.0经过网络处理后输出2.0。nn.Module的主要优势在于自动处理梯度计算和参数优化。
PyTorch-nn.Module
qq_61706112的博客
05-27 1834
PyTorch关于神经网络的一些层的应用。
深度学习pytorch——nn.Module（持续更新）
2201_76139143的博客
03-30 1883
1、nn.Module是所有层的父类，比如Linear、BatchNorm2d、Conv2d、ReLU、Sigmoid、ConvTranposed、Dropout等等这些都是它的儿子（子类），你可以直接拿来使用。作为一个初学者，发现构建一个简单的线性模型都能看到nn.Module的身影，初学者疑惑了，nn.Module到底是干什么的，如此形影不离，了解之后，很牛。2、nn.Module还支持一个nn.Module嵌套另一个nn.Module。如果你还有什么更好的idea，欢迎分享！
pytorch里面nn.Module讲解
yolov4的博客
03-30 6306
nn.Module是在pytorch使用非常广泛的类，搭建网络基本都需要用到这个。 当我们搭建自己的网络时，可以继承官方写好的nn.Module模块，为什么要用这个呢？好处如下： 1.可以提供一些现成的基本模块比如： Linear、ReLU、Sigmoid、Conv2d、Dropout 不用自己一个一个的写这些函数了，这也是为什么我们用框架的原因之一吧。 2. 容器 比如我们经常用到的 nn...
PyTorch之nn.Module与nn.functional用法区别
酒酿小圆子呀～
06-30 1473
其实这两种方法都是使用relu激活，只是使用的场景不一样，F.relu()是函数调用，一般使用在foreward函数里。而nn.ReLU()是模块调用，一般在定义网络层的时候使用。在上述示例中，我们首先导入nn.functional 模块，然后在网络的forward 方法中使用F.relu 函数作为激活函数。的主要优势是它的计算效率和灵活性，因为它允许你以函数的方式直接调用这些操作，而不需要创建额外的层。当用print(net)输出时，nn.ReLU()会有对应的层，而F.ReLU()是没有输出的。
对Pytorch中nn.ModuleList 和 nn.Sequential详解
09-18
在PyTorch中，`nn.ModuleList`和`nn.Sequential`是两种用于构建神经网络结构的重要工具。它们都是`nn.Module`的子类，但它们的功能和使用方式有所不同。 首先，`nn.Sequential`是一个序列化的模块集合，它允许你...
PyTorch的nn.Module类的详细介绍
xw555666的博客
01-29 7327
在PyTorch中，nn.Module类是构建神经网络模型的基础类，所有自定义的层、模块或整个神经网络架构都需要继承自这个类。nn.Module类提供了一系列属性和方法用于管理网络的结构和训练过程中的计算。
[PyTorch][chapter 39][nn.Module]
4AM_明朝百晓生
06-12 1586
利用nn.Sequential()搭建好模型架构，模型前向传播时调用forward()方法，模型接收的输入首先被传入nn.Sequential()包含的第一个网络模块中。然后，第一个网络模块的输出传入第二个网络模块作为输入，按照顺序依次计算并传播，直到nn.Sequential()里的最后一个模块输出结果。假设类型为 torch.tensor 的张量 a 的形状如下所示：(2,4,3,5,6)，则 torch.flatten(a, 1, 3).shape 的结果为 (2, 60, 6)。
PyTorch中nn.Module类简介
网络资源是无限的
12-19 6884
torch.nn.Module类是所有神经网络模块(modules)的基类，它的实现在torch/nn/modules/module.py中。你的模型也应该继承这个类，主要重载__init__、forward和extra_repr函数。Modules还可以包含其它Modules，从而可以将它们嵌套在树结构中。 只要在自己的类中定义了forward函数，backward函数就会利用Autograd被自动实现。只要实例化一个对象并传入对应的参数就可以自动调用forward函数。因为此时...
6、pytorch学习-- nn.Module
qq_42035862的博客
04-18 2169
*前置知识：python中的类和模块 创建一个类 #在python中定义一个类 class Person: #attribute field #属性 name=“Mike” age=22 #方法 def greet(self): print("Hello my name is"+ self.name) #定义一个初始化的方法， def __init__(self): self.name="Alice" #缩进结束，类的定义也结束 p1=Person()#
pytorch-nn.Module
wyw0000的博客
06-07 1099
pytorch nn.Module
深度学习(4):torch.nn.Module
qq_51976556的博客
09-24 2171
要创建自定义的神经网络模型，需要继承nn.Module构造函数__init__：在这里定义网络的层和子模块。前向方法forward：定义数据如何经过网络进行前向传播。# 定义网络层# 定义前向传播过程return out在大多数情况下，不需要手动实现反向传播函数。PyTorch 的自动求导机制（autograd）会根据前向传播中的操作，自动计算梯度。self.flatten = nn.Flatten() # 将输入展开为一维。
PyTorch中nn.Module详解
qq_63075864的博客
05-30 1396
直接print(dir(nn.Module))，得到如下内容： 二、模型状态与模式 和 三、模型保存与加载 四、设备与数据类型 和 五、前向传播与计算 六、参数初始化与优化 七、调试与信息 日常使用中，最频繁的方法包括：其他方法根据具体需求选择使用，例如钩子函数用于高级调试， 用于统一初始化。 3.2 特有的方法 3.
Pytorch nn.Module
qq_51659249的博客
03-15 1289
torch.nn是 PyTorch 中用于构建神经网络的模块。它提供了一系列的类和函数，用于定义神经网络的各种层、损失函数、优化器等。torch.nnModule: 所有神经网络模型的基类，用于定义自定义神经网络模型。Linear: 线性层，进行线性变换。Conv2d: 二维卷积层。RNNLSTMGRU: 循环神经网络层，分别对应简单RNN、长短时记忆网络（LSTM）、门控循环单元（GRU）。: 二维批归一化层。MSELoss: 分类交叉熵损失函数和均方误差损失函数等。等等torch.nn。
深入浅出Pytorch函数——torch.nn.Module
冯·诺依曼
08-19 2258
torch.nn.Module(*args, **kwargs)
【Pytorch】nn.Module类
sandyup2019的博客
05-05 947
一、继承nn.Module类并自定义层 我们要利用pytorch提供的很多便利的方法，则需要将很多自定义操作封装成nn.Module类。 首先，简单实现一个Mylinear类： from torch import nn # Mylinear继承Module class Mylinear(nn.Module): # 传入输入维度和输出维度 def __init__(self,in_...
pytorch nn.MultiheadAttention
02-09
### PyTorch `nn.MultiheadAttention` 类详解 #### 参数说明 `nn.MultiheadAttention` 是用于实现多头注意力机制的关键组件。该层接受多个输入张量并返回加权后的特征表示。 主要参数如下： - **embed_dim**: 表示每个位置的嵌入维度大小，即查询、键和值向量的最后一个维度。 - **num_heads**: 多头注意力中的头数。此数值决定了如何分割嵌入空间来计算不同的注意力分布[^1]。 - **dropout (optional)**: 默认为 0，在 Softmax 后应用 Dropout 层的概率。 - **bias (optional)**: 如果设为 False，则线性投影层不会带有偏置项，默认为 True。 - **add_bias_kv (optional)**: 若设置为True，则会额外添加可学习的偏差到键和值上，默认False。 - **add_zero_attn (optional)**: 是否加入全零的虚拟注意力权重，默认False。 - **kdim 和 vdim (optional)**: 键和值的特征维度；如果未指定则默认等于 embed_dim。 #### 使用实例 下面是一个简单的使用案例，展示了如何创建一个多头自注意机制，并将其应用于给定的数据集。 ```python import torch import torch.nn as nn class MultiHeadedSelfAttention(nn.Module): def __init__(self, d_model=512, n_heads=8): super(MultiHeadedSelfAttention, self).__init__() self.attn = nn.MultiheadAttention(embed_dim=d_model, num_heads=n_heads) def forward(self, query, key, value): attn_output, _ = self.attn(query=query, key=key, value=value) return attn_output # 创建模型实例 d_model = 512 n_heads = 8 batch_size = 32 seq_len = 10 model = MultiHeadedSelfAttention(d_model=d_model, n_heads=n_heads) # 构建随机输入数据 query = torch.randn((seq_len, batch_size, d_model)) key = torch.randn((seq_len, batch_size, d_model)) value = torch.randn((seq_len, batch_size, d_model)) output = model.forward(query=query, key=key, value=value) print(output.shape) # 输出形状应为(seq_len, batch_size, d_model)[^2] ``` 上述代码定义了一个基于 `MultiheadAttention` 的简单自注意力网络结构，并通过构建一批假数据进行了前向传播操作验证其功能正常工作。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值