Pytorch nn.Module模块详解

原创

已于 2022-04-23 23:06:59 修改 · 4.4w 阅读

280 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

于 2019-05-10 21:41:59 首次发布

torch.nn是专门为神经网络设计的模块化接口. nn构建于autograd之上，可以用来定义和运行神经网络。
nn.Module是nn中十分重要的类，包含网络各层的定义及forward方法。

如何定义自己的网络：

需要继承nn.Module类，并实现forward方法。继承nn.Module类之后，在构造函数中要调用Module的构造函数, super(Linear, self).init()
一般把网络中具有可学习参数的层放在构造函数__init__()中。
不具有可学习参数的层（如ReLU）可放在构造函数中，也可不放在构造函数中（而在forward中使用nn.functional来代替）。可学习参数放在构造函数中，并且通过nn.Parameter()使参数以parameters（一种tensor,默认是自动求导）的形式存在Module中，并且通过parameters()或者named_parameters()以迭代器的方式返回可学习参数。
只要在nn.Module中定义了forward函数，backward函数就会被自动实现（利用Autograd)。而且一般不是显式的调用forward(layer.forward), 而是layer(input), 会自执行forward().
在forward中可以使用任何Variable支持的函数，毕竟在整个pytorch构建的图中，是Varible在流动。还可以使用if, for, print, log等python语法。

值得注意的是：
Pytorch基于nn.Module构建的模型中，只支持mini-batch的Variable输入方式。比如，只有一张输入图片，也需要变成NxCxHxW的形式：

input_image = torch.FloatTensor(1, 28, 28)
input_image = Variable(input_image)
input_image = input_image.unsq

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Vic_Hao

关注关注

57
点赞
踩
280

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

pytorch学习笔记二——nn.Module

墨夜之枫的博客

11-26

1954

《神经网络与深度学习》笔记一——机器学习基础

PyTorch之nn.Module、nn.Sequential、nn.ModuleList使用详解

酒酿小圆子呀～

06-30

5284

nn.functional 中的函数没有可学习的参数，与nn.Module 中的层不同。其实这两种方法都是使用relu激活，只是使用的场景不一样，F.relu()是函数调用，一般使用在foreward函数里。在上述示例中，我们首先导入nn.functional 模块，然后在网络的forward 方法中使用F.relu 函数作为激活函数。的主要优势是它的计算效率和灵活性，因为它允许你以函数的方式直接调用这些操作，而不需要创建额外的层。是PyTorch中一个重要的模块，它包含了许多用于构建神经网络的函数。

2 条评论您还未登录，请先登录后发表或查看评论

Pytorch 03: nn.Module模块了解

最新发布

2401_86886401的博客

07-03

192

PyTorch中构建神经网络的核心是继承nn.Module基类，它封装了网络层定义、参数管理和前向传播逻辑。示例展示了如何创建简单模型：定义类继承nn.Module，在__init__中初始化网络层，在forward方法中实现前向传播。调用父类构造函数和执行前向计算是必要操作。最后通过实例演示了一个简单的加法网络，输入1.0经过网络处理后输出2.0。nn.Module的主要优势在于自动处理梯度计算和参数优化。

PyTorch-nn.Module

qq_61706112的博客

05-27

1834

PyTorch关于神经网络的一些层的应用。

深度学习pytorch——nn.Module（持续更新）

2201_76139143的博客

03-30

1881

1、nn.Module是所有层的父类，比如Linear、BatchNorm2d、Conv2d、ReLU、Sigmoid、ConvTranposed、Dropout等等这些都是它的儿子（子类），你可以直接拿来使用。作为一个初学者，发现构建一个简单的线性模型都能看到nn.Module的身影，初学者疑惑了，nn.Module到底是干什么的，如此形影不离，了解之后，很牛。2、nn.Module还支持一个nn.Module嵌套另一个nn.Module。如果你还有什么更好的idea，欢迎分享！

pytorch里面nn.Module讲解

yolov4的博客

03-30

6306

nn.Module是在pytorch使用非常广泛的类，搭建网络基本都需要用到这个。当我们搭建自己的网络时，可以继承官方写好的nn.Module模块，为什么要用这个呢？好处如下： 1.可以提供一些现成的基本模块比如： Linear、ReLU、Sigmoid、Conv2d、Dropout 不用自己一个一个的写这些函数了，这也是为什么我们用框架的原因之一吧。 2. 容器比如我们经常用到的 nn...

PyTorch之nn.Module与nn.functional用法区别

酒酿小圆子呀～

06-30

1473

其实这两种方法都是使用relu激活，只是使用的场景不一样，F.relu()是函数调用，一般使用在foreward函数里。而nn.ReLU()是模块调用，一般在定义网络层的时候使用。在上述示例中，我们首先导入nn.functional 模块，然后在网络的forward 方法中使用F.relu 函数作为激活函数。的主要优势是它的计算效率和灵活性，因为它允许你以函数的方式直接调用这些操作，而不需要创建额外的层。当用print(net)输出时，nn.ReLU()会有对应的层，而F.ReLU()是没有输出的。

对Pytorch中nn.ModuleList 和 nn.Sequential详解

09-18

在PyTorch中，`nn.ModuleList`和`nn.Sequential`是两种用于构建神经网络结构的重要工具。它们都是`nn.Module`的子类，但它们的功能和使用方式有所不同。首先，`nn.Sequential`是一个序列化的模块集合，它允许你...

PyTorch的nn.Module类的详细介绍

xw555666的博客

01-29

7326

在PyTorch中，nn.Module类是构建神经网络模型的基础类，所有自定义的层、模块或整个神经网络架构都需要继承自这个类。nn.Module类提供了一系列属性和方法用于管理网络的结构和训练过程中的计算。

[PyTorch][chapter 39][nn.Module]

4AM_明朝百晓生

06-12

1586

利用nn.Sequential()搭建好模型架构，模型前向传播时调用forward()方法，模型接收的输入首先被传入nn.Sequential()包含的第一个网络模块中。然后，第一个网络模块的输出传入第二个网络模块作为输入，按照顺序依次计算并传播，直到nn.Sequential()里的最后一个模块输出结果。假设类型为 torch.tensor 的张量 a 的形状如下所示：(2,4,3,5,6)，则 torch.flatten(a, 1, 3).shape 的结果为 (2, 60, 6)。

PyTorch中nn.Module类简介

网络资源是无限的

12-19

6883

torch.nn.Module类是所有神经网络模块(modules)的基类，它的实现在torch/nn/modules/module.py中。你的模型也应该继承这个类，主要重载__init__、forward和extra_repr函数。Modules还可以包含其它Modules，从而可以将它们嵌套在树结构中。只要在自己的类中定义了forward函数，backward函数就会利用Autograd被自动实现。只要实例化一个对象并传入对应的参数就可以自动调用forward函数。因为此时...

6、pytorch学习-- nn.Module

qq_42035862的博客

04-18

2169

*前置知识：python中的类和模块创建一个类 #在python中定义一个类 class Person: #attribute field #属性 name=“Mike” age=22 #方法 def greet(self): print("Hello my name is"+ self.name) #定义一个初始化的方法， def __init__(self): self.name="Alice" #缩进结束，类的定义也结束 p1=Person()#

pytorch-nn.Module

wyw0000的博客

06-07

1099

pytorch nn.Module

深度学习(4):torch.nn.Module

qq_51976556的博客

09-24

2171

要创建自定义的神经网络模型，需要继承nn.Module构造函数__init__：在这里定义网络的层和子模块。前向方法forward：定义数据如何经过网络进行前向传播。# 定义网络层# 定义前向传播过程return out在大多数情况下，不需要手动实现反向传播函数。PyTorch 的自动求导机制（autograd）会根据前向传播中的操作，自动计算梯度。self.flatten = nn.Flatten() # 将输入展开为一维。

PyTorch中nn.Module详解

qq_63075864的博客

05-30

1390

直接print(dir(nn.Module))，得到如下内容：二、模型状态与模式和三、模型保存与加载四、设备与数据类型和五、前向传播与计算六、参数初始化与优化七、调试与信息日常使用中，最频繁的方法包括：其他方法根据具体需求选择使用，例如钩子函数用于高级调试，用于统一初始化。 3.2 特有的方法 3.

Pytorch nn.Module

qq_51659249的博客

03-15

1287

torch.nn是 PyTorch 中用于构建神经网络的模块。它提供了一系列的类和函数，用于定义神经网络的各种层、损失函数、优化器等。torch.nnModule: 所有神经网络模型的基类，用于定义自定义神经网络模型。Linear: 线性层，进行线性变换。Conv2d: 二维卷积层。RNNLSTMGRU: 循环神经网络层，分别对应简单RNN、长短时记忆网络（LSTM）、门控循环单元（GRU）。: 二维批归一化层。MSELoss: 分类交叉熵损失函数和均方误差损失函数等。等等torch.nn。

深入浅出Pytorch函数——torch.nn.Module

冯·诺依曼

08-19

2257

torch.nn.Module(*args, **kwargs)

【Pytorch】nn.Module类

sandyup2019的博客

05-05

947

一、继承nn.Module类并自定义层我们要利用pytorch提供的很多便利的方法，则需要将很多自定义操作封装成nn.Module类。首先，简单实现一个Mylinear类： from torch import nn # Mylinear继承Module class Mylinear(nn.Module): # 传入输入维度和输出维度 def __init__(self,in_...

pytorch nn.MultiheadAttention

02-09

### PyTorch `nn.MultiheadAttention` 类详解 #### 参数说明 `nn.MultiheadAttention` 是用于实现多头注意力机制的关键组件。该层接受多个输入张量并返回加权后的特征表示。主要参数如下： - **embed_dim**: 表示每个位置的嵌入维度大小，即查询、键和值向量的最后一个维度。 - **num_heads**: 多头注意力中的头数。此数值决定了如何分割嵌入空间来计算不同的注意力分布[^1]。 - **dropout (optional)**: 默认为 0，在 Softmax 后应用 Dropout 层的概率。 - **bias (optional)**: 如果设为 False，则线性投影层不会带有偏置项，默认为 True。 - **add_bias_kv (optional)**: 若设置为True，则会额外添加可学习的偏差到键和值上，默认False。 - **add_zero_attn (optional)**: 是否加入全零的虚拟注意力权重，默认False。 - **kdim 和 vdim (optional)**: 键和值的特征维度；如果未指定则默认等于 embed_dim。 #### 使用实例下面是一个简单的使用案例，展示了如何创建一个多头自注意机制，并将其应用于给定的数据集。 ```python import torch import torch.nn as nn class MultiHeadedSelfAttention(nn.Module): def __init__(self, d_model=512, n_heads=8): super(MultiHeadedSelfAttention, self).__init__() self.attn = nn.MultiheadAttention(embed_dim=d_model, num_heads=n_heads) def forward(self, query, key, value): attn_output, _ = self.attn(query=query, key=key, value=value) return attn_output # 创建模型实例 d_model = 512 n_heads = 8 batch_size = 32 seq_len = 10 model = MultiHeadedSelfAttention(d_model=d_model, n_heads=n_heads) # 构建随机输入数据 query = torch.randn((seq_len, batch_size, d_model)) key = torch.randn((seq_len, batch_size, d_model)) value = torch.randn((seq_len, batch_size, d_model)) output = model.forward(query=query, key=key, value=value) print(output.shape) # 输出形状应为(seq_len, batch_size, d_model)[^2] ``` 上述代码定义了一个基于 `MultiheadAttention` 的简单自注意力网络结构，并通过构建一批假数据进行了前向传播操作验证其功能正常工作。