Pytorch nn.Module模块详解

已于 2022-04-23 23:06:59 修改
阅读量4.4w 收藏 280
点赞数 57
CC 4.0 BY-SA版权
分类专栏： Pytorch 文章标签： 深度学习
于 2019-05-10 21:41:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42018112/article/details/90084419

torch.nn是专门为神经网络设计的模块化接口. nn构建于autograd之上，可以用来定义和运行神经网络。
nn.Module是nn中十分重要的类，包含网络各层的定义及forward方法。

如何定义自己的网络：

  1. 需要继承nn.Module类，并实现forward方法。继承nn.Module类之后，在构造函数中要调用Module的构造函数, super(Linear, self).init()
  2. 一般把网络中具有可学习参数的层放在构造函数__init__()中。
  3. 不具有可学习参数的层（如ReLU）可放在构造函数中，也可不放在构造函数中（而在forward中使用nn.functional来代替）。可学习参数放在构造函数中，并且通过nn.Parameter()使参数以parameters（一种tensor,默认是自动求导）的形式存在Module中，并且通过parameters()或者named_parameters()以迭代器的方式返回可学习参数。
  4. 只要在nn.Module中定义了forward函数，backward函数就会被自动实现（利用Autograd)。而且一般不是显式的调用forward(layer.forward), 而是layer(input), 会自执行forward().
  5. 在forward中可以使用任何Variable支持的函数，毕竟在整个pytorch构建的图中，是Varible在流动。还可以使用if, for, print, log等python语法。

值得注意的是：
Pytorch基于nn.Module构建的模型中，只支持mini-batch的Variable输入方式。比如，只有一张输入图片，也需要变成NxCxHxW的形式：

input_image = torch.FloatTensor(1, 28, 28)
input_image = Variable(input_image)
input_image = input_image.unsq
最低0.47元/天 解锁文章

200万优质内容无限畅学
pytorch学习笔记二——nn.Module
墨夜之枫的博客
11-26 1957
《神经网络与深度学习》笔记一——机器学习基础
PyTorch之nn.Module、nn.Sequential、nn.ModuleList使用详解
酒酿小圆子呀～
06-30 5331
nn.functional 中的函数没有可学习的参数，与nn.Module 中的层不同。其实这两种方法都是使用relu激活，只是使用的场景不一样，F.relu()是函数调用，一般使用在foreward函数里。在上述示例中，我们首先导入nn.functional 模块，然后在网络的forward 方法中使用F.relu 函数作为激活函数。的主要优势是它的计算效率和灵活性，因为它允许你以函数的方式直接调用这些操作，而不需要创建额外的层。是PyTorch中一个重要的模块，它包含了许多用于构建神经网络的函数。
【深度学习】【入门】神经网络的基本骨架nn.Module
2401_86886401的博客
07-03 199
PyTorch中构建神经网络的核心是继承nn.Module基类，它封装了网络层定义、参数管理和前向传播逻辑。示例展示了如何创建简单模型：定义类继承nn.Module，在__init__中初始化网络层，在forward方法中实现前向传播。调用父类构造函数和执行前向计算是必要操作。最后通过实例演示了一个简单的加法网络，输入1.0经过网络处理后输出2.0。nn.Module的主要优势在于自动处理梯度计算和参数优化。
深度学习pytorch——nn.Module（持续更新）
2201_76139143的博客
03-30 1890
1、nn.Module是所有层的父类，比如Linear、BatchNorm2d、Conv2d、ReLU、Sigmoid、ConvTranposed、Dropout等等这些都是它的儿子（子类），你可以直接拿来使用。作为一个初学者，发现构建一个简单的线性模型都能看到nn.Module的身影，初学者疑惑了，nn.Module到底是干什么的，如此形影不离，了解之后，很牛。2、nn.Module还支持一个nn.Module嵌套另一个nn.Module。如果你还有什么更好的idea，欢迎分享！
pytorch里面nn.Module讲解
yolov4的博客
03-30 6308
nn.Module是在pytorch使用非常广泛的类，搭建网络基本都需要用到这个。 当我们搭建自己的网络时，可以继承官方写好的nn.Module模块，为什么要用这个呢？好处如下： 1.可以提供一些现成的基本模块比如： Linear、ReLU、Sigmoid、Conv2d、Dropout 不用自己一个一个的写这些函数了，这也是为什么我们用框架的原因之一吧。 2. 容器 比如我们经常用到的 nn...
PyTorch的nn.Module类的详细介绍
xw555666的博客
01-29 7339
在PyTorch中，nn.Module类是构建神经网络模型的基础类，所有自定义的层、模块或整个神经网络架构都需要继承自这个类。nn.Module类提供了一系列属性和方法用于管理网络的结构和训练过程中的计算。
pytorch-nn.Module
wyw0000的博客
06-07 1104
pytorch nn.Module
PyTorch之nn.Module与nn.functional用法区别
酒酿小圆子呀～
06-30 1491
其实这两种方法都是使用relu激活，只是使用的场景不一样，F.relu()是函数调用，一般使用在foreward函数里。而nn.ReLU()是模块调用，一般在定义网络层的时候使用。在上述示例中，我们首先导入nn.functional 模块，然后在网络的forward 方法中使用F.relu 函数作为激活函数。的主要优势是它的计算效率和灵活性，因为它允许你以函数的方式直接调用这些操作，而不需要创建额外的层。当用print(net)输出时，nn.ReLU()会有对应的层，而F.ReLU()是没有输出的。
对Pytorch中nn.ModuleList 和 nn.Sequential详解
09-18
在PyTorch中，`nn.ModuleList`和`nn.Sequential`是两种用于构建神经网络结构的重要工具。它们都是`nn.Module`的子类，但它们的功能和使用方式有所不同。 首先，`nn.Sequential`是一个序列化的模块集合，它允许你...
深度学习(4):torch.nn.Module
qq_51976556的博客
09-24 2178
要创建自定义的神经网络模型，需要继承nn.Module构造函数__init__：在这里定义网络的层和子模块。前向方法forward：定义数据如何经过网络进行前向传播。# 定义网络层# 定义前向传播过程return out在大多数情况下，不需要手动实现反向传播函数。PyTorch 的自动求导机制（autograd）会根据前向传播中的操作，自动计算梯度。self.flatten = nn.Flatten() # 将输入展开为一维。
PyTorch 的 torch.nn 模块学习
pumpkin84514的博客
06-01 1948
torch.nn是 PyTorch 中专门用于构建和训练神经网络的模块。
PyTorch -- nn.Module 快速实践
哒哒哒哒 哒哒
06-16 1148
nn.Modulenn.Module__init__具有不具有forwardforward连接关系的结果如下所示：可参照结果对照理解。
torch.nn.Module
weixin_36670529的博客
05-17 834
nn.Module基类的构造函数： def __init__(self): self._parameters = OrderedDict() self._modules = OrderedDict() self._buffers = OrderedDict() self._backward_hooks = OrderedDict() self._forw...
初学者指南：了解 PyTorch 的 torch.nn 模块
u012374012的专栏
08-06 697
torch.nn除了使用torch.nn提供的现成层，我们还可以定义自己的层。
torch.nn模块
青山
05-25 7029
本文就根据官网文档整理一下torch.nn模块 TORCH.NN非常重要，也是以后用pytorch搭建神经网络的关键模块。所以值得认真学习。 TORCH.NN 第一个关键类： CLASS torch.nn.Parameter A kind of Tensor that is to be considered a module parameter. Parameters are Tensor s...
【pytorch官方文档学习之五】torch.nn Module
youzhizhe2014的博客
09-25 338
本系列旨在通过阅读官方pytorch代码熟悉CNN各个框架的实现方式和流程。 【pytorch官方文档学习之四】nn Module 本文是对官方文档PyTorch: nn的详细注释和个人理解，欢迎交流。 计算图(computational graph）和自动求导(autograd)的缺点 本系列前面提到的计算图和自动求导对于定义复杂的运算符和自动求导可提供异常简便的代码编写思路，但是对于层数较多的深度神经网络显得极其低效。因此，在构建神经网络时，我们希望将计算步骤分为一定数目的层layers，其中的一些层
pytorch学习（五）---torch.nn模块
qq_41858089的博客
11-23 3384
本篇自学笔记来自于b站《PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】》，Up主讲的非常通俗易懂，文章下方有视频连接，如有需要可移步up主讲解视频，如有侵权，实非故意，深表歉意，请与我联系，删除相关内容！ 本节介绍一些torch.nn模块的常用层，包括卷积层、池化层以及激活函数等。 首先是卷积层：torch.nn.Conv2d():主要参数有： in_channel:输入的通道数；out_channel:输出的通道数；k...
PyTorch基础之网络模块torch.nn中函数和模板类的使用详解（附源码）
showswoller的博客
04-29 2189
PyTorch基础之网络模块torch.nn中函数和模板类的使用详解（附源码）
Pytorch（笔记8神经网络nn）
zsy54577的博客
07-11 1693
torch.nn是专门为深度学习而设计的模块。torch.nn的核心数据结构是Module，它是一个抽象的概念，既可以表示神经网络中的某个层（layer），也可以表示一个包含很多层的神经网络。在实际使用中，最常见的做法是继承nn.Module，从而编写自己的网络/层。下面先来看看如何用nn.Module实现自己的全连接层。
nn.Module模块详细
最新发布
07-19
### PyTorch 中 `nn.Module` 模块功能详解 `nn.Module` 是 PyTorch 中用于构建神经网络模型的核心模块。它提供了一个面向对象的接口，用于定义和组织神经网络中的各个组件，例如层、损失函数、激活函数等。`nn.Module` 的设计使得模型的构建、训练和保存变得简单且高效。 #### 核心功能 `nn.Module` 的核心功能之一是支持模型的模块化设计。用户可以通过继承 `nn.Module` 类来定义自己的网络结构，并在其中使用 PyTorch 提供的其他模块（如 `nn.Linear`、`nn.Conv2d` 等）。每个 `nn.Module` 实例都可以包含其他 `nn.Module` 实例作为其子模块，从而形成一个层次化的模型结构。这种模块化的设计不仅便于代码的组织，还支持递归操作，例如通过 `modules()` 方法遍历模型中的所有子模块[^3]。 #### 输入要求 在使用 `nn.Module` 构建的模型中，输入数据必须是 mini-batch 形式的 `Variable` 对象。这意味着即使只有一张输入图片，也需要将其转换为 batch 形式。例如，对于一张 28x28 的灰度图像，输入数据需要被转换为形状为 `(1, 1, 28, 28)` 的张量，其中第一个维度表示 batch 大小，第二个维度表示通道数，后续维度表示图像的高度和宽度。这种设计是为了充分利用 GPU 的并行计算能力，从而加速模型的训练过程[^2]。 #### 模型状态与模式 `nn.Module` 还支持管理模型的状态和模式。模型的状态通常包括可学习的参数（如权重和偏置），这些参数在训练过程中会被优化器更新。`nn.Module` 提供了 `parameters()` 和 `named_parameters()` 方法，用于访问模型中的所有可学习参数。此外，`nn.Module` 还支持两种模式：训练模式和评估模式。通过调用 `model.train()` 和 `model.eval()` 方法，可以切换模型的模式，这对于某些层（如 `nn.Dropout` 和 `nn.BatchNorm2d`）的行为有直接影响。在训练模式下，这些层会应用特定的操作（如随机丢弃神经元或计算均值和方差），而在评估模式下，它们会使用预计算的统计信息。 #### 模型保存与加载 `nn.Module` 提供了方便的接口用于保存和加载模型。可以通过 `torch.save(model.state_dict(), PATH)` 方法将模型的参数保存到文件中，其中 `state_dict()` 返回一个包含模型所有可学习参数的字典。在加载模型时，可以通过 `model.load_state_dict(torch.load(PATH))` 方法将保存的参数重新加载到模型中。这种方式不仅节省存储空间，还便于模型的版本管理和迁移学习。 #### 示例代码 以下是一个简单的 `nn.Module` 使用示例，定义了一个包含两个全连接层的神经网络： ```python import torch import torch.nn as nn class SimpleNet(nn.Module): def __init__(self): super(SimpleNet, self).__init__() self.fc1 = nn.Linear(784, 128) self.fc2 = nn.Linear(128, 10) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.fc2(x) return x # 创建模型实例 model = SimpleNet() # 打印模型结构 print(model) # 切换到评估模式 model.eval() # 保存模型参数 torch.save(model.state_dict(), "simple_net.pth") # 加载模型参数 model.load_state_dict(torch.load("simple_net.pth")) ``` #### 模型调试与优化 在调试和优化模型时，`nn.Module` 提供了许多有用的工具。例如，可以通过 `model.parameters()` 访问模型的所有可学习参数，从而进行梯度检查或参数初始化。此外，`nn.Module` 还支持设备迁移，可以通过 `model.to(device)` 方法将模型迁移到 GPU 或 CPU 上进行计算。这对于加速模型训练和推理非常有帮助。 #### 模型扩展性 `nn.Module` 的设计具有高度的扩展性。用户可以通过继承 `nn.Module` 类并实现自己的 `forward` 方法来定义复杂的网络结构。此外，PyTorch 还提供了许多预定义的模块（如 `nn.Conv2d`、`nn.LSTM` 等），这些模块可以轻松地组合在一起，构建出各种类型的神经网络模型。 #### 总结 `nn.Module` 是 PyTorch 中用于构建神经网络的核心模块。它提供了模块化的设计、支持 mini-batch 输入、管理模型状态和模式、保存与加载模型参数等功能。通过 `nn.Module`，用户可以轻松地定义和训练复杂的神经网络模型，同时还可以利用 PyTorch 提供的丰富工具进行调试和优化。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值