torch学习笔记(二) nn类结构-Linear

最新推荐文章于 2025-06-30 15:33:00 发布
原创 最新推荐文章于 2025-06-30 15:33:00 发布 · 4.3w 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文是PyTorch学习笔记的第二部分，主要介绍nn.Linear模块。Linear作为module的子类，用于实现线性变换。内容包括Linear的创建方法，详细解释了inputSize和outputSize的含义，并通过实例展示了前向传播过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Linear 是module的子类，是参数化module的一种，与其名称一样，表示着一种线性变换。

创建

这里写图片描述
parent 的init函数
这里写图片描述
Linear的创建需要两个参数，inputSize 和 outputSize
inputSize：输入节点数
outputSize：输出节点数
所以Linear 有7个字段:

  • weight : Tensor ， outputSize × inputSize
  • bias: Tensor ，outputSize
  • gradWeight: Tensor ， outputSize × inputSize
  • gradBias: Tensor ，outputSize
  • gradInput: Tensor
  • output: Tensor
  • _type: output:type()

例子

module = nn.Linear(10, 5)

Forward Pass

这里写图片描述

PyTorch中torch.nn.Linear详解
.
03-23 785
神经网络常常需要进行线性变换操作，torch.nn.Linear就是一个十分常用的实现线性变换的方法之一。综上所述，torch.nn.Linear是PyTorch中极为常用的线性变换方法之一，通过定义输入数据和权重矩阵来实现。其中in_features是输入的特征数，out_features是输出的特征数，这两个参数是必须的。需要注意的是，当我们使用GPU进行训练时，我们需要把我们的数据和模型都移到GPU上。其中x是输入数据，A是权重矩阵，b是偏置项，y是输出结果。
torch学习笔记(一) nn类结构-Module
野生的TFgirl
09-24 2262
网络的每一个模块都是由Modules组成的，可以使用一些 Module 的子类。容器类包括Sequential,Parallel和Concat，这些容器可以包含simple layers，比如Linear，Mean，Max和Reshape，或者是convolution layers以及transfer layers比如Tanh。 Loss functions 是作为Criterion子类实现的，
PyTorch中的torch.nn.Linear详解
qq_44289607的博客
01-30 1万+
torch.nn是包含了构筑神经网络结构基本元素的包，在这个包中，可以找到任意的神经网络层。这些神经网络层都是nn.Module这个大类的子类。torch.nn.Linear就是神经网络中的线性层，可以实现形如y=Xweight^T+b的加和功能。 其用法与形参说明如下： 代码很简单，但有许多细节需要声明： 1）nn.Linear是一个类，使用时进行类的实例化 2）实例化的时候，nn.Linear需要输入两个参数，in_features为上一层神经元的个数，out_features为这一层的神经
【Torch】nn.Linear算法详解
最新发布
zkw54334的博客
06-30 548
nn.Linear是 PyTorch 中最基础的全连接（fully‐connected）线性层，也称仿射变换层（affine layer）。outputxWTboutputxWTb其中，WWW是形状为的权重矩阵，bbb是长度为的偏置向量。
【pytorch】torch.nn.Linear详解
sazass的博客
03-18 6万+
在学习transformer时，遇到过非常频繁的nn.Linear()函数，这里对nn.Linear进行一个详解。 参考：https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html 概要 1. nn.Linear的原理:2. nn.Linear的使用:3. nn.Linear的源码定义:4. nn.Linear的官方源码: 1. nn.Linear的原理: 从名称就可以看出来，nn.Linear表示的是线性变换，原型就是初级数学
超级详细的torch.nn.Linear()函数讲解
qq_74087436的博客
07-09 9674
2.out_feature:该参数代表输出的最后一维的通道个数，就二维来说通俗来说就是Y矩阵的列数，因为Y是输出的参数，而Y维度为2，其最后一维就是列，所以out_feature在二维中就是矩阵Y的列数。1.in_fetaure:该参数代表输入的最后一维的通道个数，就二维来说通俗来说就是X矩阵的列数，因为X是输入的参数，而X维度为2，其最后一维就是列，所以in_feature在二维中就是矩阵X的列数。其中W是模型要学习的参数，W的维度为ixo，b是维度o的向量偏置。1.为什么w的维度是ixo呢？
PyTorch的nn.Linear（）详解
Fighting Hua
08-26 1万+
一、概述 PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意在二维图像处理的任务中，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：   二、参数说明 in_features指的是输入的二维张量的大小，即输入的 [batch_size, size] 中的size（输入图片的特征共有多少个，上一个全连接层神经元的个数）。 out_features指的是输出的二维张量的大小，即输
PyTorch学习笔记（二）——torch.nn解析
Candyerer的博客
01-27 3128
PyTorch提供了方便漂亮的类和模块，来帮助我们创建和训练神经网络，例如 torch.nn, torch.optim 等。 为了更好地理解这些模块的功能和原理，我们在手动搭建的神经网络上，逐步添加这些模块，以显示每部分模块的功能，以及每部分是如何让代码更加灵活简洁的。 1、手动搭建神经网络 使用MNIST数据集，该数据集共有50000个图片，每一图片大小为2828，储存在长度为2828=784的扁平行。 #定义权重和偏执值,需要requires_grad=True，以便自动计算梯度，完成反馈 weight
pytorch学习（五）---torch.nn模块
qq_41858089的博客
11-23 3383
本篇自学笔记来自于b站《PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】》，Up主讲的非常通俗易懂，文章下方有视频连接，如有需要可移步up主讲解视频，如有侵权，实非故意，深表歉意，请与我联系，删除相关内容！ 本节介绍一些torch.nn模块的常用层，包括卷积层、池化层以及激活函数等。 首先是卷积层：torch.nn.Conv2d():主要参数有： in_channel:输入的通道数；out_channel:输出的通道数；k...
torch.nn【总结笔记】
bettle_king的博客
03-08 855
在训练时，该层计算每次输入的均值与方差，并进行移动平均。ceil_mode - 如果等于 True，计算输出信号大小的时候，会使用向上取整，代替默认的向下取整的操作。ceil_mode - 如果等于 True，计算输出信号大小的时候，会使用向上取整，代替默认的向下取整的。ceil_mode - 如果等于 True，计算输出信号大小的时候，会使用向上取整，代替默认的向下取整的。ceil_mode - 如果等于 True，计算输出信号大小的时候，会使用向上取整，代替默认的向下取整的。
浅析PyTorch中nn.Linear的使用
09-18
主要介绍了浅析PyTorch中nn.Linear的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
【学习笔记】pytorch迁移学习-猫狗分类实战
weixin_45131923的博客
12-23 1712
1.迁移学习入门 什么是迁移学习：在深度神经网络算法的引用过程中，如果我们面对的是数据规模较大的问题，那么在搭建好深度神经网络模型后，我们势必要花费大量的算力和时间去训练模型和优化参数，最后耗费了这么多资源得到的模型却只能解决这一个问题，性价比较低。如果训练得到的模型能够解决同一类问题，那么模型的性价比就会提高很多，这就促使使用迁移模型解决同一类问题的方法出现。我们通过对一个训练好的模型进行细微调整，就能将其应用到相似的问题中，最后还能取得很好的效果；另外，对于原始数据较少的问题，我们也能够通过采用迁移模型
【Pytorch】一文向您详细介绍 torch.nn.Linear() 的作用和用法
创作高质量博文，分享知识，共同进步！
06-07 6337
🌟【PyTorch秘籍】torch.nn.Linear() 深度解析🌟 🔍 深入探索PyTorch中`torch.nn.Linear()`的奥秘！从线性变换原理到模型构建技巧，本文一网打尽。📚 🚀 掌握权重初始化、正则化、批量归一化等进阶技巧，让您的神经网络性能飙升！🚀 💡 快速上手，轻松理解，助您成为PyTorch高手！👉 #PyTorch #torch.nn.Linear() #深度学习 #神经网络模型 #权重初始化 #批量归一化 #正则化 #模型优化 #编程技巧
Pytorch中的torch.nn.Linear()方法的详解
F845992311的博客
03-10 5253
torch.nn.Linear()作为深度学习中最简单的线性变换方法，其主要作用是对输入数据应用线性转换。
pytorch基础（五）：torch.nn.Linear的工作原理
一个bug是bug，多个bug能work
11-25 3111
文章目录前言一、吴恩达深度学习视频二、torch.nn.Linear 前言   本系列主要是对pytorch基础知识学习的一个记录，尽量保持博客的更新进度和自己的学习进度。本人也处于学习阶段，博客中涉及到的知识可能存在某些问题，希望大家批评指正。另外，本博客中的有些内容基于吴恩达老师深度学习课程，我会尽量说明一下，但不敢保证全面。 提示：以下是本篇文章正文内容，下面案例可供参考 一、吴恩达深度学习视频   相信很多人深度学习的入门教程是吴恩达老师的深度学习视频，吴恩达老师有关线性激活的运算推导相信大家
pytorch学习线性回归与非线性回归，以及理解nn.linear()和ReLU激活函数
weixin_46919419的博客
01-17 5340
参考书目：Pytorch深度学习入门，作者：曾芃壹 文章目录线性回归线性模型与目标函数优化批量输入代码实践大规模数据实验神经网络实现线性回归非线性回归激活函数人工神经网络详解nn.linear()的原理浅谈ReLU激活函数在本例中的作用 线性回归 线性模型与目标函数 这次我们使用直线KaTeX parse error: \tag works only in display equations来拟合几个离散点，个点的 值如下 x(i)x^{(i)}x(i) y(i)y^{(i)}y(i) y^(i)
torch.nn.Linear()函数的理解
热门推荐
哪惧明天，风高路斜
02-21 14万+
import torch x = torch.randn(128, 20) # 输入的维度是（128，20） m = torch.nn.Linear(20, 30) # 20,30是指维度 output = m(x) print('m.weight.shape:\n ', m.weight.shape) print('m.bias.shape:\n', m.bias.shape) print...
莫烦pytorch 关系拟合（回归）
Kstheme的博客
08-12 340
思路：首先建立一个数据集用来拟合函数，要拟合函数我们就需要建立一个神经网络，建立好神经网络后，我们再通过训练网络来减小神经网络拟合函数的误差，最后再可视化拟合过程。 建立数据集 我们创建一个一元二次函数：y=a*x^2 + b, 我们给y数据加上一点噪声来更加真实的展示它。 import torch import matplotlib.pyplot as plt #可视化函数库 x = torc...
李沐深度学习-循环卷积网络笔记
03-27
### 关于李沐深度学习课程中循环卷积网络部分的学习笔记 在李沐的《动手学深度学习》教材及其配套资源中，虽然主要关注的是基础概念、数据操作以及经典的卷积神经网络（CNN），但对于更复杂的结构如循环卷积网络（Recurrent Convolutional Networks, RCNs）也有一定的涉及[^1]。然而，在具体章节安排上，RCN的内容并未单独成篇，而是作为高级主题的一部分被提及。 #### 循环卷积网络简介 循环卷积网络是一种结合了卷积神经网络（CNN）的空间特征提取能力和循环神经网络（RNN）的时间序列建模能力的方法。这种模型特别适用于处理具有时空依赖性的任务，比如视频分类或动作识别。通过引入时间维度上的记忆机制，RCN能够更好地捕捉动态变化的信息[^4]。 #### 学习路径建议 对于希望深入理解循环卷积网络的学生来说，可以从以下几个方面入手： 1. **基础知识巩固**: 首先复习卷积神经网络的基础理论，包括但不限于卷积层的工作原理、池化操作的作用等。这部分内容可以通过阅读李沐老师的讲义或者观看其相关视频完成[^3]。 2. **时间序列分析入门**: 接着了解基本的RNN变体，例如LSTM(Long Short-Term Memory) 和 GRU(Gated Recurrent Unit)，这些单元如何解决梯度消失等问题是非常重要的知识点。 3. **融合实践探索**: 当具备上述两项技能之后，则可尝试将两者结合起来应用到实际场景当中去。这里推荐查阅一些最新的科研论文或是开源项目案例来进行模仿练习[^2]。 以下是简单的代码片段展示如何构建一个基础版本的RCN模型： ```python import torch.nn as nn class SimpleRCN(nn.Module): def __init__(self, input_channels, num_classes): super(SimpleRCN, self).__init__() # Define a CNN part self.cnn = nn.Sequential( nn.Conv2d(input_channels, 64, kernel_size=3), nn.ReLU(), nn.MaxPool2d(kernel_size=2)) # Flatten the output of CNN to feed into RNN self.flatten = nn.Flatten() # Define an LSTM layer after flattening spatial features self.lstm = nn.LSTM(64 * 7 * 7, hidden_size=128, batch_first=True) # Final fully connected layer for classification task self.fc = nn.Linear(128, num_classes) def forward(self, x): cnn_outs = [] T = x.size(1) # Time steps for t in range(T): out_cnn = self.cnn(x[:,t,:,:]) flattened = self.flatten(out_cnn) cnn_outs.append(flattened.unsqueeze(dim=1)) lstm_input = torch.cat(cnn_outs,dim=1) _, (hn,cn)= self.lstm(lstm_input) final_output = hn[-1] return self.fc(final_output) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值