关于pytorch nn.Linear类一个很少见的操作

最新推荐文章于 2024-09-26 07:35:37 发布
最新推荐文章于 2024-09-26 07:35:37 发布
阅读量1.2k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_15054345/article/details/121246602
博主在阅读SwinTransformer代码时发现Linear层被用于四维输入，这并不常见。通过实验验证，发现在PyTorch中Linear层只对输入Tensor的最后维度进行计算。输入（1,3,224,224）经过（224,512）的全连接层后得到（1,3,224,512）的输出。这一观察对于理解Transformer模型的实现具有参考价值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在阅读swin transformer的代码，在其PatchEmbedding模块发现了一个很少见的操作，Linear的输入竟然是四维（见下图1，swin transformer解读原文见：CV+Transformer之Swin Transformer - 知乎 (zhihu.com)），和以往常见的二维输入完全不一样，因此自己写代码测试了一下：

 得出的结论如下：

pytorch中，Linear类的这种全连接层只会对输入Tensor的最后一维进行计算，论据如下图：

 在此处我生成了一个（1,3,224,224)的四维tensor，将其输入一个为维度为(224,512)的全连接层计算后得到了一个维度为（1,3,224,512）的向量。这个用法几乎很少见，因此做个记录。

线性表（Linear List）- 定义 & 基本操作
Burning Chrome
07-01 449
数据结构-线性表-定义&基本操作
torch.nn
Rhett_Butler0922的博客
04-25 1250
torch.nn是 PyTorch 提供的一个模块化工具集，专为构建和训练神经网络设计。模块化：通过nn.Module基类，用户可以像搭积木一样组合各种层、激活函数和损失函数，构建复杂模型。动态计算图：PyTorch 的动态计算图（eager execution）允许在运行时定义和修改网络结构，适合研究和快速原型开发。灵活性与控制力：用户可以轻松自定义层、损失函数或前向传播逻辑，同时保留对底层张量操作的访问权限。易用性。
Linear()参数以及用法
hyh14的博客
09-26 1888
-bias【默认true】:如果设置为“False”，层将不会学习加性偏差b。--out_features:每个输出样本的大小。--in_features:每个输入样本的大小。--weight：线性权重 形状为。，U分布为标准正态分布，其中，--bias：b的形状为。
神经网络——线性层中Linear函数及torch.flatten()的使用
m0_51816252的博客
06-03 7352
线性层中Linear函数可以将输入的样本大小，输出成我们需要的大小，在构建神经网络是经常会使用到，torch.flatten()，可以将数据展成一维的，相比较reshape函数，使用更加方便。但总的来说torch.flatten()的功能还是比较单调，reshape功能更加强大。......
torch.nn.Linear的使用方法
使者大牙ℂypher的博客
03-30 3848
torch.nn中全连接层的介绍
PyTorch的nn.Linear（）详解
OneBaBa的专栏
10-20 2105
PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：   in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即输出的二维张量的形状为[batch_size，output_size]，当然，它也代表了该全连接层的神经元个数。   
网络中nn.Sequential( nn.Linear(out_channels // 2, out_channels), nn.Sigmoid() )这有什么作用
02-22
</think>`nn.Sequential(nn.Linear(out_channels // 2, out_channels), nn.Sigmoid())` 是 PyTorch 中的一个顺序模块，包含线性层和 Sigmoid 激活函数，其作用可拆解如下： ### 1. **`nn.Linear(out_channels // 2,...
nn.linear后的两个矩阵是什么形式存在的，因为这两个矩阵是两个完全独立的蛋白，简单融合是错误的
最新发布
06-24
每个蛋白质单独通过一个`nn.Linear`层（可能是同一个层，也可能是不同的层），然后融合它们的输出。2.将两个蛋白质的特征先融合（拼接或相加等），再通过一个`nn.Linear`层。下面我们分别讨论这两种情况，并说明输出...
``` class GaussSwish(nn.Module): def __init__(self, c=0.5): super(GaussSwish, self).__init__() self.c = c def forward(self, x): return x * torch.sigmoid(x - self.c) class MLP(nn.Module): def __init__( self, input_dim=3, hidden_dim=64, num_layers=8, dropout=0.1 # 移除了原activation参数 ): super(MLP, self).__init__() layers = [] # 输入层 layers.append(nn.Linear(input_dim, hidden_dim)) layers.append(nn.BatchNorm1d(hidden_dim)) layers.append(nn.Dropout(dropout)) # 中间隐藏层（实现激活函数过渡） total_hidden = num_layers - 2 # 总隐藏层数 for layer_idx in range(total_hidden): # 线性层 + 归一化 layers.append(nn.Linear(hidden_dim, hidden_dim)) layers.append(nn.BatchNorm1d(hidden_dim)) # 渐进式激活函数选择 if layer_idx < total_hidden // 3: act = nn.Tanh() elif layer_idx < 2 * (total_hidden // 3): act = nn.SiLU() # Swish else: act = nn.Hardswish() layers.append(act) layers.append(nn.Dropout(dropout)) # 输出层 layers.append(nn.Linear(hidden_dim, 1)) self.net = nn.Sequential(*layers) self._init_weights() def _init_weights(self): """Xavier初始化""" for m in self.modules(): if isinstance(m, nn.Linear): nn.init.xavier_normal_(m.weight) if m.bias is not None: nn.init.constant_(m.bias, 0) def forward(self, x): return self.net(x)```这段代码中，类似于这个神经网络，隐含层中激活函数GaussSwish放置在HardSwish后面还是前面效果会好
03-20
但代码中当前的结构是每个中间层只有一个激活函数，所以可能用户的问题是关于替换还是顺序调整。 综上，可能的建议是：在深层网络的后面阶段（原本使用HardSwish的地方）替换为GaussSwish，或者将GaussSwish放在...
# 定义LSTM模型 class LSTMModel(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(LSTMModel, self).__init__() self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) self.init_weights() def forward(self, x): out, _ = self.lstm(x) out = self.fc(out[:, -1, :]) return out def init_weights(self): torch.manual_seed(42) for name, param in self.named_parameters(): if 'weight' in name: nn.init.normal_(param, mean=0, std=0.1) elif 'bias' in name: nn.init.constant_(param, 0) 模型出现Train Loss和Val Loss=0.0000怎么解决
03-31
如果标签被错误地处理，比如全为同一个值，模型可能快速拟合导致损失为0。这时候需要检查数据加载和预处理步骤是否正确。 接下来是模型结构。LSTM的初始化是否正确？比如，权重初始化是否合适，如果权重初始化为全0...
Pytorch nn.Linear的基本用法与原理详解
热门推荐
iioSnail的博客
02-06 13万+
nn.Linear的基本用法 nn.Linear定义一个神经网络的线性层，方法签名如下： torch.nn.Linear(in_features, # 输入的神经元个数 out_features, # 输出神经元个数 bias=True # 是否包含偏置 ) Linear其实就是执行了一个转换函数，即： y=xAT+b y = xA^T + b y=xAT+b 其中ATA^TAT是模型要学习的参数，b是偏置 from torch impor
Pytorch中的一些模块
Ed_Lay的博客
03-06 422
Pytorch中的一些模块 1.nn.Linear() nn.Linear（）用来设置神经网络中的全连接层。全连接层的输入和输出均为二维张量，一般形状为[batch_size, size]。这与卷积层所要求的的输入输出量均为四维张量不同。其用法和形参如下： in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即输出的二维张量的形状为[batch_size，output_size]，当然，它也代
深度学习day7（Linear）
2401_83649141的博客
08-19 336
层，也被称为全连接层（Fully Connected Layer），是神经网络中最基本的层之一。它的作用是将输入的数据（通常是一个向量）线性变换到一个新的特征空间。层处理，因此你需要通过摊平（flatten）操作将其转换为一个二维张量。摊平操作会将图像的所有像素值（即所有特征）转换为一个长向量，这样每个图像就变成了一个包含所有像素值的向量，然后这个向量可以被。层期望的输入是一个二维张量（或一维张量，但会被自动转换为二维），其形状为。是一个四维张量（Tensor），其形状通常为。转换后，这个张量的形状会是。
Pytorch中nn.Linear使用方法
ym62033的博客
04-09 3396
，n表示输入向量的个数(也可以理解为行数，比如一次输入100个样本数据，则n=100)，i为每个样本的特征数，也可以理解为神经元的个数，O为输出样本的特征数，即输出神经元的个数。第3、4、5个样本的验证过程类似，从以上验证可以看出，所有样本共享参数矩阵W和偏置b。可以看到，模型有4个参数，分别为W的三个权重和b的一个偏置。假设有5个输入样本A、B、C、D、E（即batch_size为5），每个样本的特征数量为3，定义线性层时，输入特征为3，所以。，想让下一层的神经元个数为5，所以。
【亲测免费】 Linear 项目使用教程
gitblog_00087的博客
09-26 989
Linear 项目使用教程 1. 项目介绍 Linear 是一个用于现代产品开发的工具，旨在简化问题跟踪、项目管理和产品路线图的制定。Linear 提供了一套工具和 SDK，帮助团队高效地管理软件项目、冲刺、任务和错误跟踪。它特别适合高性能团队使用。 Linear 项目在 GitHub 上的仓库地址为：https://github.com/linear/linear.git。该项目包含多个开源包，...
Transformer 代码详解(Pytorch版)
一璐有你的专栏
08-05 6万+
前言 基于上一篇经典网络架构学习-Transformer的学习，今天我们来使用pytorch 搭建自己的transformer模型，加深对transformer的理解，不仅在NLP领域绕不开transformer，而且在CV领域也是很火热，很多模型都用到了注意力机制。 Transformer完整代码 安装好pytorch开发环境，可以直接跑的。也可以直接用cpu跑我下面的transformer代码，数据集比较小，在2G内存就够了。 # ===============================
Affine层之nn.Linear()的使用
mengdeer_Q的博客
02-17 537
Affine层也叫线性层，在神经网络全连接用的比较多，即Y = WX+b, 其中W为权重向量，b为偏置。在pytorch中Affine层为采用nn.Linear()类实现
nn.Linear() 函数可二维或三维输入
m0_61899108的博客
04-03 8825
nn.Linear() 常用于处理二维信息，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]，不同于卷积层要求输入输出是四维张量。从输入输出的张量的shape角度来理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。 仔细观察Shape可以发现，nn.Linear(in_features,out_features)可以用于处理多维信息。
对 torch.nn.Linear 的理解
Flag_ing的博客
03-31 2310
torch.nn.Linear 是 pytorch 的线性变换层，定义如下： Linear(in_features: int, out_features: int, bias: bool = True, device: Any | None = None, dtype: Any | None = None) 全连接层 Fully Connect 一般就就用这个函数来实现。因此在潜意识里，变换的输入张量的 shape 为 (batchsize, in_features)，输出张量的 shape 为 (
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值