关于pytorch nn.Linear类一个很少见的操作

最新推荐文章于 2025-06-16 21:43:17 发布
原创 最新推荐文章于 2025-06-16 21:43:17 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

博主在阅读SwinTransformer代码时发现Linear层被用于四维输入，这并不常见。通过实验验证，发现在PyTorch中Linear层只对输入Tensor的最后维度进行计算。输入（1,3,224,224）经过（224,512）的全连接层后得到（1,3,224,512）的输出。这一观察对于理解Transformer模型的实现具有参考价值。
部署运行你感兴趣的模型镜像

最近在阅读swin transformer的代码，在其PatchEmbedding模块发现了一个很少见的操作，Linear的输入竟然是四维（见下图1，swin transformer解读原文见：CV+Transformer之Swin Transformer - 知乎 (zhihu.com)），和以往常见的二维输入完全不一样，因此自己写代码测试了一下：

 得出的结论如下：

pytorch中，Linear类的这种全连接层只会对输入Tensor的最后一维进行计算，论据如下图：

 在此处我生成了一个（1,3,224,224)的四维tensor，将其输入一个为维度为(224,512)的全连接层计算后得到了一个维度为（1,3,224,512）的向量。这个用法几乎很少见，因此做个记录。

您可能感兴趣的与本文相关的镜像

PyTorch 2.6

PyTorch 2.6

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

多维度输入问题和加载数据集
BKXjilu的博客
09-21 1195
老师视频里面的：xy=np.loadtxt('diabetes.csv,gz',delimiter=',',dtype=np.float32)应该是将diabetes_data.csv.gz和diabetes_target.csv.gz的数据合并了，在导入数据集的时候要分别导入x,y。由于每一层的输出又变成下一层的输入，所以我们可以不用定义新的变量，直接使用x即可。用自带的数据集跑出来的数据太奇怪了，损失有350多，我改用老师的数据集。现在的输入x是十维的，包含442个样本，需要导入数据集文件。
Pytorch中的一些模块
Ed_Lay的博客
03-06 470
Pytorch中的一些模块 1.nn.Linear() nn.Linear（）用来设置神经网络中的全连接层。全连接层的输入和输出均为二维张量，一般形状为[batch_size, size]。这与卷积层所要求的的输入输出量均为四维张量不同。其用法和形参如下： in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即输出的二维张量的形状为[batch_size，output_size]，当然，它也代
nn.Linear（）函数详解及代码使用
qq_24193303的博客
07-15 5万+
这是官方给出的文档，需要注意的是，虽然在神经网络中，我们一般输入都是二维的tensor矩阵（batch，input_size），但其实输入的维度是不做限制的。如果是三维的输入，会将前两维的数据先乘一起，然后在做计算，实际上还是单层神经网络的计算。个人理解，这个函数就是改变最后一维，也就是数据的特征维度，通过调整output_size的尺寸来扩张或者是收缩特征。 import torch.nn as nn import torch import numpy as np X_2dim=np.arra..
线性表（Linear List）- 定义 & 基本操作
Burning Chrome
07-01 479
数据结构-线性表-定义&基本操作
Linear()参数以及用法
hyh14的博客
09-26 2051
-bias【默认true】:如果设置为“False”，层将不会学习加性偏差b。--out_features:每个输出样本的大小。--in_features:每个输入样本的大小。--weight：线性权重 形状为。，U分布为标准正态分布，其中，--bias：b的形状为。
网络中nn.Sequential( nn.Linear(out_channels // 2, out_channels), nn.Sigmoid() )这有什么作用
02-22
</think>`nn.Sequential(nn.Linear(out_channels // 2, out_channels), nn.Sigmoid())` 是 PyTorch 中的一个顺序模块，包含线性层和 Sigmoid 激活函数，其作用可拆解如下： ### 1. **`nn.Linear(out_channels // 2,...
nn.linear后的两个矩阵是什么形式存在的，因为这两个矩阵是两个完全独立的蛋白，简单融合是错误的
最新发布
06-24
每个蛋白质单独通过一个`nn.Linear`层（可能是同一个层，也可能是不同的层），然后融合它们的输出。2.将两个蛋白质的特征先融合（拼接或相加等），再通过一个`nn.Linear`层。下面我们分别讨论这两种情况，并说明输出...
torch.nn
Rhett_Butler0922的博客
04-25 1632
torch.nn是 PyTorch 提供的一个模块化工具集，专为构建和训练神经网络设计。模块化：通过nn.Module基类，用户可以像搭积木一样组合各种层、激活函数和损失函数，构建复杂模型。动态计算图：PyTorch 的动态计算图（eager execution）允许在运行时定义和修改网络结构，适合研究和快速原型开发。灵活性与控制力：用户可以轻松自定义层、损失函数或前向传播逻辑，同时保留对底层张量操作的访问权限。易用性。
``` class GaussSwish(nn.Module): def __init__(self, c=0.5): super(GaussSwish, self).__init__() self.c = c def forward(self, x): return x * torch.sigmoid(x - self.c) class MLP(nn.Module): def __init__( self, input_dim=3, hidden_dim=64, num_layers=8, dropout=0.1 # 移除了原activation参数 ): super(MLP, self).__init__() layers = [] # 输入层 layers.append(nn.Linear(input_dim, hidden_dim)) layers.append(nn.BatchNorm1d(hidden_dim)) layers.append(nn.Dropout(dropout)) # 中间隐藏层（实现激活函数过渡） total_hidden = num_layers - 2 # 总隐藏层数 for layer_idx in range(total_hidden): # 线性层 + 归一化 layers.append(nn.Linear(hidden_dim, hidden_dim)) layers.append(nn.BatchNorm1d(hidden_dim)) # 渐进式激活函数选择 if layer_idx < total_hidden // 3: act = nn.Tanh() elif layer_idx < 2 * (total_hidden // 3): act = nn.SiLU() # Swish else: act = nn.Hardswish() layers.append(act) layers.append(nn.Dropout(dropout)) # 输出层 layers.append(nn.Linear(hidden_dim, 1)) self.net = nn.Sequential(*layers) self._init_weights() def _init_weights(self): """Xavier初始化""" for m in self.modules(): if isinstance(m, nn.Linear): nn.init.xavier_normal_(m.weight) if m.bias is not None: nn.init.constant_(m.bias, 0) def forward(self, x): return self.net(x)```这段代码中，类似于这个神经网络，隐含层中激活函数GaussSwish放置在HardSwish后面还是前面效果会好
03-20
但代码中当前的结构是每个中间层只有一个激活函数，所以可能用户的问题是关于替换还是顺序调整。 综上，可能的建议是：在深层网络的后面阶段（原本使用HardSwish的地方）替换为GaussSwish，或者将GaussSwish放在...
使用Pytorch从零开始实现CLIP
GarryWang1248的博客
11-30 5108
生成式建模知识回顾:[1][2][3][4][5][6][7][8]
Pytorch nn.Linear的基本用法与原理详解
iioSnail的博客
02-06 13万+
nn.Linear的基本用法 nn.Linear定义一个神经网络的线性层，方法签名如下： torch.nn.Linear(in_features, # 输入的神经元个数 out_features, # 输出神经元个数 bias=True # 是否包含偏置 ) Linear其实就是执行了一个转换函数，即： y=xAT+b y = xA^T + b y=xAT+b 其中ATA^TAT是模型要学习的参数，b是偏置 from torch impor
神经网络——线性层中Linear函数及torch.flatten()的使用
m0_51816252的博客
06-03 7504
线性层中Linear函数可以将输入的样本大小，输出成我们需要的大小，在构建神经网络是经常会使用到，torch.flatten()，可以将数据展成一维的，相比较reshape函数，使用更加方便。但总的来说torch.flatten()的功能还是比较单调，reshape功能更加强大。......
torch.nn.Linear的使用方法
使者大牙ℂypher的博客
03-30 3968
torch.nn中全连接层的介绍
PyTorch的nn.Linear（）详解
热门推荐
qq_42079689的博客
11-02 46万+
  PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：   in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即...
nn.linear输入高维度矩阵
huihui__huihui的博客
07-06 1455
关于torch.nn.Linear的输入与输出探讨
[每日一氵] torch.nn.linear 的高维度输入 (文本生成)
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
04-18 777
torch 更新是真的快啊，stable 版本已经 1.11 了吗… 看别人的代码，总能反映出我 “孤陋寡闻” 做一个唐诗的生成任务，Embedding, LSTM + Linear 就行了，很简单 然而我之前从没做过 别人的代码里是这样的数据集结构，蓝色框框是input，绿色框框是gt值 但是他的output部分： class Model(nn.Module): def __init__(self, dataset): XXXXXXXXXXXXXX......
关于pytorch中nn.linear输入维度的问题
qq_41027830的博客
05-21 1588
因为最近看了一下attention博客，寻思挺简单，想动手写一个，才动手就发现有个问题，对于Q,K,V矩阵，看似只是个简单的前馈网络结构就能实现，但是在多数问题中，输入的都是词向量，也就是说，输入数据的结构是(batch_size，seq_size，embeding_size)，而nn.linear一般接受的输入格式是（输入神经元个数，输出神经元个数）。则nn.linear（30,18）输出的维度为（20,10,18）
PyTorch 中 nn.Linear 层特性总结笔记
Kent_Li的博客
06-16 1076
PyTorch中的nn.Linear层始终作用于输入张量的最后一个维度，其他维度被视为批量维度。无论输入是二维还是更高维，它都会对最后一个维度进行线性变换，保持其余维度不变。输入的最后维度需等于in_features，输出维度变为out_features。该特性使其适用于多种场景，如NLP序列处理、多头注意力机制等，通过公式y=x·Wᵀ+b实现变换，具有灵活的网络适配能力。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值