对 torch.nn.Linear 的理解

最新推荐文章于 2025-04-05 10:31:37 发布
原创 最新推荐文章于 2025-04-05 10:31:37 发布 · 2.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch

本文详细介绍了PyTorch中的torch.nn.Linear层，该层用于实现线性变换，不仅限于常见的二维输入，而是可以接受任意维度的张量，只要最后一维对应`in_features`。通过一个实例展示了即使输入张量为三维，依然能正确应用Linear层，并得到期望的输出形状。这表明Linear层的灵活性，可以在各种复杂的神经网络结构中发挥作用。
PyTorch 2.7

PyTorch 2.7

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

torch.nn.Linear 是 pytorch 的线性变换层，定义如下：

Linear(in_features: int, out_features: int, bias: bool = True, device: Any | None = None, dtype: Any | None = None)

全连接层 Fully Connect 一般就就用这个函数来实现。因此在潜意识里，变换的输入张量的 shape 为 (batchsize, in_features)，输出张量的 shape 为 (batchsize, out_features)。

当然这是常用的方式，但是 Linear 的输入张量的维度其实并不需要必须为上述的二维，多维也是完全可以的，Linear 仅是对输入的最后一维做线性变换，不影响其他维。

可以看下官网的解释：Linear — PyTorch 1.11.0 documentation

一个例子如下：

import torch
input = torch.randn(30, 20, 10)  # [30, 20, 10]
linear = torch.nn.Linear(10, 15)  # (*, 10) --> (*, 15)
output = linear(input)
print(output.size()) # 输出 [30, 20, 15]

 

您可能感兴趣的与本文相关的镜像

PyTorch 2.7

PyTorch 2.7

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

torch.nn.Linear类（nn.Module）详解（包含内部逻辑）
weixin_37490132的博客
09-10 2018
torch.nn.Linear类（nn.Module）详解，包含内部逻辑
学习笔记-PyTorch-线性模型 torch.nn.Linear
coder_links的博客
01-19 870
线性模型原理及实践代码；jupyternotebook中如何加载数据集
torch.nn.Linear()函数的理解
热门推荐
哪惧明天，风高路斜
02-21 14万+
import torch x = torch.randn(128, 20) # 输入的维度是（128，20） m = torch.nn.Linear(20, 30) # 20,30是指维度 output = m(x) print('m.weight.shape:\n ', m.weight.shape) print('m.bias.shape:\n', m.bias.shape) print...
PyTorch的nn.Linear()详解
Yang_4881002的博客
11-17 1682
PyTorch的nn.Linear()详解
torch.nn中的线性层的使用
weixin_70673823的博客
04-05 969
torch.nn中的线性层的使用——神经网络中的线性层、torch.nn中的线性层、torch.nn中线性层的使用（以nn.Linear为例）
torch.nn.Linear
weixin_44012667的博客
12-01 1267
是一个，通常用于神经网络中的输入、隐藏层或输出层。
torch之nn.Linear
Nicola.Zhang
08-22 8955
首先说明一点，nn.Linear为类，而不是函数，这在torch很是常见，不要想当然认为是C语言中； CLASS torch.nn.Linear(in_features, out_features, bias=True) 原理：矩阵相乘，和数学上的形式完全一致 参数 in_features – size of each input sample out_features – size...
PyTorch里面的torch.nn.Parameter()详解
09-18
在PyTorch中，`torch.nn.Parameter()`是一个非常关键的类，它用于创建可学习的参数。这些参数通常是神经网络模型中的权重和偏置，它们在训练过程中会被优化算法更新以最小化损失函数。本文将深入探讨`torch.nn....
Pytorch 之torch.nn初探 torch.nn.Module与线性--Linear layers
weixin_50917576的博客
04-19 1586
神经网络可以使用torch.nn包构建。它提供了几乎所有与神经网络相关的功能，例如： 线性图层 nn.Linear，nn.Bilinear 卷积层 nn.Conv1d，nn.Conv2d，nn.Conv3d，nn.ConvTranspose2d 非线性 nn.Sigmoid，nn.Tanh，nn.ReLU，nn.LeakyReLU 池化层 nn.MaxPool1d，nn.AveragePool2d Recurrent网络 nn.LSTM，nn.GRU 标准化 nn.BatchNorm2d ...
深入理解 `torch.nn.Linear`：维度变换的过程详解与实践（附图、公式、代码）
小蜗牛的珍贵百宝箱
09-27 2307
在创建: 输入的特征数量，即输入向量的维度。: 输出的特征数量，即输出向量的维度。# 创建线性变换层：从 4 维输入映射到 2 维输出在上述代码中，和表示输入是 4 维的，输出将被线性变换为 2 维。本文详细解析了 PyTorch 中模块的维度变换过程，通过公式、代码和图示帮助读者理解其内部机制。在实际的深度学习应用中，线性层是最基本也是最重要的组成部分之一。希望通过本文的讲解，你能够更深入地掌握的使用方法，并能在项目中灵活运用。
torch.nn.Linear的维度变换过程详解（有图有公式有代码）
weixin_44115575的博客
08-05 5456
当初在学习nn.Linear时了解到的博客都是关于一维变换的，比如输入3通道，输出6通道；又比如得到（3，4，4）的特征图，需要进行拉平为（48，）的向量，然后通过nn.Linear（48，10）得到10个输出（分类任务很常见）。 nn.Linear除了可以进行分类，主要的作用就是改变维度便于下一个卷积层或线形层的输入。 但是在实际代码中，nn.Linear的输入往往都是多维数据，一样可以正常输出。所以经过查阅手册和各个帖子，给出了自己的理解，作为笔记。
torch.nn.Linear()
Hello_word5的博客
11-22 1627
功能是定义一个线性变换(连同偏置)，即定义一个这样的运算: 例： import torch import torch.nn as nn linear=nn.Linear(5,3,bias=True) x=torch.randn(10,5) out=linear...
【Pytorch基础】torch.nn.Linear()函数
sxl的博客
03-26 1386
[1]https://zhuanlan.zhihu.com/p/152198144
【pytorch】torch.nn.Linear详解
sazass的博客
03-18 6万+
在学习transformer时，遇到过非常频繁的nn.Linear()函数，这里对nn.Linear进行一个详解。 参考：https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html 概要 1. nn.Linear的原理:2. nn.Linear的使用:3. nn.Linear的源码定义:4. nn.Linear的官方源码: 1. nn.Linear的原理: 从名称就可以看出来，nn.Linear表示的是线性变换，原型就是初级数学
torch.nn.linear()
梦Dancing的博客
02-15 1220
1. 常用形式： torch.nn.Linear(in_channels, out_channels) 2. 参数解释 a = nn.Linear(in,out) 相当于定义了一个叫a的网络结构：y=x*w+b，其中w=AT A的size是 (out,in) b的size是 (out) in：前一层网络神经元的个数 out： 该网络层神经元的个数 3. 举例说明 程序： im...
torch.nn.Linear()函数
qq_35037684的博客
11-30 1万+
torch.nn.Linear(in_features, out_features, bias=True) 函数是一个线性变换函数： 其中，in_features为输入样本的大小，out_features为输出样本的大小，bias默认为true。如果设置bias = false那么该层将不会学习一个加性偏差。 Linear()函数通常用于设置网络中的全连接层。 import torch x = torch.randn(8, 3) # 输入样本 fc = torch.nn.Linear(3, 5) #
【pytorch函数笔记】torch.nn.Linear
Catherinemin的博客
04-22 955
在CNN中，全连接常出现在最后几层，用于对于前面设计的特征做加权和，比如mnist，前面的卷积和池化相当于做特征工程，后面的全连接相当于做特征加权。备注：这里需要注意下，偏置b的加法与普通的矩阵加法不太一样，这里只需要保持偏置b的列数与输出y的列数相同即可，对应位置元素相加，每一行都是加的同样的偏置。对前层是全连接的全连接层可以转化为卷积核为1*1的卷积，而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积，h和w分别为前层卷积结果的高和宽。其中x是输入，A是权值，b是偏置，y是输出，
PyTorch中的torch.nn.Linear详解
qq_44289607的博客
01-30 1万+
torch.nn是包含了构筑神经网络结构基本元素的包，在这个包中，可以找到任意的神经网络层。这些神经网络层都是nn.Module这个大类的子类。torch.nn.Linear就是神经网络中的线性层，可以实现形如y=Xweight^T+b的加和功能。 其用法与形参说明如下： 代码很简单，但有许多细节需要声明： 1）nn.Linear是一个类，使用时进行类的实例化 2）实例化的时候，nn.Linear需要输入两个参数，in_features为上一层神经元的个数，out_features为这一层的神经
torch.nn.Linear的作用
最新发布
08-04
### `torch.nn.Linear` 模块的作用 在深度学习中，`torch.nn.Linear` 是 PyTorch 提供的一个模块，用于实现线性变换操作。这种变换通常用于神经网络的层与层之间的连接，即对输入数据进行加权求和并加上偏置项。其数学表达式为： $$ y = xA^T + b $$ 其中： - $ x $ 是输入数据。 - $ A $ 是权重矩阵。 - $ b $ 是偏置项。 - $ y $ 是输出结果。 该模块属于 `torch.nn` 模块的一部分，能够自动创建可训练参数（权重和偏置），并且适用于构建需要进行训练的神经网络模型 [^3]。 ### 使用方法 #### 定义线性层 `torch.nn.Linear` 的构造函数需要三个主要参数： - `in_features`：输入特征的大小。 - `out_features`：输出特征的大小。 - `bias`：是否包含偏置项，默认为 `True`。 例如，定义一个从 5 个输入特征到 3 个输出特征的线性层： ```python import torch.nn as nn linear_layer = nn.Linear(in_features=5, out_features=3) ``` #### 输入数据 输入数据通常是一个张量（Tensor），其形状为 `(batch_size, in_features)`，其中 `batch_size` 是批量大小，`in_features` 是每个样本的特征数量。 ```python input_data = torch.randn(2, 5) # 2个样本，每个样本5个特征 ``` #### 应用线性变换 将输入数据传递给线性层即可进行前向传播计算： ```python output = linear_layer(input_data) ``` #### 权重和偏置访问 可以通过 `.weight` 和 `.bias` 属性访问线性层的权重和偏置： ```python print("Weight matrix:", linear_layer.weight) print("Bias:", linear_layer.bias) ``` ### `nn.Linear` 与 `F.linear` 的区别 虽然 `torch.nn.functional.linear` 也可以用于线性变换，但两者有明显区别： - `nn.Linear` 创建的是一个具有可训练参数的模块，适合在模型中定义层。 - `F.linear` 是一个函数，用于直接计算线性变换，不创建可训练参数，适合临时计算或测试 [^3]。 示例使用 `F.linear`： ```python import torch.nn.functional as F x = torch.randn(2, 4) # 输入数据 weight = torch.randn(3, 4) # 自定义权重矩阵 bias = torch.randn(3) # 自定义偏置项 output = F.linear(x, weight, bias) # 计算 y = xW^T + b ``` ### 适用场景 `torch.nn.Linear` 广泛应用于各种深度学习架构中，包括但不限于： - **MLP（多层感知机）**：全连接神经网络。 - **CNN 分类层**：卷积神经网络的最后分类层。 - **Transformer（注意力机制）**：在注意力机制中进行特征变换。 - **自动编码器（AutoEncoder）**：用于编码器和解码器中的特征映射 。 ### 结合其他层 `torch.nn.Linear` 通常与激活函数（如 ReLU）、归一化层（如 BatchNorm）等结合使用，以构建更复杂的神经网络模型。例如： ```python import torch.nn as nn model = nn.Sequential( nn.Linear(10, 50), nn.ReLU(), nn.Linear(50, 1) ) ``` ### 总结 `torch.nn.Linear` 是深度学习中实现线性变换的重要模块，能够自动管理可训练参数，并广泛应用于各种神经网络结构中。它与 `F.linear` 的区别在于是否创建可训练参数，因此推荐在模型定义中使用 `nn.Linear`，而在临时计算中使用 `F.linear` [^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

地球被支点撬走啦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值