pytorch系列 ---5以 linear_regression为例讲解神经网络实现基本步骤以及解读nn.Linear函数

最新推荐文章于 2025-06-16 21:43:17 发布
最新推荐文章于 2025-06-16 21:43:17 发布
阅读量2.9w 收藏 173
点赞数 58
CC 4.0 BY-SA版权
分类专栏： pytorch 记录 python3 pytorch0.4系列教程 文章标签： pytorch linear_regression
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dss_dssssd/article/details/83892824
本文详细解读了PyTorch中nn.Linear的源码，阐述了神经网络实现的基本步骤，并通过线性回归模型的训练过程，展示了损失函数随迭代变化的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文主要讲述最简单的线性回归函数：
y = w x + b y=wx+b y=wx+b在pytorch的实现，主要包括神经网络实现的基本步骤和nn.Linear的源码解读。

1. nn.Linear 源码解读

先看一下Linear类的实现：
源代码网址:https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html

Linear继承于nn.Module,内部函数主要有__init__，reset_parameters, forward和extra_repr函数

在这里插入图片描述

  1. __init__(self, in_features, out_features, bias=True)
  • in_features：前一层网络神经元的个数
  • out_features： 该网络层神经元的个数
    以上两者决定了weight的形状[out_features , in_features]
  • bias: 网络层是否有偏置，默认存在，且维度为[out_features ],若bias=False,则该网络层无偏置。

接下来看一下，输入该网络层的形状(N, *, in_features)，其中N为批量处理过成中每批数据的数量，*表示，单个样本数据中间可以包含很多维度，但是单个数据的最后一个维度的形状一定是in_features.

经过该网络输出的形状为(N, *, out_features),其中计算过程为：

[ N , ∗ , i n _ f e a t u r e s ] ∗ [ o u t _ f e a t u r e s , i n _ f e a t u r e s ] T = [ N , ∗ , o u t _ f e a t u r e s ] [N, *, in\_{features}] * {[out\_{features }, in\_{features}]}^T = [N, *, out\_{features}] [N,∗,in_features]∗[out_features,

最低0.47元/天 解锁文章

200万优质内容无限畅学
pytorch快速入门系列---（四）pytorch实现深度神经网络与训练
qq_42681787的博客
03-12 2265
在pytorch中提供了多种搭建网络的方法，下面以一个简单的全连接神经网络回归为例，介绍定义网络的过程，将会使用到Module和Sequential两种不同的网络定义方式。import torch.utils.data as Data #用于对数据的预处理from sklearn.datasets import load_boston#用于导入数据from sklearn.preprocessing import StandardScaler#用于对数据进行标准化。
机器学习框架巅峰对决：TensorFlow vs. PyTorch vs. Scikit-Learn实战分析
sinner小屋
08-07 3772
对TensorFlow、PyTorch和Scikit-Learn三大机器学习框架进行了深入的分析和对比
Pytorch之Linear与MSELoss
空字符
08-12 1173
在前面我们介绍了如何用Pytorch来实现一个两层的神经网络，但是其编码过程略微显得有点复杂。例如我们要手动自己定义权重参数，自己书写如何进行梯度更新等等。但要是某个网络多达几十层，那这个工作量显然是巨大的。因此，将一些常用的操作定义成更高级的API接口也是每个深度学习框架应该包含的东西。下面，在这篇文章中我们就介绍如何用Pytorch来简洁的实现多层全连接网络。 1 数据集与网络结构 数据集我们还是使用sklearn中的波士顿房价预测数据集，其每个样本包含有13个特征维度。因此我们神经网络的输入层就应该是
[Pytorch函数]nn.Linear（）
qq_41568188的博客
07-11 1242
PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：  in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即输出的二维张量的形状为[batch_size，output_size]，当然，它也代表了该全连接层的神经元个数。   从
PyTorch 中 nn.Linear 层特性总结笔记
最新发布
Kent_Li的博客
06-16 862
PyTorch中的nn.Linear层始终作用于输入张量的最后一个维度，其他维度被视为批量维度。无论输入是二维还是更高维，它都会对最后一个维度进行线性变换，保持其余维度不变。输入的最后维度需等于in_features，输出维度变为out_features。该特性使其适用于多种场景，如NLP序列处理、多头注意力机制等，通过公式y=x·Wᵀ+b实现变换，具有灵活的网络适配能力。
pytorch函数之nn.Linear
m0_37347812的博客
03-24 372
参考： pytorch函数之nn.Linear Pytorch 中 nn.Linear 函数解读
【pytorch】torch.nn.Linear详解
sazass的博客
03-18 6万+
在学习transformer时，遇到过非常频繁的nn.Linear()函数，这里对nn.Linear进行一个详解。 参考：https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html 概要 1. nn.Linear的原理:2. nn.Linear的使用:3. nn.Linear的源码定义:4. nn.Linear的官方源码: 1. nn.Linear的原理: 从名称就可以看出来，nn.Linear表示的是线性变换，原型就是初级数学
Pytorch中nn.Linear使用方法
ym62033的博客
04-09 3391
，n表示输入向量的个数(也可以理解为行数，比如一次输入100个样本数据，则n=100)，i为每个样本的特征数，也可以理解为神经元的个数，O为输出样本的特征数，即输出神经元的个数。第3、4、5个样本的验证过程类似，从以上验证可以看出，所有样本共享参数矩阵W和偏置b。可以看到，模型有4个参数，分别为W的三个权重和b的一个偏置。假设有5个输入样本A、B、C、D、E（即batch_size为5），每个样本的特征数量为3，定义线性层时，输入特征为3，所以。，想让下一层的神经元个数为5，所以。
Pytorch、Scikit-learn实现多种分类方法，包括逻辑回归（Logistic Regression）、多.zip
02-03
以下是使用PyTorch实现逻辑回归的基本步骤： 1. 导入必要的库：`torch`, `torch.nn`, `torch.optim` 2. 定义网络结构：创建一个包含单个线性层的网络，输出节点数等于目标类别的数量。 3. 初始化模型权重，通常使用...
rnn_regression-main.zip
12-11
在本项目"rnn_regression-main.zip"中，我们聚焦于使用PyTorch框架构建和训练四种不同的神经网络模型，即多层感知机（MLP）、长短时记忆网络（LSTM）、循环神经网络（RNN）以及Transformer模型。这些模型常用于序列...
PyTorch的nn.Linear（）详解
热门推荐
qq_42079689的博客
11-02 46万+
  PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：   in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即...
Pytorch nn.Linear()的基本用法与原理详解及全连接层简介
qq_44722189的博客
12-18 4万+
torch.nn.Linear(in_features, # 输入的神经元个数out_features, # 输出神经元个数bias=True # 是否包含偏置Linear其实就是对输入Xn×iXn×i​执行了一个线性变换Yn×oXn×iWi×obYn×o​Xn×i​Wi×o​b其中WWW是模型想要学习的参数，WWW的维度为Wi×oWi×o​。
【Pytorch基础】torch.nn.Linear()函数
sxl的博客
03-26 1319
[1]https://zhuanlan.zhihu.com/p/152198144
pytorch nn.Linear（）详解
CSPhD-winston的博客
02-24 4560
pytorch nn.Linear 详解 及在 全连接层的实例函数函数解释参数：官方例子代码分析简化例子代码分析 函数 class torch.nn.Linear(in_features, out_features, bias=True) 函数解释 对输入数据做线性变换：y=Ax+b 参数： in_features - 每个输入样本的大小 out_features - 每个输出样本的大小 bias...
pytorch函数
SSurprising的博客
12-26 3139
笔记：1.标签一般默认为LongTensor2.pytorch只能处理2维的数据。字典：找到一份很好的pytorch中文文档：http://pytorch-cn.readthedocs.io/zh/latest/1.nn.CrossEntropyLoss() EXP:loss_func = torch.nn.CrossEntropyLoss() 交叉熵：通常用在分类问题上 目标标签为： y =
Pytorch中的torch.nn.Linear()方法的详解
F845992311的博客
03-10 5232
torch.nn.Linear()作为深度学习中最简单的线性变换方法，其主要作用是对输入数据应用线性转换。
pytorch架构cnn-lstm
02-28
### 如何在 PyTorch 中实现 CNN-LSTM 架构 为了实现在 PyTorch 中构建 CNN-LSTM 的架构，可以遵循一种分步编码的方式。这种组合利用了卷积神经网络 (CNN) 提取局部特征的能力以及长短时记忆网络 (LSTM) 对时间序列数据处理的优势。 #### 定义模型类 定义一个继承自 `torch.nn.Module` 的 Python 类来创建 CNN-LSTM 结合的模型： ```python import torch from torch import nn, optim class CNNLSTM(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(CNNLSTM, self).__init__() # Define a convolutional layer with kernel size of 3 and stride of 1. self.conv = nn.Conv2d(in_channels=1, out_channels=input_size, kernel_size=(3, 3), padding='same') # LSTM Layer setup self.lstm = nn.LSTM(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True) # Fully connected layer to map from hidden state space to the number of classes or regression targets. self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): # Apply Convolution operation over time-series data reshaped appropriately for convolutions. c_out = self.conv(x.unsqueeze(1)) # Reshape tensor so that it can be fed into LSTM expecting dimensions [batch, sequence_length, features]. lstm_input = c_out.squeeze().permute(0, 2, 1) # Pass through LSTM layers getting outputs at each step as well as final states h_n,c_n which are not used here directly. lstm_output, _ = self.lstm(lstm_input) # Use only last time-step's output from LSTM for classification/regression task via fully-connected layer. fc_output = self.fc(lstm_output[:, -1, :]) return fc_output ``` 此代码片段展示了如何初始化 CNN 和 LSTM 层，并设置前向传播函数以完成从输入到输出的过程[^2]。 #### 准备训练过程 除了上述模型外，在实际操作中还需要准备好损失函数、优化器以及其他辅助工具以便于后续训练阶段的工作开展。例如: ```python model = CNNLSTM(input_size=64, hidden_size=100, num_layers=2, output_size=10).to(device) loss_function = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=learning_rate) ``` 这里假设设备变量 (`device`) 已经被设定好指向 GPU 或 CPU；学习率 (`learning_rate`) 是预先指定好的超参数之一[^3]。 #### 训练循环 最后一步是编写训练循环逻辑，这通常涉及遍历整个数据集多次（即多个 epoch），对于每一批次的数据执行如下操作——传递给模型得到预测结果、计算误差、反向传播更新权重等。 以上就是在 PyTorch 中实现 CNN-LSTM 架构的方法概述[^4]。
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值