pytorch系列 ---5以 linear_regression为例讲解神经网络实现基本步骤以及解读nn.Linear函数

最新推荐文章于 2025-10-17 10:11:33 发布
原创 最新推荐文章于 2025-10-17 10:11:33 发布 · 2.9w 阅读 · 173 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #linear_regression

本文详细解读了PyTorch中nn.Linear的源码，阐述了神经网络实现的基本步骤，并通过线性回归模型的训练过程，展示了损失函数随迭代变化的情况。

本文主要讲述最简单的线性回归函数：
y = w x + b y=wx+b y=wx+b在pytorch的实现，主要包括神经网络实现的基本步骤和nn.Linear的源码解读。

1. nn.Linear 源码解读

先看一下Linear类的实现：
源代码网址:https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html

Linear继承于nn.Module,内部函数主要有__init__，reset_parameters, forward和extra_repr函数

在这里插入图片描述

  1. __init__(self, in_features, out_features, bias=True)
  • in_features：前一层网络神经元的个数
  • out_features： 该网络层神经元的个数
    以上两者决定了weight的形状[out_features , in_features]
  • bias: 网络层是否有偏置，默认存在，且维度为[out_features ],若bias=False,则该网络层无偏置。

接下来看一下，输入该网络层的形状(N, *, in_features)，其中N为批量处理过成中每批数据的数量，*表示，单个样本数据中间可以包含很多维度，但是单个数据的最后一个维度的形状一定是in_features.

经过该网络输出的形状为(N, *, out_features),其中计算过程为：

[ N , ∗ , i n _ f e a t u r e s ] ∗ [ o u t _ f e a t u r e s , i n _ f e a t u r e s ] T = [ N , ∗ , o u t _ f e a t u r e s ] [N, *, in\_{features}] * {[out\_{features }, in\_{features}]}^T = [N, *, out\_{features}] [N,∗,in_features]∗[out_features,

最低0.47元/天 解锁文章
pytorch快速入门系列---（四）pytorch实现深度神经网络与训练
qq_42681787的博客
03-12 2306
在pytorch中提供了多种搭建网络的方法，下面以一个简单的全连接神经网络回归为例，介绍定义网络的过程，将会使用到Module和Sequential两种不同的网络定义方式。import torch.utils.data as Data #用于对数据的预处理from sklearn.datasets import load_boston#用于导入数据from sklearn.preprocessing import StandardScaler#用于对数据进行标准化。
PyTorch----torch.nn.Linear()函数
xinxin的博客
03-26 588
在这个例子中，linear_layer表示一个具有5个输入特征和3个输出特征的完全连接层。我们通过这一层传递一批形状为(2,5)的输入数据，得到一个形状为(2,3)的输出张量(批大小为2,3个输出特征)。线性层的权重和偏置在层创建时自动初始化，并在训练过程中进行更新，以最小化损失。torch.nn.Linear是PyTorch中的一个模块，用于在神经网络中实现完全连接层。bias(可选):如果设置为True(默认)，层将学习一个附加的偏置项。它对应于输入张量中特征的个数。它对应于层中神经元的数量。
Pytorch中nn.Linear使用方法
ym62033的博客
04-09 3607
，n表示输入向量的个数(也可以理解为行数，比如一次输入100个样本数据，则n=100)，i为每个样本的特征数，也可以理解为神经元的个数，O为输出样本的特征数，即输出神经元的个数。第3、4、5个样本的验证过程类似，从以上验证可以看出，所有样本共享参数矩阵W和偏置b。可以看到，模型有4个参数，分别为W的三个权重和b的一个偏置。假设有5个输入样本A、B、C、D、E（即batch_size为5），每个样本的特征数量为3，定义线性层时，输入特征为3，所以。，想让下一层的神经元个数为5，所以。
深度学习--函数详解
ssheudjbdndnjd的博客
04-16 2483
下面是它的图像当输入值为正数时，返回原来的值，为负数时，返回0torch.nn.ReLU(inplace=True)是PyTorch中的一个激活函数，其功能是对输入进行逐元素的非线性变换。当参数inplace=True表示将变换后的结果直接覆盖原来的输入张量，节省内存空间。如果没有指定inplace=True，则会返回一个新的张量作为输出。在多分类问题中，我们通常会使用softmax函数作为网络输出层的激活函数。softmax函数可以对输出值进行归一化。
Pytorch学习（训练模型、网络、Transformer模型、UNet网络）
警警的博客
10-17 988
PyTorch是一个灵活易用的深度学习框架，其核心架构包含四层：基础计算层（支持GPU加速的张量运算）、自动微分层（动态计算图实现自动梯度计算）、神经网络层（提供各种网络模块和优化器）以及工具生态层（数据加载和可视化）。PyTorch凭借动态计算图、Python化的开发体验和强大的调试能力，成为学术研究的主流选择。通过简单的线性回归示例展示了PyTorch的工作流程：模型定义、损失函数设置、训练循环和预测。建议从张量基础开始，逐步掌握自动微分原理，最终深入专业领域应用。
Pytorch学习(三)Linear层
weixin_44901043的博客
04-02 6914
文章目录前言函数原型参数说明示例 前言 在讲Linear线性变换之前，先来看一个矩阵变换的例子 from __future__ import print_function import torch in_features = torch.tensor([2,2,2,2], dtype=torch.double) weight_matrix = torch.tensor([ [5,5,5,5], [3,3,3,3], [4,4,4,4] ], dtype=torch.double)
PyTorch的nn.Linear（）详解
热门推荐
qq_42079689的博客
11-02 46万+
  PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：   in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即...
[Pytorch函数]nn.Linear（）
qq_41568188的博客
07-11 1262
PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：  in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即输出的二维张量的形状为[batch_size，output_size]，当然，它也代表了该全连接层的神经元个数。   从
Pytorch.nn.Linear 解析（数学角度）
Medlen
04-01 1万+
pytorch.nn.Linear 是一个类，下面是它的一些初始化参数 in_features : 输入样本的张量大小 out_features : 输出样本的张量大小 bias : 偏置 它主要是对输入数据做一个线性变换。 y=xAT+b y=xA^T+b y=xAT+b 这里A是权重矩阵，b是偏置。他们都是根据 in_features 生成 测试代码： m = torch.nn.Linea...
PyTorch nn.Linear学习记录
OrdinaryMatthew的博客
06-03 669
记录一下 PyTorch nn.Linear 的学习过程。 一、 import torch model = torch.nn.Linear(2, 3); print('Network Structure : torch.nn.Linear(2,3) :\n', model) print('Weight Of Network :\n', model.weight) print('Bias Of Network :\n', model.bias) 输出： Network Structure : torch.n
【pytorch-tutorial自学笔记】01-basic-linear_regression
HeyRena的博客
01-11 322
源代码自：https://github.com/yunjey/pytorch-tutorial/blob/master/tutorials/01-basics/linear_regression/main.py
pytorch函数之nn.Linear
m0_37347812的博客
03-24 383
参考： pytorch函数之nn.Linear Pytorch 中 nn.Linear 函数解读
【pytorch】torch.nn.Linear详解
sazass的博客
03-18 6万+
在学习transformer时，遇到过非常频繁的nn.Linear()函数，这里对nn.Linear进行一个详解。 参考：https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html 概要 1. nn.Linear的原理:2. nn.Linear的使用:3. nn.Linear的源码定义:4. nn.Linear的官方源码: 1. nn.Linear的原理: 从名称就可以看出来，nn.Linear表示的是线性变换，原型就是初级数学
Pytorch nn.Linear()的基本用法与原理详解及全连接层简介
qq_44722189的博客
12-18 4万+
torch.nn.Linear(in_features, # 输入的神经元个数out_features, # 输出神经元个数bias=True # 是否包含偏置Linear其实就是对输入Xn×iXn×i​执行了一个线性变换Yn×oXn×iWi×obYn×o​Xn×i​Wi×o​b其中WWW是模型想要学习的参数，WWW的维度为Wi×oWi×o​。
【Pytorch基础】torch.nn.Linear()函数
sxl的博客
03-26 1377
[1]https://zhuanlan.zhihu.com/p/152198144
PyTorch : nn.Linear() 详解
John's Blogs
03-28 6121
线性转换： 举例： input1 = torch.randn(128, 20) input2 = torch.randn(128, 3, 20) #中间 * 可以添加任意维度 input3 = torch.randn(128, 3, 4, 20) m = nn.Linear(20, 30) output1 = m(input1) output2 = m(input2) output3 = m(...
class LinearRegression(nn.Module): def __init__(self): super(LinearRegression,self).__init__() self.linear = nn.Linear(13,1) # 输入特征维度13,输出维度1 这段代码的运行逻辑是什么
最新发布
10-18
<think>我们正在分析一个简单的线性回归模型类定义代码。代码使用PyTorch框架，定义了一个名为LinearRegression的类，该类继承自nn.Module。 代码片段如下： ```python class LinearRegression(nn.Module): def __init__(self): super(LinearRegression,self).__init__() self.linear = nn.Linear(13,1) ``` 我们将逐步解释这段代码的运行逻辑： 1. **类定义**： - `class LinearRegression(nn.Module):` 定义了一个新的类`LinearRegression`，它继承自PyTorch的`nn.Module`类。这意味着`LinearRegression`类将拥有`nn.Module`的所有特性，包括管理参数、提供训练方法等。 2. **`__init__`方法**： - `def __init__(self):` 是类的构造函数，在创建类的实例时被调用。 - 在构造函数中，首先调用父类`nn.Module`的构造函数：`super(LinearRegression,self).__init__()`。这是Python中继承机制的关键步骤，确保父类被正确初始化[^4][^5]。如果不调用父类的构造函数，可能会导致一些内部机制无法正常工作（例如，神经网络模块的参数不会被正确注册）。 3. **定义子模块**： - `self.linear = nn.Linear(13,1)` 创建了一个线性层（全连接层），并将其赋值给实例变量`linear`。 - `nn.Linear(13,1)` 表示一个输入特征数为13，输出特征数为1的线性变换层。该层包含权重参数（一个13×1的矩阵）和偏置参数（一个1维向量）。这些参数会在训练过程中被优化。 4. **参数管理**： - 由于`LinearRegression`类继承自`nn.Module`，当我们在构造函数中通过`nn.Linear`创建子模块并将其赋值给实例变量（如`self.linear`）时，`nn.Module`会自动检测并注册这些子模块及其参数。这样，当我们调用`model.parameters()`时，PyTorch就可以收集到整个模型的所有可训练参数（即线性层的权重和偏置）[^1][^3]。 5. **前向传播**： - 虽然这段代码没有显示定义`forward`方法，但在实际使用中，我们必须在类中定义`forward`方法，以实现从输入到输出的计算过程。例如： ```python def forward(self, x): return self.linear(x) ``` - 这样，当我们创建`LinearRegression`的实例并传入输入数据时（如`model(input)`），PyTorch会自动调用`forward`方法。 总结运行逻辑： - 创建`LinearRegression`实例时，先调用父类`nn.Module`的构造函数，然后创建一个输入维度为13、输出维度为1的线性层。 - 该线性层具有可训练参数（权重和偏置），这些参数会被自动注册到模型中。 - 在后续使用中，需要通过定义`forward`方法来实现模型的前向计算。 如果不定义`forward`方法，直接使用模型进行前向传播会报错（因为`nn.Module`的`forward`是抽象方法）。因此，完整的类定义应该包括`forward`方法： ```python class LinearRegression(nn.Module): def __init__(self): super(LinearRegression,self).__init__() self.linear = nn.Linear(13,1) def forward(self, x): return self.linear(x) ``` 这样，我们就可以通过以下方式使用模型： ```python model = LinearRegression() # 实例化模型 output = model(input_data) # 前向传播：自动调用forward方法 ``` **相关问题**： 1. 在PyTorch中为什么不直接调用`forward`方法而使用`__call__`？ 2. 如果忘记调用`super().__init__()`会有什么后果？ 3. 如何查看`LinearRegression`模型的参数？ 4. 如何修改代码以实现多元线性回归（多个输出）？ </think>### LinearRegression类代码运行逻辑解析 以下是您提供的线性回归模型类代码的详细运行逻辑分析： ```python class LinearRegression(nn.Module): def __init__(self): super(LinearRegression,self).__init__() self.linear = nn.Linear(13,1) ``` #### 1. 类定义 (`class LinearRegression(nn.Module):`) - 创建一个名为 `LinearRegression` 的新类 - 继承自 PyTorch 的核心神经网络模块基类 `nn.Module`[^1] - 继承使 `LinearRegression` 自动获得神经网络的所有基础功能（参数管理、GPU支持、序列化等） #### 2. 构造函数 (`def __init__(self):`) - 类的初始化方法，在创建类实例时自动调用 - `self` 参数指向当前对象实例 - 主要功能是初始化模型的结构和参数 #### 3. 父类初始化 (`super(LinearRegression,self).__init__()`) - **关键步骤**：调用父类 `nn.Module` 的构造函数[^4][^5] - `super()` 函数动态获取父类引用，避免硬编码类名[^2] - 确保正确初始化神经网络基础设施： - 注册模型参数（权重和偏置） - 初始化梯度计算机制 - 设置模型训练/评估状态标志 - 省略此调用会导致模型无法正常工作（如参数不被识别）[^3] #### 4. 定义线性层 (`self.linear = nn.Linear(13,1)`) - 创建具体的神经网络层： - `nn.Linear` 表示全连接层（线性变换） - 参数 `13`：输入特征维度（对应波士顿房价数据集的13个特征） - 参数 `1`：输出维度（房价预测值） - 自动初始化参数： - 权重矩阵 $W \in \mathbb{R}^{1 \times 13}$ - 偏置向量 $b \in \mathbb{R}^{1}$ - PyTorch 会自动将这些参数注册为可训练参数 #### 5. 隐含的前向传播方法 - 虽然代码中未显式定义 `forward` 方法，但实际使用时需要添加： ```python def forward(self, x): return self.linear(x) ``` - 前向传播计算：$y = Wx + b$ - 输入 $x \in \mathbb{R}^{batch\_size \times 13}$，输出 $y \in \mathbb{R}^{batch\_size \times 1}$ #### 完整模型结构示意图 ``` 输入 (13维特征) ↓ [线性层: nn.Linear(13,1)] ↓ 输出 (1维预测值) ``` ### 使用示例 ```python # 创建模型实例 model = LinearRegression() # 输入样本 (batch_size=4, 特征数=13) input_data = torch.randn(4, 13) # 前向传播 output = model(input_data) # 输出形状 [4, 1] ``` ### 关键点总结 1. **继承机制**：通过继承 `nn.Module` 获得神经网络基础能力 2. **父类初始化**：必须调用 `super().__init__()` 初始化底层基础设施[^5] 3. **参数注册**：`nn.Linear` 自动创建并注册可训练参数 4. **维度设计**：`nn.Linear(13,1)` 匹配波士顿数据集特征维度
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值