Pytorch 学习 - 10.线性层（全连接层）/ 激活函数层

先掌握pytorch，学好pytorch,  才能学好人工智能

线性层，

也叫全连接层（Fully Connected Layer），是神经网络中的一种基本层，通常用于处理一维数据（即向量）。在多层感知机（MLP）和卷积神经网络（CNN）中，线性层通常位于网络的最后，用于将前面层的特征映射到输出空间。

功能

线性层的主要功能是将输入数据通过线性变换映射到新的空间。具体来说，它通过以下公式计算输出： output=Wx+b 其中：

• x 是输入向量。
• W 是权重矩阵。
• b 是偏置向量。
• output 是线性层的输出。

以下是对其详细的介绍：

一、工作原理

1. 线性组合：线性层的每个神经元都与上一层的所有神经元相连，通过对输入进行加权求和来实现线性组合。具体来说，对于一个输入向量x，线性层的输出y可以表示为y = Wx + b，其中W是权重矩阵，b是偏置向量。
2. 权重矩阵和偏置向量：权重矩阵W决定了输入特征之间的线性关系，不同的权重值会对不同的输入特征赋予不同的重要性。偏置向量b则允许模型在没有输入的情况下也能产生一个非零的输出，增加了模型的灵活性。
3. 维度变换：线性层可以改变输入数据的维度。例如，如果输入是一个形状为(batch_size, input_dim)的张量，而线性层的输出维度为output_dim，那么权重矩阵W的形状将是(input_dim, output_dim)，偏置向量b的形状将是(output_dim)。经过线性层的变换后，输出张量的形状将变为(batch_size, output_dim)。

二、作用和意义

1. 特征提取和转换：线性层可以学习到输入数据的不同特征表示，通过调整权重矩阵和偏置向量，可以将输入数据映射到不同的特征空间，从而提取出有用的信