LeNet网络结构

最新推荐文章于 2023-09-21 17:55:18 发布

1051450906

最新推荐文章于 2023-09-21 17:55:18 发布

阅读量959

点赞数 2

分类专栏：卷积神经网络模型文章标签：神经网络

本文链接：https://blog.youkuaiyun.com/qq_38162944/article/details/114239111

版权

用随机的共享的卷积核得到像素点的加权和从而提取到某种特定的特征，然后用反向传播来优化卷积核参数就可以自动的提取特征，是CNN特征提取的基石。

基础知识

在这里插入图片描述 全连接的权值数：4x4x4=64(4个神经元，每个神经元都有4x4个不同的权值，这里先不考虑偏置值)

局部连接：一个神经元只于图片中的部分像素点有关系，即一个神经元连接部分像素点。

只局部连接不权值共享的权值数：4x4=16(4个神经元，每个神经元都有4个不同的权值)

权值共享： $w_1,w_2,w_3,w_4$ 是其中一个神经元的是4个权值，所谓权值共享，就是其他神经元的权值也使用这四个值。

局部连接和权值共享的权值数： 4（每个神经元都是相同的4个权值)

在这里插入图片描述上图包含输入层总共8层网络，分别为：

输入层（INPUT）、卷积层（Convolutions,C1）、池化层（Subsampling，S2）、卷积层（C3）、池化层（S4）、卷积层（C5）、全连接层（F6）、输出层（径向基层）

输入层（INPUT）：

输入的手写体是32x32像素的图片，在论文里说输入像素的值背景层(白色)的corresp值为-0.1，前景层(黑色)的corresp值为 1.175。这使得平均输入大约为0，而方差大约为1，从而加速了学习，要求手写体应该在中心，即20x20以内。

卷积层（Convolutions,C1）：通过卷积运算，可以使原信号特征增强，并且降低噪音

特征平面的概念：
我们从上图可以看到有6个特征平面（这里不应该称为卷积核，卷积核是滑动窗口，通过卷积核提取特征的结果叫特征平面，特征平面的个数与卷积核的个数一致），得到的每个特征平面使用的一个5x5的卷积核（这里说明窗口滑动的权值就是卷积核的内容，这里需要注意的是特征平面有6个说明有6个不同的卷积核，因此每个特征平面所使用的权值都是一样的，这样就得到了特征平面）。

那么特征平面有多少神经元呢？32x32通过一个5x5的卷积核运算，根据局部连接和平滑，需要每次移动1，因此从左移动到右时是28，因此特征平面是28x28的，即每个特征平面有28x28个神经元。6个特征平面对应6个不同的卷积核或者6个滤波器，每个滤波器的参数值也就是权值都是一样的，这样的平面有6个，即卷积层有6个特征平面。

现在我们计算一下该层总共有多少个连接，有多少个待训练的权值呢？

连接数，首先每个卷积核是5x5的，每个特征平面有28x28的神经元（每个神经元对应一个偏置值），总共有6个特征平面，因此连接数为：(5x5+1)x28x28x6 = 122304。

权值数，首先每个特征平面神经元共用一套权值，而每套权值取决于卷积核的大小，因此权值数为：（5x5+1)x6 = 156个

池化层（Subsampling，S2）：降低数据维度，只改变H、W，不改变C

池化层又叫下采样层，目的是压缩数据，降低数据维度，池化和卷积有明显的区别，这里采样2x2的选择框进行压缩，如何压缩呢，通过选择框的数据求和再取平均值然后在乘上一个权值和加上一个偏置值，组成一个新的图片，每个特征平面采样的权值和偏置值都是一样的，因此每个特征平面对应的采样层只两个待训练的参数。如下图4x4的图片经过采样后还剩2x2，直接压缩了4倍。本层具有激活函数，为sigmod函数，而卷积层没有激活函数。
S2层有12个可训练参数和5880个连接

卷积层（C3）：

这一层也是卷积层，和C2不同的是这一层有16个特征平面，那么16个特征平面是如何和上一层池化层是如何对应的呢？这里的16个特征平面是这样对应的，每个特征平面对应的卷积核，和池化层的多个平面进行卷积。这里把C3的卷积层特征平面编号即0,1,2，…,15，把池化层S2也编号为0,1,2,3,4,5.这两层具体如何对应呢？如下图
在这里插入图片描述上面说了，C3层和S2的对应关系和前面不一样，主要体现在C3的每一个特征平面是对应多个池化层的采样数据，如上图，横向的数表示卷积层C3的特征平面，纵向表示池化层的6个采样平面，我们以卷积层C3的第0号特征平面为例，它对应了池化层的前三个采样平面即0,1,2，三个平面使用的是三个卷积核（每个采样平面是卷积核相同，权值相等，大小为5x5）,既然对应三个池化层平面，那么也就是说有5x5x3个连接到卷积层特征平面的一个神经元，因为池化层所有的样本均为14x14的，而卷积窗口为5x5的，因此卷积特征平面为10x10（大家可按照第一个卷积计算求的）。只是这里的卷积操作要更复杂，他不是所有的都是特征平面对应三个池化层平面，而是变化的，从上图我们可以清楚的看到前6个特征平面对应池化层的三个平面即0,1,2,3,4,5 ，而6~14每张特征平面对应4个卷积层，此时每个特征平面的一个神经元的连接数为5x5x4，最后一个特征平面是对应池化层所有的样本平面，这里大家好好理解。我们来计算一下连接数和待训练权值个数：