LeNet-5出自论文Gradient-Based Learning Applied to Document Recognition,是一种用于手写体字符识别的非常高效的卷积神经网络.
LeNet5 这个网络虽然很小,但是它包含了深度学习的基本模块:卷积层,池化层,全链接层。是其他深度学习模型的基础.
LeNet-5共有7层,不包含输入,每层都包含可训练参数;每个层有多个Feature Map,每个FeatureMap 通过一种卷积滤波器提取输入的一种特征,然后每个FeatureMap有多个神经元。
各层参数详解:
1.Input 层-输入层
首先是数据INPUT层,输入图像的尺寸同一归一化为3232
注意:本层不算LeNet-5的网络结构,传统上,不将输入层视为网络层次结构之一。
2.C1层-卷积层
输入图片: 3232
卷积核大小:55
卷积核种类(个数):6
输出featuremap大小:2828(32-5+1)=28
神经元数量:28286
可训练参数:(55+1)6(每个滤波器55=25个unit参数和一个bias参数,一共6个滤波器)
可连接数:(55+1)62828=122304
详细说明:对输入图像进行第一次卷积运算(使用 6 个大小为 55 的卷积核),得到6个C1特征图(6个大小为2828的 feature maps, 32-5+1=28)。我们再来看看需要多少个参数,卷积核的大小为55,总共就有6*(55+1)=156个参数,其中+1是表示一个核有一个bias。对于卷积层C1,C1内的每个像素都与输入图像中的55个像素和1个bias有连接,所以总共有1562828=122304个连接(connection)。有122304个连接,但是我们只需要学习156个参数,主要是通过权值共享实现的。