一、基本简介
LeNet-5出自论文Gradient-Based Learning Applied to Document Recognition,是一种用于手写体字符识别的非常高效的卷积神经网络。
基础知识扫盲:
特殊性
- 神经元间的连接是非全连接的
- 同一层中某些神经元之间的连接的权重是共享的(即相同的)
权值共享
使用同一个Kernel
二、LeNet网络的基本结构
LeNet5 这个网络虽然很小,但是它包含了深度学习的基本模块:卷积层,池化层,全连接层。是其他深度学习模型的基础, 这里我们对LeNet5进行深入分析。同时,通过实例分析,加深对与卷积层和池化层的理解。
LeNet-5共有7层,不包含输入,每层都包含可训练参数;每个层有多个Feature Map,每个Feature Map是通过一种卷积滤波器提取输入的一种特征,然后每个Feature Map有多个神经元。
图中的C5前的Full connection写错了,应该是convolutions.
各层参数详解:
1、INPUT层-输入层
首先是数据 INPUT 层,输入图像的尺寸统一归一化为32*32。
注意:本层不算LeNet-5的网络结构,传统上,不将输入层视为网络层次结构之一。
计算公式:
(1)feature map 的大小是由公式
决定,其中f是feature map的长/宽大小,i为输入图片的大小,p为填充,k为卷积核大小,s为步长。
(2)神经元数量 = 特征图长*特征图宽*特征图通道数
(3)卷积核种类/个数 = 一个滤波器中卷积核的个数
(4)可训练参数数量 =