LeNet-5: Gradient-Based Learning Applied to Document Recognitionm

参考网址：

1、https://blog.youkuaiyun.com/zouxy09/article/details/8781543

2、https://blog.youkuaiyun.com/kaido0/article/details/53161684

3、https://blog.youkuaiyun.com/qianqing13579/article/details/71076261

一、关于LeNet-5

一种典型的用来识别数字的卷积网络是LeNet-5（效果和paper等见这）。当年美国大多数银行就是用它来识别支票上面的手写数字的。能够达到这种商用的地步，它的准确性可想而知。毕竟目前学术界和工业界的结合是最受争议的。

      LeNet-5是最早的深度卷积神经网络之一，并且推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann Lecun完成的开拓性成果被命名为LeNet-5。LeCun认为，可训练参数的卷积层是一种用少量参数在图像的多个位置上提取相似特征的有效方式，这和直接把每个像素作为多层神经网络的输入不同。像素不应该被使用在输入层，因为图像具有很强的空间相关性，而使用图像中独立的像素直接作为输入则利用不到这些相关性。

Lenet5特性：

• 每个卷积层包含三个部分：卷积、池化和非线性激活函数