经典论文研读：LeNet —— Gradient-Based Learning Applied to Document Recognition

序 —— 孤陋寡闻的我

深度学习自2015年开始在中国逐渐火起来。在这之前，业内几乎完全不了解深度学习在图像识别领域的应用。我从2011年开始做人脸识别算法研究，到2014年为止，所有参考资料都未提及卷积神经网络技术在图像识别领域有何应用，看觉老天给我开了个不小的玩笑。

LeNet 早在 1998 年就发表了（有文章说1994年就发表了），而且明确提出了卷积神经网络的概念。为什么在人脸识别算法领域的那么多资料中几乎无人提及呢？一个重要原因是 LeNet 这类模型在很长一个时期内表现并不出色。与现代网络模型比较，它确实存在不少缺陷。所以我想仔细剖析一下 LeNet，分析一下设计缺陷。然而，仔细阅读冗长的原文后，我惊呆了，自己真的如此孤陋寡闻，原文全面详实地介绍了卷积神经网络搭建的思路，性能分析。即使放到今天，LeNet 这篇论文仍然光彩夺目。

回想一下，1994~1998年我在干什么？在那个沸腾的向钱看的年代，我正在中关村不亦乐乎地倒腾电脑呢！

1. 端到端的训练思想

文章指出，传统的模式识别算法把特征提取和特征分类人为分成两个独立的步骤，实验表明，不去人为分割这款两个步骤，而是建立一个完整的网络，通过训练优化网络参数，可以取得更好的效果。

2. 训练集和测试集

论文总结了训练集误差和测试机误差与训练样本规模和网络模型复杂度之间关系，模型最佳复杂度与测试集误差最小化之间的关系。这些理论今天仍在使用。

甚至论文还总结了损失函数正则化的方法，让我觉得以前真的轻视的神经网络理论，那些鼓吹SVM理论的文章迷惑了。

3. 如何避免梯度学习局部极小解

论文指出，经验表明，梯度学习似乎并不需要过分担心局部极小解的陷阱。并指出