43、经典卷积神经网络架构解析

经典卷积神经网络架构解析

1. 卷积神经网络的发展与性能

卷积神经网络（CNN）在测试集上能达到超过92%的准确率，虽不是最顶尖水平，但表现相当不错，明显优于之前的密集网络。多年来，CNN基础架构的各种变体不断涌现，推动了该领域的惊人进展。以ILSVRC ImageNet挑战为例，图像分类的前5错误率在短短六年内从超过26%降至不到2.3% 。前5错误率指的是系统的前5个预测中未包含正确答案的测试图像数量。这些图像尺寸较大（高256像素），且有1000个类别，其中一些类别非常细微，例如区分120种狗的品种。研究获胜模型的演变是理解CNN工作原理的好方法。

2. LeNet - 5架构

LeNet - 5是最广为人知的CNN架构之一，由Yann LeCun于1998年创建，广泛用于手写数字识别（MNIST）。其架构如下表所示：
| Layer Type | Maps Size | Kernel size | Stride | Activation |
| — | — | — | — | — |
| Out | Fully connected – 10 | – | – | RBF |
| F6 | Fully connected – 84 | – | – | tanh |
| C5 | Convolution 120 | 1 × 1 | 5 × 5 | 1 | tanh |
| S4 | Avg pooling 16 | 5 × 5 | 2 × 2 | 2 | tanh |
| C3 | Convolution 16 | 10 × 10 | 5 × 5 | 1 | tanh |
| S2 | Avg