LeNet-5卷积神经网络架构解析与PyTorch实现

1. LeNet-5网络架构解析

LeNet-5作为卷积神经网络的开山之作，其架构设计体现了早期计算机视觉任务的典型解决方案。整个网络采用线性堆叠结构，由特征提取器和分类器两部分组成：

1.1 特征提取部分

特征提取器包含两个卷积块，每个块由"卷积层→Sigmoid激活→平均池化"组成：

• 第一卷积层：6个5×5卷积核，步长1，无填充
• 第一池化层：2×2窗口，步长2的平均池化
• 第二卷积层：16个5×5卷积核，步长1，无填充
• 第二池化层：2×2窗口，步长2的平均池化

这种设计在当时具有革命性意义：

1. 局部感受野：通过5×5小卷积核捕捉局部特征，相比全连接大幅减少参数量
2. 权值共享：同一卷积核在图像不同位置复用，增强平移不变性
3. 下采样：池化操作逐步降低空间分辨率，增加特征抽象程度

1.2 分类器部分

分类器由三个全连接层构成：

1. 输入层：将5×5×16的特征图展平为400维向量
2. 隐藏层：120个神经元，使用Sigmoid激活
3. 隐藏层：84个神经元，使用Sigmoid激活
4. 输出层：10个神经元对应0-9数字分类，使用Softmax激活

注意：原始LeNet-5使用Gaussian连接层而非现代的全连接层，当前实现通常用常规FC层替代

2. 维度变换与参数计算

2.1 输入输出尺寸推导

以32×32输入为例，各层尺寸变化如下表：

层类型	参数配置	计算公式	输出尺寸