经典卷积神经网络-LeNet-5

经典卷积神经网络-LeNet-5

一、背景介绍

LeNet-5是Yann LeCun等人在《Gradient-Based Learning Applied to Document Recogn》论文中提出的一个卷积神经网络，LeNet的基本思想和结构为后来更复杂的神经网络提供了灵感，并为研究者们提供了深入理解卷积神经网络的起点。

二、LeNet-5网络结构

如图所示，这是论文中所介绍的LeNet-5网络结构。输入为一个32 × 32大小的灰度图像，一共包含7层（不包括输入），其中三个卷积层、两个池化层和两个全连接层。

LeNet-5通过卷积操作，利用其参数共享、稀疏连接的特点来提取特征，避免了大量的计算成本，最后再使用全连接层进行分类识别，这个网络是近20年来大量卷积神经网络架构的起源。

由于该论文中的某些技术在现在不是很适用，例如采用的激活函数、输出层采用的分类器等等。所以目前复现的网络都使用了常用的技术进行了替代：将激活函数改为ReLU、将论文中的平均池化改为最大池化、将输出层采用的分类器改为Softmax分类器。具体修改后的网络结构如下：

三、LeNet-5的Pytorch实现

import torch
from torch import nn
from torch.nn import Sequential


class LeNet_5(nn.Module):

    def __init__(self) -> None:
        super().__init__()

        # input_size = (1, 28, 28)
        self.conv1 = Sequential(
            # 由于input_size为28×28 所以conv1的padding就采用same 即填充两层
            nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5, stride=1, padding=2),
            nn.MaxPool2d(kernel_size=2, stride=2)
        )

        # input_size = (14, 14, 6)
        self.conv2 = Sequential(
            nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5, stride=1),
            nn.MaxPool2d(kernel_size=2, stride=2)
        )

        # input_size = (5, 5, 16)
        self.flatten1 = Sequential(
            nn.Flatten()