CNN网络经典之作-LeNet5详解

最新推荐文章于 2024-04-18 18:21:31 发布
原创 最新推荐文章于 2024-04-18 18:21:31 发布 · 959 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #卷积 #LeNet #卷积神经网络 #计算机视觉

LeNet5是1998年由Yann LeCun提出的一种早期卷积神经网络，主要用于手写数字识别。它由8层构成，包括输入层、三个卷积层、两个池化层、一个全连接层及输出层。LeNet5采用特定的卷积核和池化策略，有效降低了参数数量，同时提高了识别精度。

LeNet5 介绍

LeNet通常就指LeNet5，该网络诞生于1998年，作者是Yann LeCun，当初被设计用来识别手写数字，是最早的CNN网络之一，被后续学者奉为经典，该论文的下载地址 http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=054E02BBBFEFE6B1C98D119DC503F6A7?doi=10.1.1.42.7665&rep=rep1&type=pdf

在加拿大瑞尔森大学的官网上，有一个LeNet手写数字识别的3D可视化模型，想要了解LeNet的同学们，可以先到这个网站上体验一下，对理解LeNet会有很大的帮助，网址 https://www.cs.ryerson.ca/~aharley/vis/conv/

 

网络结构

论文中的网络结构图如下：

 

包含输入输出层，LeNet-5 一共有8层网络，分为

Input 输入层、C1 卷积层、S2 下采样池化层、C3 卷积层、S4 下采样卷积层、C5 卷积层、F6 全连接层、Output 输出层。

Input 输入层

LeNet-5 输入图像为单通道的32x32大小的手写数字图像。

 

C1 卷积层

卷积层是用作特征提取的图层，C1 卷积层这里使用了6个5x5大小的卷积核，卷积步长为1。该层接收输入层传入的32x32大小的单通道图像，输出为6个特征平面，每个特征面的尺寸为28x28大小(32-5+1)。

连接数为 (5x5+1)x28x28x6 = 122304个。

权值数为6个卷积核的权值参数，每个卷积核有5x5个权值+1个偏移量，共有(5x5+1)x6 = 156个。

 

 

 

S2 池化层

池化层就是下采样层，用来降低数据的维度，一般在CNN(卷积神经网络)中，一组卷积操作之后会接一个池化层。卷积层提取完特征后相当于对数据进行一次抽象，数据量可以进行一次压缩。

池化层一般有 最大值池化、平均值池化两种，LeNet5网络当初使用的是平均池化，后来人们发现最大值池化效果更好一下，目前使用LeNet5网络的时候很多都会改用最大值池化。

该池化层输入为6个28x28的特征图，对每个特征图分别进行2x2大小的窗口进行下采样，下采样后每个特征图的尺寸长宽各缩小一半，变为14x14，即输出为6个14x14大小的特征图。

 

C3 卷积层

该卷积层有16个特征平面，输入6个14x14大小的特征图，输出为16个10x10大小的特征平面（14-5+1=10）。

不同于C2层，该层的特征平面和上一层的池化层并不是每一个特征平面都与所有的上层特征平面相连，连接关系矩阵如下所示：

 

前6个特征平面只中每一个平面只与上层6个平面中的3个相连，第7-15层每层与4个相连，只有最后一个特征平面才与上层所有特征面相连。这么设计的目的论文中有讲到，主要是为了打破对称性，提取深层特征，因为特征不是对称的，因此需要打破这种对称，以提取到更重要的特征。

连接数，前6个 特征平面 (5x5x3+1)x10x10x6=45600，第7-15个为 (5x5x4+1)x10x10x9=90900，最后一个 (5x5x6+1)x10x10x1=15100，总个数为 151600个。

权值数，(5x5x3+1)x6 + (5x5x4+1)x9 + (5x5x6+1)x1 = 1516个。

S4 池化层

输入为16个10x10大小的特征平面

输出为16个5x5大小的特征平面

C5 卷积层

这是一个比较特殊的卷积层，特殊之处在于卷积核大小刚好等于输入特征图的大小，都是5x5的尺寸，导致该卷积层的输出为1x1大小的特征图。该卷积层使用了120个卷积核，输出为120个1x1大小的特征图。

 

该层的连接数为 (5x5x16+1)x120=48120个，权值也是这么多个。

F6 全连接层

有84个神经元大小的全连接层，相当于BP网络的隐藏层，连接个数与权值数都为(120+1)x84=10164个。

参考文章

https://blog.youkuaiyun.com/weixin_42398658/article/details/84392845

https://blog.youkuaiyun.com/u013963380/article/details/93316111

lenet_5模型-MATLAB代码实现
10-28
在机器学习领域，LeNet-5模型是卷积神经网络（Convolutional Neural Network, CNN）的经典之作，由Yann LeCun等人于1998年提出，主要用于手写数字识别。在MATLAB环境下实现这一模型，不仅可以帮助我们理解CNN的工作...
精选资源
LeNet-5pytorch实战.pdf
06-05
LeNet-5网络各层详解 - **输入层**：输入图像通常被归一化为32x32像素。这一层不包含可训练参数，因为不被视为网络结构的一部分。 - **C1层（卷积层）**：此层采用5x5的卷积核进行图像的第一次卷积运算，共有6个...
CNN经典论文（一）LeNet
loveling丶的博客
05-19 3312
Gradient-Based Learning Applied to Document Recognition（梯度学习在文档识别中的应用） Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner 发表时间：December 1998 期刊：Proceedings of the IEEE 影响：世界上第一个卷积神经网络 论文地址：Gradient-Based Learning Applied to Document Recognition
CNN：LeNet-5
lvfeiya的博客
01-15 533
LeNet-5共包含8层 ![在这里插入图片描述](https://img- C1层是一个卷积层，由6个特征图Feature Map构成。特征图中每个神经元与输入为55的邻域相连。特征图的大小为2828，这样能防止输入的连接掉到边界之外（32-5+1=28）。C1有156个可训练参数（每个滤波器55=25个unit参数和一个bias参数，一共6个滤波器，共(55+1)6=156个参数），共156(...
LeNet-5
weixin_30344995的博客
11-07 144
输入图像为32*32 C1：卷积层，滤波器6组5*5，输出28*28 *6 。训练参数（25个unit，1个偏置）。连接数156*28*28。神经元：28*28*6 S2：下采样，一个滤波器2*2,，输出14*14*6。参数6*2=12，（一个权重，一个偏置）。连接数：6*5*14*14=5880。14*14个神经元，过滤器处理一样 C3：卷积，60个滤波器，输出...
CNN系列学习（一）：LeNet-5
lighten-1996的博客
12-24 443
PDF下载 LeNet-5网络是由LeCun等人在1998年提出，用于解决手写数字识别，由于提出了卷积与池化这一概念，为后来卷积神经网络的发展奠定了基调。 网络结构如图： 可以看到，网络输入是一个一维的32x32大小的图片，通过5x5的卷积核，经过6个特征通道，输出的到28x28x6的feature maps,通过2x2的下采样池化后图片大小降至14x14x6，然后用5X5的卷积核卷积的同时再将6...
CNN LeNet-5模型 学习笔记
dlphay的博客
02-27 964
模型：LeNet-5 核心思想：局部感受野，权值共享，时间和空间的亚采样
CNN经典架构LeNet-5及参数调整
夜阑寄语
05-22 2832
详解CNN经典架构LeNet-5及参数调整 Create Wed May 2019.5.22 19:18 目前来说，深度学习、机器学习一直给人就是高深莫测的感觉。但是其实对于深度学习在计算机视觉方面的研究问题，目前来说其实就是对一些视频（帧信息）或图片任务实现分类识别，并且可以控制在一定的误差范围之内就达到了问题的目的。并且与其他对于图像分类任务的算法相对比的情况下，神经网络由于其具有较好的分类特...
CNN经典网络模型（一）：LeNet简介及代码实现（PyTorch超详细注释版）
热门推荐
qq_43307074的博客
10-01 3万+
CNN经典网络模型之一：LeNet，本文包含其简介及代码，在PyTorch中实现，进行超详细注释，适合新生小白阅读学习~
LeNet-5 卷积神经网络论文笔记-Gradient-Based Learning Applied to Document Recognition第Ⅰ、Ⅱ部分 笔记
Sail的博客
10-24 4770
LeNet-5 卷积神经网络论文笔记-Gradient-Based Learning Applied to Document Recognition第Ⅰ、Ⅱ部分 笔记 文章目录LeNet-5 卷积神经网络论文笔记-Gradient-Based Learning Applied to Document Recognition第Ⅰ、Ⅱ部分 笔记文章介绍理论基础及现状损失函数，聚焦在模型在训练集和测试集上的表现差异。论文中提到的方法，正则化 regularizationB.Gradient-Based Learn
深度学习----CNN的数字识别之LeNet-5
樱花落瓣
08-03 4581
一、介绍 二、LeNet-5 2.1、简介 2.1、各层详解 1. C1卷积层 2. S2 下采样层（Pooling） 3. C3层 卷积层 4. S4层 Pooling层 5. C5 卷积层 6. F6 全连接层 7. 输出层 一、介绍          &nbs...
fit（）函数参数
weixin_45589945的博客
09-15 1万+
model.fit（）函数参数含义 fit( x, y, batch_size=32, epochs=10, verbose=1, callbacks=None,validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0) x：输入数据。模型只有一个输入，x的类型是numpy array，如果模型有多个输入，那么x的类型应当为list，lis
tensorflow实现CNN—— LeNet5
kunshanyuZ的博客
01-13 903
# -*- coding: utf-8 -*- """ tensorflow实现CNN ——> LeNet5 """ import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data minist = input_data.read_data_sets('MNIST_data'
Lenet -5 神经网络详解
hellocsz的博客
06-21 8778
网络解析（一）：LeNet-5详解 5 2,211 °CA+所属分类：深度学习摘要LeNet-5出自论文Gradient-Based Learning Applied to Document Recognition，是一种用于手写体字符识别的非常高效的卷积神经网络。一、前言LeNet-5出自论文Gradient-Based Learning Applied to Document Recognit...
LeNet5
weixin_43406381的博客
07-05 321
文章目录一、简介二、网络结构三、代码实现 TODO参考 一、简介 LeNet是LeCun在1998年提出，用于解决手写数字识别的视觉任务。一般认为，卷积神经网络是从这里开始的。LeNet5一共有七层。两个卷积，两个池化，三个全连接。 二、网络结构 这里的卷积就是正常卷积。 池化不太一样。按原文的意思，池化是2*2的池化， 不过不是平均或者最大池化。而只求和了，然后加上一个可以训练的偏置项，再用sigmod函数激活一下。 其它层的具体情况参见这个大佬写的经典论文之LeNet-5 三、代码实现 TO
初涉LeNet5处理mnist (CNN卷积神经网络)
knowfarhhy
07-20 980
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import os import numpy as np #输入节点个数 INPUT_NODE = 784 #输出节点个数 OUTPUT_NODE = 10 #图片的尺寸 IMAGE_SIZE = 28 #通道数 NUM_CHANNEL
CNN卷积神经网络之LeNet-5原理与实战
每一个不曾起舞的日子，都是对生命的辜负
04-18 979
CNN卷积神经网络之LeNet-5原理与实战
头歌经典cnn模型-lenet
最新发布
03-22
### 经典CNN模型 LeNet 的实现与原理 #### 1. LeNet-5 网络结构概述 LeNet 是一种早期的经典卷积神经网络 (Convolutional Neural Network, CNN)，最初由 Yann LeCun 提出并用于解决手写字符识别问题。它首次引入了卷积层和池化层的概念，显著提高了图像分类任务中的性能[^2]。 LeNet-5 主要分为两大部分：特征提取部分和分类器部分。 - **特征提取部分** 使用交替的卷积层和子采样层来捕获输入图像的空间层次特征。 - **分类器部分** 则通过全连接层完成最终的类别预测。 具体来说，LeNet-5 的主要模块包括以下几个阶段： - 输入层：接受单通道灰度图像作为输入。 - 卷积层：负责提取局部特征。 - 池化层（Subsampling Layer）：降低特征图尺寸以减少计算量。 - 全连接层：将前面提取到的特征映射到目标类别的概率分布上。 #### 2. LeNet-5 参数详解 以下是 LeNet-5 中各层的具体配置： | 层名称 | 类型 | 输出大小 | 描述 | |--------------|-------------|---------------|----------------------------------------------------------------------| | Input | 输入层 | \(32 \times 32\) | 接收 \(32 \times 32\) 像素的灰度图片 | | C1 | 卷积层 | \(28 \times 28 \times 6\) | 进行 \(5 \times 5\) 卷积操作，生成 6 个特征图 | | S2 | 子采样层 | \(14 \times 14 \times 6\) | 对 C1 特征图进行平均池化 | | C3 | 卷积层 | \(10 \times 10 \times 16\) | 应用 \(5 \times 5\) 卷积核，得到 16 个更复杂的特征 | | S4 | 子采样层 | \(5 \times 5 \times 16\) | 再次执行池化操作 | | C5 | 卷积层 | \(1 \times 1 \times 120\) | 将前一层输出展平为向量 | | F6 | 全连接层 | \(84\) | 映射高维空间 | | Output | Softmax 输出 | \(10\) | 预测属于某个数字的概率 | 这些层共同构成了一个完整的端到端训练框架，能够高效处理 MNIST 数据集上的手写数字分类任务[^1]。 #### 3. PyTorch 实现代码示例 下面是一个基于 PyTorch 的 LeNet-5 实现代码片段： ```python import torch.nn as nn import torch.nn.functional as F class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() # 定义卷积层 self.conv1 = nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5) self.conv2 = nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5) # 定义全连接层 self.fc1 = nn.Linear(16 * 5 * 5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): # 卷积 -> ReLU激活 -> 池化 x = F.relu(self.conv1(x)) x = F.max_pool2d(x, 2) x = F.relu(self.conv2(x)) x = F.max_pool2d(x, 2) # 展平 x = x.view(-1, 16 * 5 * 5) # 全连接层 -> ReLU激活 x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) # 输出层 x = self.fc3(x) return x ``` 上述代码定义了一个标准的 LeNet-5 架构，并支持扩展至其他类似的简单图像分类场景。 --- ####
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ango_Cango

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值