AlexNet模型

AlexNet深度解析
最新推荐文章于 2023-05-18 08:43:46 发布
原创 最新推荐文章于 2023-05-18 08:43:46 发布 · 439 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍2012年ImageNet竞赛冠军模型AlexNet的设计理念、数据集使用、激活函数选择、网络结构组成及Dropout策略应用等内容。

简介

2012年，Alex Krizhevsky及其同学Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计了一个深层的卷积神经网络，夺得了2012年ImageNet LSVRC的冠军，且准确率远超第二名（top5 error rate 15.3%，第二名为26.2%），这在学术界引起了很大的轰动，大家争先恐后地研究深度神经网络，带来了深度学习的大爆发。之后的ImageNet冠军都是用CNN来做的，并且层次越来越深。

数据集

  实验采用的数据集是ImageNet，它有超过1500万张人工标注好的高分辨率的图片，分别属于约22000个类别。ImageNet的图片全部来自网络，并通过亚马逊的Mechanical Turk众包服务进行了人工标注。自2010年开始举办ILSVRC比赛，每年一次。ILSVRC用的是ImageNet的一个子集，总共有1000个类别，每个类别大约有1000张图片，其中训练集有约120万张图片，验证集约5万张图片，测试集约15万张图片。ImageNet比赛会给出2个错误率，top-1和top-5，top-5错误率是指你的模型预测的概率最高的5个类别中都不包含正确的类别。

激活函数

神经元的激活函数通常选择sigmoid函数或tanh函数，但在AlexNet中用的却是max(0, x)函数，它的名字叫Rectified Linear Unit (ReLU)。用这个激活函数的神经网络的训练速度要比用传统激活函数的神经网络快数倍。4层的卷积神经网络在CIFAR-10数据集上训练达到25%的错误率。

网络结构

基本结构如下图:

这里写图片描述

a. 共有8层，其中前5层convolutional，后边3层full-connected ，最后的一个full-connected层的output是具有1000个输出的softmax，最后的优化目标是最大化平均的multinomial logistic regression

b. 在第一层conv1和conv2之后直接跟的是Response-nomalization layer，也就是norm1，norm2层。

c. 在每一个conv层以及full-connected层后紧跟的操作是ReLU操作。

d. Max pooling操作是紧跟在第一个norm1，norm2，以及第5个conv层，也就是conv5

e.Dropout操作是在最后两个full-connected层。

Dropout策略

使用多个model来共同进行预测是一个降低test errors的基本方法，但是单独的训练多个model组合会导致整个的训练成本增加，毕竟训练一个单一的网络需要很长的时间，即便计算资源足够，在不影响精度的情况下降低整个运算时间还是我们追求的目标。

由此Hinton提出了dropout策略，这个策略很简单，对于每一个隐层的output，以50%的概率将他们设置为0，不再对于forward或者backward的过程起任何作用。对于每一个input来说，使用的不同的网络结构，但是权重是共享的。这样求得的参数能够适应不同的情况下的网络结构，也就是提高了系统的泛化能力。

在AlexNet中最后的两个full-connected层中使用了这个策略。

网络各层次阶段

1.conv1阶段DFD（data flow diagram）：

这里写图片描述

2.conv2阶段DFD（data flow diagram）：

这里写图片描述

3.conv3阶段DFD（data flow diagram）：

这里写图片描述

4.conv4阶段DFD（data flow diagram）：

这里写图片描述

5.conv5阶段DFD（data flow diagram）：

这里写图片描述

6.fc6阶段DFD（data flow diagram）：

这里写图片描述

7.fc7阶段DFD（data flow diagram）：

这里写图片描述

8.fc8阶段DFD（data flow diagram）：

这里写图片描述

大话CNN经典模型：AlexNet
雪饼的博客
03-12 1万+
—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。 2012年，Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计出了一个深层的卷积神经网络AlexNet，夺得了2012年ImageNet LSVRC的冠军，且准确率远超第二名（top5错误率为15.3%，第二名为26.2%），引起了很大的轰动...
AlexNet网络模型
weixin_44578481的博客
07-27 802
模型测试的时候，要加载模型测试的函数呢，否则，不会报错，但没有结果显示，记住哦，测试的时候。每一张的识别的类别情况，就需要注释掉加载模型测试的函数，把模型推理的部分拿出来。需要进行模型推理，需要注意的是，这一部分需要注释掉加载模型测试的函数。train.py需要改的，导入模型，输入尺寸，数据处理部分，模型实例化。记住现在的参数总量，下一篇文章，有一个奇怪的问题，不知道是什么原因？上面没有报错情况下，便会得到网络的各层的情况，及参数的总数。模型推理，单张分类的时候，就不需要加载模型测试的函数哦。
Alexnet网络模型介绍
南洲.的博客
09-11 1万+
1、概述       AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网路被提出，比如优秀的vgg,GoogleLeNet。其官方提供的数据模型，准确率达到57.1%,top 1-5 达到80.2%. 这项对于传统的机器学习分类算法而言，已...
【深度学习理论3】ALexNet模型的详解
热门推荐
maweifei的博客
11-10 1万+
1LeNet-5 1.1局限性 早在1989年，Yann LeCun (现纽约大学教授)和他的同事们就发表了卷积神经网络（Convolution NeuralNetworks， 简称CNN）的工作。在很长时间里，CNN虽然在小规模的问题上，如手写数字，取得过当时世界最好结果，但一直没有取得巨大成功。这主要原因是，CNN在大规模图像上效果不好，比如像素很多的自然图片内容理解，所以没有得到计算机视
深度学习-AlexNet模型代码
01-24
作为深度学习领域的经典模型之一，AlexNet模型因其在2012年ImageNet挑战赛中的优异表现，而成为了深度学习研究者和开发者关注的焦点。AlexNet模型的提出，标志着深度学习技术在图像识别领域的重大突破，它使用了深层...
精选资源
动手学深度学习(PyTorch实现)(八)–AlexNet模型
01-06
AlexNet模型1. AlexNet模型介绍1.1 AlexNet的特点1.2 AlexNet的结构1.3 AlexNet参数数量2. AlexNet的PyTorch实现2.1 导入相应的包2.2 构建AlexNet网络2.3 加载数据集2.4 训练网络 1. AlexNet模型介绍 由于受到计算机...
基于tensorflow的猫狗图片的识别分类_深度学习CNN网络alexnet模型
04-14
我们将使用AlexNet模型，这是一个经典的卷积神经网络（CNN）结构，它在2012年的ImageNet大型视觉识别挑战赛中取得了显著成果，为后续的深度学习模型奠定了基础。 首先，我们需要理解AlexNet模型的基本架构。AlexNet...
alexnet模型-通过CNN卷积神经网络的牛油果是否腐烂识别-不含数据集图片-含逐行注释和说明文档.zip
05-25
alexnet模型_通过CNN卷积神经网络的牛油果是否腐烂识别-不含数据集图片-含逐行注释和说明文档 本代码是基于python pytorch环境安装的。 下载本代码后，有个环境安装的requirement.txt文本 如果有环境安装不会的，可...
AlexNet模型源代码
最新发布
08-08
在AlexNet中，Dropout被用在全连接层中，显著提高了模型的泛化能力。 自从AlexNet的成功之后，深度学习和深度卷积神经网络在图像识别领域得到了快速的发展。后续的研究工作从多个方面改进了AlexNet的设计，例如通过...
AlexNet_alexnet_Alexnet网络模型_
09-30
alexnet模型搭建，供初学者参考，本人小白，望有错指正
经典网络模型-AlexNet
L888666Q的博客
05-01 687
简介： AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。 网络结构： AlexNet共8层：5个卷积层，3个全连接层 卷积层C1 该层的处理流程是： 卷积–>ReLU–>池化–>归一化 卷积，输入是227×227x3，卷积核11x11x3,步长为4，卷积后的FeatureMap为 55x55x96 {(227-11+2*0.
经典网络模型AlexNet
scl52tg的博客
11-03 601
模型分析前言：卷积计算公式模型图示（原论文）模型源码模型分析第一大层（卷积、激活、池化）第二大层（卷积、激活、池化）第三大层（卷积、激活）第四大层（卷积、激活）第五大层（卷积、激活）自适应平均池化拉直层第六大层（舍弃层、激活层、全连接层）第七大层（舍弃层、激活层、全连接层）第八大层（全连接层） 前言：卷积计算公式 在开始之前我先讲一下卷积层的计算公式； H1，W1: 输入图片的高和宽 F: 卷积核的尺寸 P: 填充的数量 K: 卷积核的个数 H2，W2，D2: 输出后求出来的高、宽、通道数 对于P图像的填
AlexNet(深度学习模型)详解
记录 IT 领域经验与见解的博客
05-18 1万+
这样可以保证输出的特征图大小为55×55，同时减少了特征图的数量，从而避免了过拟合的风险。AlexNet的成功证明了深度学习在图像分类领域的重要性，并为计算机视觉领域的其他应用提供了新的思路和方法。该层的目的是减少特征图的大小，并增加模型的稳定性。该层的目的是减少特征图的大小，并增加模型的稳定性。AlexNet是一个用于图像分类的深度学习模型，它可以将输入的图像分为不同的类别。该技术可以对每个小批量的输入数据进行归一化处理，并对归一化后的数据进行线性变换和偏置，从而增加模型的非线性性和鲁棒性。
深度学习网络模型AlexNet
陈海峰的博客
05-25 1546
论文 http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf AlexNet结构 卷积层1 卷积层2 卷积层3 卷积层4 卷积层5 全连接层1 全连接层2 全连接层3
AlexNet网络模型学习
cyf1294311560的博客
08-09 548
AlexNet网络模型学习
LeNet--卷积神经网络开山之作
m0_56247038的博客
06-01 1435
LeNet的网络结构示意图如下所示：输入 → 卷积 → 池化 → 卷积 → 池化 → 全连接 → 全连接 → 全连接（输出）model.py: train.py: predict:
AlexNet卷积网络模型
Ftwhale的博客
04-13 712
上一节介绍了LeNet-5经典卷积网络模型的构成以及如何实现这样的一个网络，并且在实现的模型上达到了99%的正确率，但是LeNet-5缺乏对于更大更多图片的一个分类的功能。 在2012年，有人提出了新的深度卷积神经网络模型AlexNet。在2012的ILSVRC竞赛中，AletNet模型取得了top-5错误率为15.3%的好成绩，对比于第二名16.2%的错误率，AlexNet的优势明显。从此，Al...
alexnet模型
06-06
### AlexNet模型结构及实现 AlexNet 是深度学习领域中一种经典的卷积神经网络（CNN）模型，由 Alex Krizhevsky 等人在 2012 年提出。该模型在 ImageNet 图像分类竞赛中取得了突破性成果，极大地推动了深度学习在计算机视觉领域的发展。以下是 AlexNet 的详细结构及其实现方法。 #### 一、AlexNet 模型结构详解 AlexNet 的网络结构包含多个卷积层、池化层和全连接层。具体结构如下： 1. **Conv1**：第一个卷积层，输入图像尺寸为 $227 \times 227 \times 3$，使用 11×11 的卷积核，步长为 4，输出特征图尺寸为 $55 \times 55 \times 96$[^3]。 2. **Maxpool1**：最大池化层，使用 3×3 的池化窗口，步长为 2，输出特征图尺寸为 $27 \times 27 \times 96$[^3]。 3. **Conv2**：第二个卷积层，使用 5×5 的卷积核，输出特征图尺寸为 $27 \times 27 \times 256$[^3]。 4. **Maxpool2**：最大池化层，使用 3×3 的池化窗口，步长为 2，输出特征图尺寸为 $13 \times 13 \times 256$[^3]。 5. **Conv3**：第三个卷积层，使用 3×3 的卷积核，输出特征图尺寸为 $13 \times 13 \times 384$。 6. **Conv4**：第四个卷积层，使用 3×3 的卷积核，输出特征图尺寸为 $13 \times 13 \times 384$[^3]。 7. **Conv5**：第五个卷积层，使用 3×3 的卷积核，输出特征图尺寸为 $13 \times 13 \times 256$[^3]。 8. **Maxpool3**：最大池化层，使用 3×3 的池化窗口，步长为 2，输出特征图尺寸为 $6 \times 6 \times 256$。 9. **Full connection1**：第一个全连接层，包含 4096 个神经元。 10. **Full connection2**：第二个全连接层，包含 4096 个神经元。 11. **Full connection3**：第三个全连接层，输出类别数（例如 ImageNet 数据集中的 1000 类别）。 #### 二、AlexNet 模型代码实现 以下是一个基于 PyTorch 的 AlexNet 模型实现示例： ```python import torch import torch.nn as nn class AlexNet(nn.Module): def __init__(self, num_classes=1000): super(AlexNet, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=0), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2), nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2), nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2), ) self.avgpool = nn.AdaptiveAvgPool2d((6, 6)) self.classifier = nn.Sequential( nn.Dropout(), nn.Linear(256 * 6 * 6, 4096), nn.ReLU(inplace=True), nn.Dropout(), nn.Linear(4096, 4096), nn.ReLU(inplace=True), nn.Linear(4096, num_classes), ) def forward(self, x): x = self.features(x) x = self.avgpool(x) x = torch.flatten(x, 1) x = self.classifier(x) return x ``` #### 三、训练方法 训练 AlexNet 模型时需要注意以下几点： 1. **数据增强**：通过随机裁剪、水平翻转等技术增加数据多样性，减少过拟合[^1]。 2. **ReLU 激活函数**：使用 ReLU 激活函数加速收敛，并避免梯度消失问题[^2]。 3. **Dropout**：在全连接层中使用 Dropout 技术防止过拟合。 4. **GPU 并行训练**：利用 GPU 加速训练过程，提高效率[^1]。 5. **局部响应归一化**：在某些卷积层后应用局部响应归一化以增强泛化能力[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值