AlexNet 结构学习

最新推荐文章于 2025-07-13 17:24:27 发布
转载 最新推荐文章于 2025-07-13 17:24:27 发布 · 4k 阅读 · 5
文章标签：

#深度学习 #caffe #AlexNet

      在2012年的时候，Geoffrey和他学生Alex为了回应质疑者，在ImageNet的竞赛中出手了，刷新了imageclassification的记录，一举奠定了deep learning 在计算机视觉中的地位。后边的故事大家都知道了，deeplearning一统天下，所向披靡。
在这次竞赛中Alex所用的结构被称为作为AlexNet。本部分首先介AlexNet的基本的architecture，在后边的学习中将分析其算法的基本原理以及参数细节。


针对2012年的这组数据集caffe也定义了自己的结构，被称为caffeNet，文档中说在迭代30多w次的的情况下精度大概提高了0.2个百分点。下面是两个Net的结构图，它们的区别在于norm1，pool1，以及norm2，pool2互换了顺序。




下面来看一下AlexNet的结构。在Alex的论文中，其基本结构为




1. 基本结构

a. 共有8层，其中前5层convolutional，后边3层full-connected，最后的一个full-connected层的output是具有1000个输出的softmax，最后的优化目标是最大化平均的multinomiallogistic regression

b. 在第一层conv1和conv2之后直接跟的是Response-nomalizationlayer，也就是norm1，norm2层。

c. 在每一个conv层以及full-connected层后紧跟的操作是ReLU操作。

d. Max pooling操作是紧跟在第一个norm1，norm2，以及第5个conv层，也就是conv5

e.Dropout操作是在最后两个full-connected层。

2. 操作流程

a.在第一个conv层（conv1）中，AlexNet采用了96个11*11*3的kernel在stride为4的情况下对于224*224*3的图像进行了滤波。直白点就是采用了11*11的卷积模板在三个通道上，间隔为4个像素的采样频率上对于图像进行了卷积操作。4个像素是receptivefield中心在kernel map上的距离，这是个经验数据。

最初的输入神经元的个数为224*224*3 = 150528个。对于每一个map来说，间隔为4，因此224/4 =56，然后减去边缘的一个为55个，也就是本层的map大小为55*55，然后神经元数目为55*55*96 =290400（原文中是253440，这个不太理解，有知道的请告知）

得到基本的conv数据后，则进行一次ReLU（relu1）以及Norm（norm1）的变换后，然后进行pooling（pool1），作为输出传递到下一层。

本层map数目为96.

b.第二个conv层(conv2)是第一个conv层(conv1)经过norm(norm1)以及pool(pool1)后，然后再apply256个5*5的卷积模板卷积后的结果。

pool1后，map的size减半int（55/2）= 27，得到的本层的神经元数目为27*27*256 =186642个。

本层map数目为256个。

c. 第三个conv层(conv3)的生成过程和第二层类似，不同的是这一层是apply384个3*3的卷积模板得到的。

pool2后，map的size减半int(27/2) = 13，得到本层神经元数目为13*13*384 =64896。

本层map数目为384个。

d. 第四个conv层(conv4)是第三个conv层(conv3)进行一次ReLU(relu3)后，然后直接apply384个3*3的卷积模板得到的。

本层神经元的数目为13*13*384 = 64896。

本层map数目为384个，size还是13*13.

e.第五个conv层(conv5)与第四个生成类似，只是对上层进行了一个ReLU(relu4)后生成的，不同之处在于此处apply的卷积模板为256个3*3的。

本层神经元的数目为13*13*256 = 43264。

本层map数目为256个，size还是13*13。

f.第一个full-connected层(fc6)是上一个conv层(conv5)进行pooling(pool5)后的全连接。

pool5后，map的size减半int(13/2) =6，上层基本连接为6*6*256，然后全连接后到4096个节点，本层最终节点为4096个。

g.第二个full-connected层(fc7)是上一个full-connected(fc6)进行ReLU(relu6)后，然后进行dropout(drop6)后再进行全连接的结果

本层节点数目为4096个。

h.最后一个full-connetcted层(fc8)则是上一个full-connected层(fc7)再次进行ReLU(relu7)以及dropout(drop7)后再进行全连接的结果。最后输出为融合label的softmaxloss。

本层节点数目为1000个，对应着1000类对象。

在下面将对于AlexNet的原理进行以及算法的执行细节进行分析。
AlexNet架构解析
冲出仁川，走出马德里，故事还会再继续
08-11 687
(AI教父，2019图灵奖得主)AlexNet是2012年ImageNet图像分类竞赛的冠军，首次将卷积神经网络CNN和深度学习用于大规模图像分类并且性能优异，在今天也具有一定的参考价值。
从AlexNet开始（二）：利用AlexNet结构学习tensorflow
zym19941119的博客
01-10 1864
从AlexNet开始（二） 本篇博客将会介绍如何改进AlexNet的网络结构使其应用于CIFAR-10数据集的图像分类，并给出大部分代码，代码使用python语言与tensorflow框架。 CIFAR-10数据集简介 CIFAR数据集是由深度学习三大牛之一的Hinton大佬的两个大弟子Alex Krizhevsky与Ilya Sutskever收集的一个用于普适物体识别的数据集，其
Alexnet网络结构详解
weixin_44572928的博客
12-02 602
Alexnet网络结构详解 1.网络结构 这是AlexNet网络的结构图 2.网络模型代码 三级目录
我看AlexNet
MrGiovanni
08-10 5278
Reference. Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information Processing Systems, 2012, 25(2):2012. https:
一文读懂现代卷积神经网络—深度卷积神经网络（AlexNet）
wh1236666的博客
07-13 1254
是 2012 年由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 提出的深度卷积神经网络（DCNN），它在当年的 ImageNet 大规模视觉识别挑战赛（ILSVRC）中以。：通过卷积和汇聚逐步减小空间尺寸（224→55→27→13→6），同时增加通道数（3→96→256→384→256）： 为目标检测（R-CNN）、语义分割（FCN）、人脸识别等任务奠定基础，推动 AI 在医疗、自动驾驶等领域的应用。夺冠，大幅超越第二名（26.2%），
深度学习AlexNet模型详细分析
zyqdragon的博客
05-16 9万+
Alex在2012年提出的alexnet网络结构模型引爆了神经网络的应用热潮，并赢得了2012届图像识别大赛的冠军，使得CNN成为在图像分类上的核心算法模型。 接下来本文对该网络配置结构中各个层进行详细的解读（训练阶段）： 注：下述关于卷积核的尺寸来自于Alex在2012年发表的经典论文。   1. conv1阶段DFD（data flow diagram）：   第一层输入数
基于深度学习的加密流量识别模型源码：融合LeNet、AlexNet及GAP结构
03-25
该模型创新性地融合了LeNet、AlexNet以及全局平均池化（GAP）结构，以增强识别的准确性和效率。项目包含26个文件，其中Python源文件20个，配置文件1个，Markdown文档2个，以及版本控制忽略文件2个和LICENSE证书文件1...
CNN入门之ALexNet结构详解
qq_52254197的博客
05-25 1054
CNN入门之ALexNet结构详解 文章目录CNN入门之ALexNet结构详解1.ALexNet结构2.ALexNet创新点 1.ALexNet结构 如图： 输入:三通道224x224x3彩色图像，经过11x11x3，步长为4的96个卷积核对224x224x3的图像卷积，输出图像大小为227−114+1=55\frac {227-11} {4}+1=554227−11​+1=55（每个卷积核的参数是不同的，处理出的图像也不同，有几个就输出几维）最终输出55∗55∗9655 * 55 * 9655∗55∗9
基于AlexNet的模型结构：AlexNet-ImageNet-CNTK
10-24
基于AlexNet的模型结构：AlexNet-ImageNet-CNTK
深度学习经典模型之Alexnet
weixin_43775295的博客
11-05 1481
​ AlexNet是由AlexAlexAlex提出的首个应用于图像分类的深层卷积神经网络，该网络在2012年ILSVRCImageNetLargeScaleVisualRecognitionCompetition）图像分类竞赛中以15.3。
清晰明了的AlexNet网络结构
认真努力，做一只会飞的毛毛虫。
11-23 2332
AlexNet是2012年ISLVRC 2012竞赛的冠军网络，分类准确率由70%提升到了80%，在当时由于瓶颈期，提升百分之十是令人印象非常深刻的，这个网络的设计者是Hinton和他的学术Alex Krizhevsky，也是从这一年以后，深度学习就开始迅速发展。 下图是从AlexNet网络的论文中截取而来： 该网络的两点在于： 1>首次利用GPU进行网络加速； 2>使用了ReLU激活函数，而不是传统的Sigmoid激活函数(求导的过程中比较麻烦且当网络比较深的时候会出现梯度消失的现象)以及.
AlexNet
郭云飞的专栏
09-28 3万+
AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网路被提出，比如优秀的vgg,GoogleLeNet。其官方提供的数据模型，准确率达到57.1%,top 1-5 达到80.2%. 这项对于传统的机器学习分类算法而言，已经相当的出色。 上图所示是caffe中alexnet的网络结构，上图采用
AlexNet网络结构详解（含各层维度大小计算过程）与PyTorch实现
热门推荐
gz7seven
07-08 11万+
AlexNet网络结构详解（含各层维度大小计算过程）1、AlexNet之前的思考2、AlexNet网络结构3、AlexNet网络结构的主要贡献     在上文中详细介绍了第一个神经网络LeNet，但是在其提出20年的时间里并没有引起学者和各研究机构的重视，随机机器学习的兴起，LeNet网络基本被遗忘了。而真正打破机器学习和传统特征提取方法限制的深度神经网络就是本文要讲述的AlexNet。 1、AlexNet之前的思考     在AlexNet网络问世之前，大量的学者在进行图像分类、分割、识别等工作时，主要是
AlexNet网络的结构详解与实现
小白学视觉
05-05 3984
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达一：AlexNet网络结构在2012年ImageNet图像分类任务竞赛中AlexNet一鸣惊人，对128万张1000个分类的预测结果大大超过其他算法模型准确率，打败其它非DNN网络一鸣惊人。AlexNet包括5个卷积层与三个全连接层，与今天动则十几层、几十层甚至成百上千层相比，简直是太简单、太容易理解啦...
AlexNet网络结构
qq_38162944的博客
03-01 561
构造模型 import torch.nn as nn import torch class AlexNet(nn.Module):#定义AlexNet这个类，它继承自nn.Module这个父类 def __init__(self, num_classes=1000, init_weights=False): super(AlexNet, self).__init__() self.features = nn.Sequential( #使用nn.Se.
Alexnet网络结构
dgs66009的博客
03-19 265
最近试一下kaggle的文字检测的题目，目前方向有两个ssd和cptn。直接看看不太懂，看到Alexnet是基础，今天手写一下网络，记录一下啊。 先理解下Alexnet中使用的原件和作用： 激活函数使用了relu并用了多个cpu：提高了训练速度。 重叠pool池化（不再是简单除以2的池化了，类似于卷积的计算过程，不过同样还是减少了参数）：提高了精度，不容易产生过拟合。 局部响应归...
alexnet结构
最新发布
07-19
AlexNet 是一种经典的卷积神经网络（CNN）架构，在 2012 年的 ImageNet 大赛中表现优异，将 CNN 引入深度学习的新时代。该网络由 Alex Krizhevsky 等人提出，其设计在多方面改进了卷积神经网络的架构，使其能够在大型数据集上有效训练。 ### AlexNet 的架构概述 AlexNet 包含 8 层权重层，其中前 5 层为卷积层，后 3 层为全连接层。此外，卷积层之间穿插了池化层，总共包含 3 层池化层。网络结构可以简记为：卷积——池化——卷积——池化——卷积——卷积——卷积——池化——全连接——全连接——全连接 [^2]。 #### 卷积层 1. **第一层卷积层**：输入图像大小为 224x224x3，使用 96 个 11x11 的卷积核，步长为 4，输出大小为 55x55x96。 2. **第二层卷积层**：输入大小为 55x55x96，使用 256 个 5x5 的卷积核，步长为 1，输出大小为 27x27x256。 3. **第三层卷积层**：输入大小为 27x27x256，使用 384 个 3x3 的卷积核，步长为 1，输出大小为 13x13x384。 4. **第四层卷积层**：输入大小为 13x13x384，使用 384 个 3x3 的卷积核，步长为 1，输出大小为 13x13x384。 5. **第五层卷积层**：输入大小为 13x13x384，使用 256 个 3x3 的卷积核，步长为 1，输出大小为 13x13x256。 #### 池化层 池化层用于减少特征图的大小，降低计算复杂度并防止过拟合。AlexNet 使用最大池化操作，池化窗口大小为 3x3，步长为 2。 1. **第一层池化**：输入大小为 55x55x96，输出大小为 27x27x96。 2. **第二层池化**：输入大小为 27x27x256，输出大小为 13x13x256。 3. **第三层池化**：输入大小为 13x13x256，输出大小为 6x6x256。 #### 全连接层 全连接层用于分类任务，最终输出为 1000 个类别的概率分布。 1. **第六层全连接层**：输入大小为 6x6x256，展平后为 9216 个神经元，输出大小为 4096。 2. **第七层全连接层**：输入大小为 4096，输出大小为 4096。 3. **第八层全连接层**：输入大小为 4096，输出大小为 1000（ImageNet 数据集的类别数）。 ### 代码复现 以下是一个简单的 AlexNet 模型的 PyTorch 实现： ```python import torch.nn as nn class AlexNet(nn.Module): def __init__(self, num_classes=1000): super(AlexNet, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=2), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2), nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2), nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=3, stride=2), ) self.classifier = nn.Sequential( nn.Dropout(), nn.Linear(256 * 6 * 6, 4096), nn.ReLU(inplace=True), nn.Dropout(), nn.Linear(4096, 4096), nn.ReLU(inplace=True), nn.Linear(4096, num_classes), ) def forward(self, x): x = self.features(x) x = x.view(x.size(0), 256 * 6 * 6) x = self.classifier(x) return x ``` ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值