经典模型梳理：AlexNet

最新推荐文章于 2025-06-03 21:59:32 发布
原创 最新推荐文章于 2025-06-03 21:59:32 发布 · 879 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文主要梳理AlexNet网络结构，包括ReLU激活函数的优势，以及如何解决梯度消失问题。此外，讨论了在GPU上训练、局部响应归一化、重叠池化和防止过拟合的策略，如数据增强和Dropout。AlexNet的成功在于这些创新的结合。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

关于 Alex 的传说……大家随便听个报告都会讲到，这里就不说了。本文主要目的是为自己梳理知识，以便日后复习。

  • 网络结构
  • ReLU
  • Dropout
AlexNet

ImageNet Classification with Deep Convolutional Neural Networks
http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-network

前5层是卷积层，后3层是全连接层，
每层卷积层后接RuLU激活
前两层和最后一层卷积后有池化，具体如下图。

AlexNet
ReLU Nonlinearity
activation function

激活函数是从 Sigmoid 到 tanh 到 ReLU 的，最初用 Sigmoid 存在三个问题

  • Saturated neurons “kill” the gradients.

    • 当输入 x=0 时，梯度为0.25，当网络层数浅是是OK的，但数值计算中学过当极端情况下，多个小数相乘会等于0，深层网络也
最低0.47元/天 解锁文章

200万优质内容无限畅学
AlexNet 模型
07-21 1866
import torch import torch.nn as nn import torchvision import numpy as np import random import torch import torchvision m=torchvision.models.alexnet(pretrained=True) print(m) class AlexNet(nn.Module): def __init__(self): super(AlexNet,s.
Deep Learning_预训练CNN图片分类模型（AlexNet、VGG、GoogLeNet、Resnet.....）
夏大兔的学习笔记
08-22 9074
这段时间在做一个人脸验证的大作业，接触到了一些预训练模型（AlexNet、VGG、GoogLeNet、Resnet…..），今天看到了一个关于这些模型的比较好的回答，记录下来方面日后翻阅。作者：周博磊 链接：https://www.zhihu.com/question/43370067/answer/128881262 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明
大话CNN经典模型：AlexNet
雪饼的博客
03-12 1万+
—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。 2012年，Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计出了一个深层的卷积神经网络AlexNet，夺得了2012年ImageNet LSVRC的冠军，且准确率远超第二名（top5错误率为15.3%，第二名为26.2%），引起了很大的轰动...
AlexNet模型代码整理
beautiful77moon的博客
07-05 1209
1. 网络模型 （论文是用两块gpu并行训练的，所以图中的模型是上下两部分的，第一层卷积核的个数是48+48=96） 2. 模型参数 3. 模型代码 import torch.nn as nn import torch class AlexNet(nn.Module): def __init__(self, num_classes=1000, init_weights=False): super(AlexNet, self).__init__() .
【Pytorch学习笔记】模型模块08——AlexNet模型详解
最新发布
qq_50040241的博客
06-03 1893
数据预处理])# 加载数据集# 初始化模型model = AlexNet(num_classes=10) # 修改为CIFAR-10的10分类# 损失函数和优化器# 训练循环。
AlexNet模型
奋斗才是年轻该有的状态
09-07 3178
一、AlexNet模型简介   上面对LeNet这个网络模型进行了介绍，该模型对手写数字是被具有较高的识别率，但是对于大数据量、复杂的物体图片分类，该模型的效果还是远远达不到要求的。在此背景下，AlexNet模型被提出，该模型在2012年imagenet上的图像分类challenge上赢得了的冠军。AlexNet模型证明了CNN在复杂模型下的有效性，并使用GPU使得大数据训练在可接受的时间范围内得
Alexnet网络模型介绍
热门推荐
南洲.的博客
09-11 1万+
1、概述       AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网路被提出，比如优秀的vgg,GoogleLeNet。其官方提供的数据模型，准确率达到57.1%,top 1-5 达到80.2%. 这项对于传统的机器学习分类算法而言，已...
深度学习与计算机视觉：深度卷积神经网络基础原理、经典模型及应用实践教学课件
05-30
经典模型解析：详细剖析 LeNet、AlexNet、VGGNet、NiN、GoogLeNet、ResNet 等主流模型的架构创新（如残差连接、Inception 模块、全局均值池化等），对比各模型在 ILSVRC 竞赛中的性能表现。​ 技术原理：深入讲解...
2023年人工智能产业全梳理：大模型驱动的变革与应用
在1956年提出人工智能概念后，第一次爆发发生在2012年，随着AlexNet模型的出现，卷积神经网络（CNN）在图像识别领域取得了突破，使得机器识别图像的准确率在2015年首次超越人类。然而，这一时期的人工智能1.0阶段...
深入理解卷积神经网络：从LeNet到AlexNet的经典架构
标题“卷积神经网络学习...通过学习LeNet和AlexNet这两个经典的CNN结构，理解卷积层、池化层、激活函数等基础组件的工作原理，以及掌握卷积神经网络设计与训练的相关公式和理论，是走向深入理解CNN不可或缺的重要步骤。
AlexNet网络模型
lovecode2008的博客
02-16 1388
2012年，Hinton的学生Alex Krizhevsky在《深度卷积神经网络的ImageNet分类》一文中提出了深度卷积神经网络模型AlexNet，是LeNet的一种更深更宽的版本。这是第一次将深度卷积神经网络 (CNN)、GPU 和巨大的互联网来源数据集（ImageNet）结合在一起。AlexNet首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。AlexNet包含了6亿3000万个连接，6000万个参数和65万个神经元，拥有5个卷积层，其中3个卷积层后面连接了最大池化层，最后还有
AlexNet_alexnet_Alexnet网络模型_
09-30
alexnet模型搭建，供初学者参考，本人小白，望有错指正
AlexNet模型简介
Lee_queenie的博客
07-02 8068
2012年AlexNet在ImageNet竞赛中以超过第二名10.9个百分点的绝对优势一举夺冠，自此，深度学习和卷积神经网络一举成名，一直火到了今天。 模型组成 输入层 5个卷积层 3个全链接层 从上图还可以看到网络有两个分支，这是因为当时硬件条件有限，一块GPU显存不够，所以使用了两块GPU分别训练，在最后的全连接层进行特征融合得到最后的结果。 因为网络上比较流行上面这个图，但其实我个人更喜欢下面这个图，在逻辑和过程上更加清楚。 AlexNet 各层的详细描述 输入层： 输入大小为2
经典网络模型AlexNet
scl52tg的博客
11-03 573
模型分析前言：卷积计算公式模型图示（原论文）模型源码模型分析第一大层（卷积、激活、池化）第二大层（卷积、激活、池化）第三大层（卷积、激活）第四大层（卷积、激活）第五大层（卷积、激活）自适应平均池化拉直层第六大层（舍弃层、激活层、全连接层）第七大层（舍弃层、激活层、全连接层）第八大层（全连接层） 前言：卷积计算公式 在开始之前我先讲一下卷积层的计算公式； H1，W1: 输入图片的高和宽 F: 卷积核的尺寸 P: 填充的数量 K: 卷积核的个数 H2，W2，D2: 输出后求出来的高、宽、通道数 对于P图像的填
深度学习---AlexNet模型
qq_24503095的博客
12-23 831
2012年AlexNet横空出世，该模型使用了8层卷积神经网络，并以很大优势赢得了ImageNet2012图形识别挑战赛。首次证明了学习到的特征可以超越手工设计的特征。 与相对较小的LeNet相比，AlexNet包含8层交换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。 第一层中的卷积窗口形状是11x11。因为ImageNet中绝大多数图像的高和宽均比MNIST图像的高和宽大1...
回归模型梳理
wzxsjdt的专栏
02-12 403
本文所述回归模型包括：线性回归、逻辑回归、softmax回归 一. 线性回归 二. 逻辑回归 三. softmax回归 深度学习的本质是，对输入数据深度提取特征，后接可进行梯度下降的分类器，主要是接逻辑回归或softmax回归。 ...
AlexNet （ImageNet模型）
10-15 1275
介绍 AlexNet是LeNet的一种更深更宽的版本。首次在CNN中应用ReLU、Dropout和LRN，GPU进行运算加速。 一共有13层，有8个需要训练参数的层（不包括池化层和LRN层），前5层是卷积层，后三层是全连接层。 最后一层是有1000个类输出的softmax层用作分类。 前言 截取224*224，实际上又扩充了一个边界，成为227*227，论文里面22...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值