CNN进化史:图解从LeNet到MobileNet的12个关键创新点(含Keras示例)

深度学习方法(五):卷积神经网络CNN经典模型整理Lenet,Alexnet,Googlenet,VGG,Deep Residual Learning... 欢迎转载,转载请注明:本文出自Bin的专栏blog.youkuaiyun.com/xbinworld。 技术交流QQ群:433250724,欢迎对算法、技术感兴趣的同学加入。 关于卷积神经网络CNN,网络和文献中有非常多的资料,我在工作/研究中也用了好一段时间各种常见的model了,就想着简单整理一下,以备查阅之需。如果读者是初接触CNN,建议可以先看一看“Deep Learning(... 阅读详情

CNN进化史:从LeNet到MobileNet的12个关键架构突破与实战解析

当我们在手机相册中瞬间搜索到包含"海滩"的照片,或是通过人脸识别解锁设备时,背后都离不开卷积神经网络(CNN)数十年来的持续进化。本文将带您穿越这段技术发展历程,通过12个里程碑式的架构创新,揭示CNN如何从最初的简单图像分类器,演变为今天支撑各类智能视觉应用的强大引擎。

1. 奠基者LeNet-5:CNN的原始蓝图

1998年诞生的LeNet-5如同神经网络界的"活化石",其设计理念至今仍在影响现代架构。这个仅有5层的网络在当时的手写数字识别任务上达到了99.2%的准确率,其核心创新在于确立了卷积层-池化层-全连接层的标准组合范式。

# LeNet-5的Keras实现核心结构
from keras.models import Sequential
from keras.layers import Conv2D, AveragePooling2D, Flatten, Dense

model = Sequential([
    Conv2D(6, (5,5), activation='tanh', input_shape=(32,32,1)),
    AveragePooling2D(),
    Conv2D(16, (5,5), activation='tanh'),
    AveragePooling2D(),
    Flatten(),
    Dense(120, activation='tanh'),
    Dense(84, activation='tanh'),
    Dense(10, activation='softmax')
])

关键设计特点:

  • 使用5×5卷积核进行局部特征提取
  • 采用平均池化降低空间维度
  • 最后三层全连接层实现分类决策

这个架构的局限性在今天看来非常明显:仅支持灰度小图像(32×32)、使用计算量大的全连接层、采用收敛慢的tanh激活函数。但正是这些"不完美"为后续改进指明了方向。

2. AlexNet:深度CNN的首次爆发

2012年的AlexNet在ImageNet竞赛中以压倒性优势夺冠,将Top-5错误率从26%骤降至15.3%,正式开启了深度学习时代。其创新点不仅在于将网络加深到8层,更在于引入了几项革命性设计:

ReLU激活函数的采用解决了梯度消失问题,使训练更深网络成为可能。对比传统sigmoid,ReLU的计算速度提升6倍以上:

激活函数计算复杂度梯度稳定性死亡神经元风险
Sigmoid高差低
Tanh中中等低
ReLU低好高
# AlexNet中的ReLU实现示例
Conv2D(96, (11,11), strides=4, activation='relu', input_shape=(227,227,3))

其他关键创新:

  • 使用重叠最大池化(3×3池化窗口,步长2)提升特征鲁棒性
  • 引入Dropout(概率0.5)减轻全连接层过拟合
  • 首次采用GPU加速训练(NVIDIA GTX 580)

注意:原始AlexNet使用双GPU并行设计,现代实现通常简化为单GPU版本

3. VGGNet:深度与规整化的胜利

2014年牛津大学提出的VGG网络证明了网络深度对性能的关键影响。通过堆叠多个3×3小卷积核替代大卷积核,VGG-16在保持相同感受野的同时大幅减少了参数量:

  • 单个7×7卷积层参数:7×7×C×C = 49C²
  • 三个3×3卷积层参数:3×(3×3×C×C) = 27C²
# VGG-16的典型块结构
def vgg_block(inputs, filters, layers):
    x = inputs
    for _ in range(layers):
        x = Conv2D(filters, (3,3), padding='same', activation='relu')(x)
    return MaxPooling2D((2,2), strides=2)(x)

VGG的贡献在于:

  • 确立小卷积核深网络的设计哲学
  • 展示深度与性能的正相关关系(16层比19层稍差)
  • 提供高度规整化的架构模板

但其全连接层参数占比过大(约90%),导致模型尺寸高达500MB+,为后续轻量化研究埋下伏笔。

4. Inception系列:智能特征工程

Google的Inception系列通过多路径并行处理革新了特征提取方式。其核心思想是在每个模块中同时应用不同尺度的卷积核(1×1,3×3,5×5),让网络自主选择最佳特征组合方式。

Inception-v1(GoogLeNet)的关键创新:

  • 引入1×1卷积进行维度压缩(bottleneck)
  • 使用辅助分类器缓解梯度消失
  • 全局平均池化替代全连接层
# Inception模块基础实现
def inception_module(x, filters):
    path1 = Conv2D(filters[0], (1,1), padding='same', activation='relu')(x)
    
    path2 = Conv2D(filters[1], (1,1), padding='same', activation='relu')(x)
    path2 = Conv2D(filters[2], (3,3), padding='same', activation='relu')(path2)
    
    path3 = Conv2D(filters[3], (1,1), padding='same', activation='relu')(x)
    path3 = Conv2D(filters[4], (5,5), padding='same', activation='relu')(path3)
    
    path4 = MaxPooling2D((3,3), strides=1, padding='same')(x)
    path4 = Conv2D(filters[5], (1,1), padding='same', activation='relu')(path4)
    
    return concatenate([path1, path2, path3, path4], axis=-1)

后续版本持续优化:

  • Inception-v3:用连续小卷积替代大卷积(如两个3×3替代5×5)
  • Inception-v4:引入更高效的Stem模块
  • Inception-ResNet:融合残差连接

5. ResNet:深度网络的训练革命

2015年提出的ResNet通过残差连接(skip connection)解决了深度网络梯度消失问题,使网络深度突破千层成为可能。其核心思想是通过恒等映射保留原始信息,让每层只需学习残差部分。

残差块有两种基本形式:

# 普通残差块
def residual_block(x, filters):
    shortcut = x
    x = Conv2D(filters, (3,3), padding='same', activation='relu')(x)
    x = Conv2D(filters, (3,3), padding='same')(x)
    x = Add()([x, shortcut])
    return Activation('relu')(x)

# 瓶颈残差块(更高效)
def bottleneck_block(x, filters):
    shortcut = x
    x = Conv2D(filters[0], (1,1), padding='same', activation='relu')(x)
    x = Conv2D(filters[1], (3,3), padding='same', activation='relu')(x)
    x = Conv2D(filters[2], (1,1), padding='same')(x)
    x = Add()([x, shortcut])
    return Activation('relu')(x)

ResNet的突破性在于:

  • 证明超深网络(152层)的可训练性
  • 残差思想被后续几乎所有先进网络采纳
  • 准确率随深度增加持续提升(不像VGG存在饱和点)

6. 轻量化革命:从Xception到MobileNet

随着移动端AI需求爆发,模型效率成为研究重点,催生了一系列轻量化架构创新:

Xception(2016):将Inception推向极致,用深度可分离卷积(depthwise separable conv)替代标准卷积,参数量减少90%:

# 深度可分离卷积实现
from keras.layers import DepthwiseConv2D, SeparableConv2D

# 手动分解版本
x = DepthwiseConv2D((3,3), padding='same')(inputs)
x = Conv2D(filters, (1,1))(x)

# Keras封装版本
x = SeparableConv2D(filters, (3,3), padding='same')(inputs)

MobileNet系列进一步优化轻量设计:

  • MobileNetV1:基于深度可分离卷积的极简设计
  • MobileNetV2:引入反向残差和线性瓶颈
  • MobileNetV3:结合神经架构搜索(NAS)优化

轻量化技术对比:

技术参数量减少计算量减少精度损失
深度可分离卷积8-9倍8-9倍1-2%
通道剪枝3-5倍2-4倍2-5%
量化(8-bit)4倍2-3倍<1%
# MobileNetV2的瓶颈块实现
def inverted_residual(x, expand, squeeze, stride):
    shortcut = x
    x = Conv2D(expand*channels, (1,1), activation='relu6')(x)
    x = DepthwiseConv2D((3,3), strides=stride, padding='same', activation='relu6')(x)
    x = Conv2D(squeeze, (1,1), activation=None)(x)
    if stride == 1 and input_channels == squeeze:
        x = Add()([x, shortcut])
    return x

这些创新使CNN能在手机芯片上实时运行(>30FPS),催生了人脸解锁、AR滤镜等普及应用。

OpenEuler内核编译及替换 一、内核源码下载 在gitee上下载OpenEuler内核源码 下载地址 选择需要的内核版本源码压缩包进行下载 二、内核编译 1.解压缩 将下载好的源码进行解压 tar xvf openeuler-kernel-4.19.90-2107.1.0.tar.gz 2.清理源代码树 解压后得到一个名为kernel的内核源码文件夹,进入后执行命令 make mrproper 清理过去内核编译产生的config,第一次编译时可不执行此命令 3.生成内核配置文件.config 先将将系统原配置文件拷贝过来,原 阅读详情

相关推荐

opencv实现“找茬”

// 111.cpp : 定义控制台应用程序的入口点。 // #include "stdafx.h" #include #include #include using namespace std; #define CVX_RED CV_RGB(0xff,0x00,0x00) #define CVX_BLUE CV_RGB(0x00,0x00,0xff)//定义宏,轮廓边框颜色 in

yanHa007的专栏 2096

经典CNN卷积神经网络发展史+论文+网络实现(PyTorch)

经典CNN卷积神经网络发展史+网络实现(PyTorch)

weixin_45897172的博客 6189

告别地图偏移!手把手教你用MapOnline V1.2在ArcGIS里加载无偏谷歌影像和历史影像

本文详细介绍了如何使用MapOnline V1.2插件在ArcGIS中加载无偏谷歌影像和历史影像,解决GIS工程师长期面临的地图偏移问题。通过三步安装配置、无偏影像加载和时空分析功能,提升地理信息数据的精确度和工作效率,特别适用于城市规划、环境监测等场景。

weixin_29252171的博客 232

CNN 发展简史

CNN 发展简史 文章目录CNN 发展简史说在前面1. LeNet-5 (1998)2. AlexNet (2012)3. VGG (2014)4. GoogLeNet (2015)5. ResNet (2015)6. Xception (2016)7. Inception-ResNet-v2 (2016)8. ResNeXt-50 (2017)9. Inception v1 - v4 Inception-ResNet结尾 说在前面 上一篇文章中,我们详细说了CNN的主要结构组成和训练原理,今天我们来回

WD 5135

几何非线性-屈曲分析

结构系统的破坏分为两种,一类是因材料软化而引起的强度破坏,另一类是几何软化使得结构的几何形状发生极大变化,从而使结构丧失承载能力。在材料力学中是这样定义压杆失稳的:中心受压直杆(理想模型)在直线状态下平衡,由稳定平衡转化为不稳定平衡时所受的轴向压力的界限值,称为临界压力。中心受压直杆在临界压力的作用下,其直线形态的平衡开始丧失稳定性,简称为失稳。显然,这个定义只使用于理想的压杆模型,那么关于失稳和屈曲是否存在一般性定义呢?

YORU_NO_KUNI的博客 1万+

本地大模型5:在pycharm用python调用ollama本地大模型

python调用ollama本地大模型

weixin_74825941的博客 8377

CNN模型发展史:从LeNet,AlexNet,GoogleNet,VGG到ResNet,SENet,Xception,MobileNet,ShuffleNet

目录 一、CNN发展历程 1.1998 LeNet:开山之作 2.2012 Alexnet:王者归来 3.2013 ZF-Net 4.2014 GoogleNet,VGG 4.1 GoogleNet 4.2 VGG 5.2015ResNet:里程碑式创新 6.2016GBD-Net、ResNeXt、DenseNet 6.1 GBD-Net 6.2 ResNeXt 6....

山中有石为玉 8870

游程理论提取灾害事件特征V2---基于MATLAB语言的编程实现

游程理论,灾害事件,MATLAB

EWBA_GIS_RS_ER的博客 3795

经典CNN卷积神经网络发展史

本文详细介绍了CNN卷积神经网络的历史发展历程,以及详细分析了各阶段具有代表性的网络,如LeNet AlexNet VGG GoogLeNet ResNet等

RayChiu757374816的博客 7952

IBM AC922 8335-GTW 安装linux,CentOS,ubuntu,RHEL各种坑

AC922

u011970286的专栏 906

STM32F407单一定时器输出4路不同频率及占空比的PWM波

STM32F407单一定时器输出4路不同频率及占空比的PWM波

qq_43868701的博客 4920

CNN网络架构演进:从LeNet到DenseNet

卷积神经网络可谓是现在深度学习领域中大红大紫的网络框架,尤其在计算机视觉领域更是一枝独秀。CNN从90年代的LeNet开始,21世纪初沉寂了10年,直到12年AlexNet开始又再焕发第二春,从ZF Net到VGG,GoogLeNet再到ResNet和最近的DenseNet,网络越来越深,架构越来越复杂,解决反向传播时梯度消失的方法也越来越巧妙。新年有假期,就好好总结一波CNN的各种经典架构吧,领...

weixin_34128237的博客 730

Doris实战——结合Flink构建极速易用的实时数仓

Doris实战——结合Flink构建极速易用的实时数仓

爱吃辣条的博客 8235

CNN的发展史LeNet、Alexnet 、VGG、GoogleNet、ResNet简介

作者:我爱机器学习 链接:https://zhuanlan.zhihu.com/p/22094600 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服。当时有流传的段子是Hinton的学生在台上讲paper时,台下的机器学习大牛们不屑一顾,质问你们的东西有理论推导吗?有数学基础吗?搞得过SVM

ARYAD的博客 3719

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

(太长太全面了)CNN超详细介绍

原文链接:https://blog.youkuaiyun.com/jiaoyangwm/article/details/80011656 文章目录1、卷积神经网络的概念2、

qq_43703185的博客 3万+

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

卷积神经网络的发展历程:从Zero到Hero

1.背景介绍 卷积神经网络(Convolutional Neural Networks,简称CNN)是一种深度学习模型,主要应用于图像和视频处理领域。它的核心思想是通过卷积层和池化层等组件,自动学习图像的特征,从而实现图像分类、目标检测、图像生成等复杂任务。 CNN的发展历程可以分为以下几个阶段: 传统图像处理方法 卷积神经网络的诞生 CNN的发展与创新 现代CNN的应用和挑战 本文将...

AI天才研究院 2196

CNN发展简史——LeNet(一)

CNN简史 首先来回顾一下CNN发展的历史,为什么要做这个总结呢?除了加深我们对CNN框架的理解之外,沿着CNN发展的历史进程走一遍也是非常有趣的事。假如你不研究历史,你肯定不知道打火机居然早于火柴被发明,而ReLU比tanh更早被应用在神经网络中。 很久很久以前: 神经网络这一概念最早是生物界提出的,而人工智能界的神经网络很大程度上是在模拟人类的神经元。影响到CNN起源的相关研究是有关视觉皮层的...

散修炼丹师手记 1万+

cnn网络架构的演进简述

最近要准备cnn科普的ppt,本文对cnn的网络架构的演进进行简述,概述cnn发展历程与重要结点。 在cv领域,cnn的网络框架可谓是大红大紫。随着模型的迭代,网络越来越深,架构越来越复杂,解决反向传播时梯度消失的方法也越来越巧妙。 1.开山之作:LeNet 90年代 卷积神经网络的祖师爷LeCun在1998年提出,定义了cnn基本组件:卷积、池化、全连接。LeNet-5,包含两层卷积三层全连接共五层,用以识别手写体数字10分类。 2.第二春:AlexNet 2012 ImageNet冠军 .

Rain 793

10年CNN进化史:从AlexNet到EfficientNet,计算机视觉如何“看清”世界?

10年CNN进化史:从AlexNet到EfficientNet,计算机视觉如何“看清”世界?

阿旭的博客 747

【深度学习】CNN网络结构的发展——看懂这一篇就够了

本文约3000字,建议阅读10分钟 本文为你介绍CNN的基本部件及经典网络结构。CNN的全称是"Convolutional Neural Network"(卷积神经网络)。而神经网络是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)结构和功能的数学模型或计算模型。作者丨zzq@知乎链接丨https://zhuanlan.zhihu.com/p/68411179一、CNN基本部件介绍1. 局部...

fengdu78的博客 1866

CNN的发展情况归纳

CNN学习笔记归纳

qq_40905284的博客 1557

关于卷积神经网络(CNN)的详解

在图像识别方面,CNN可以识别图像中的场景、物体等;在视频分析方面,CNN可以处理视频数据,实现对视频中的物体、行为和事件的识别和分析;它仿造生物的视觉机制构建,能够进行监督学习和非监督学习,广泛应用于图像识别、视频分析、自然语言处理等领域。在二十一世纪后,随着深度学习理论的提出和数值计算设备的改进,CNN得到了快速发展,并被广泛应用于各种领域。综上所述,CNN是一种强大的深度学习模型,通过其独特的结构和操作方式,在多个领域都取得了显著的应用成果。随着技术的不断发展,CNN的性能和应用范围还将不断拓展。

weixin_54096591的博客 792

CNN的魅力:探索卷积神经网络的无限可能

在这个数据驱动的时代,人工智能正以前所未有的速度改变着我们的生活。而在人工智能的众多分支中,卷积神经网络(Convolutional Neural Networks, CNN)无疑是最耀眼的一颗明星。从图像识别到自然语言处理,从医疗诊断到自动驾驶,CNN以其独特的结构和强大的学习能力,展现出了无与伦比的魅力。今天,就让我们一起走进CNN的世界,探索它的无限可能。

异构算力老群群(在读985计算机博士生)的技术博客 1743

深度学习(六)——CNN进化史

深度学习(六)——CNN进化史

antkillerfarm的专栏 5219

深度学习(六)CNN:图像处理的强大工具(6/10)

卷积神经网络(Convolutional Neural Networks,CNN)是深度学习的代表算法之一,在深度学习中占据着重要地位。CNN 的发展历程可追溯至 20 世纪 80 至 90 年代,时间延迟网络和 LeNet - 5 是最早出现的卷积神经网络。随着深度学习理论的提出和数值计算设备的改进,CNN 在 21 世纪后得到了快速发展,并被广泛应用于计算机视觉、自然语言处理等领域。CNN 的结构组成主要包括输入层、卷积层、池化层、全连接层和 Softmax 层等。

小相探索IT世界 3376

CNN发展史+论文+代码

一、简述 最近一直在看深度学习相关的东西,而CNN是深度学习中的核心算法之一,也是2012年以来将人工智能推向风口浪尖的推手。今天我来与大家一起分享一下CNN的发展历史,看看各路大牛是如何克服难题,并造就了现在CNN网络结构百花齐放的景象。 1、卷积神经网络 首先来简单说一下,什么是CNN,卷积神经网络,它是一种人工神经网络的结构,是从猫的视觉神经结构中得到了灵感,进而模拟其结构设计出来的一...

cuiyuan605的专栏 4万+

CNN发展史简述

相信很多人和我一样,在学习深度学习的时候会发现五花八门的各种模型名称,搞到头皮发麻,所以这次就打算简单介绍一下各种CNN的改进版本,在后续会对部分模型做详细分析介绍。 第一个要介绍的是LeNet,诞生于1998年,可以说它就是我们入门时学习的卷积神经网络,包含了最基本的卷积层、池化层、全连接层。 第二个是AlexNet,和LeNet相比,使用了ReLU作为激活函数(验证了效果在较深网络超过了si...

jesseyule的博客 4467
上一篇: Pine Script实战:从零构建金融量化交易策略
下一篇: 单片机I/O扩展实战:82C55三种工作模式详解(附AT89S52接口代码)
git9versioner
博客等级 码龄4年 75粉丝 1650原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值