常见CNN网络创新点

最新推荐文章于 2024-11-13 10:36:18 发布
原创 最新推荐文章于 2024-11-13 10:36:18 发布 · 置顶 · 3.8k 阅读 · 45 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇文章主要介绍卷积神经网络1998年到2019年的20多种经典的网络，体会每种网络的前世今身以及包含的深邃思想。算是一个总结性的博客吧。。。

目录

一、1998年：LeNet

二、2012年：AlexNet

三、2013年：ZFNet

四、2014年:亚军——VGGNet

冠军——GoogLeNet

五、2015年：ResNet

六、2016年：DenseNet

七、2017年：SENet

一、1998年：LeNet

1988年，Yann LeCun（深度学习三巨头之一，2019年获得图灵奖）提出了用于手写字符识别的卷积网络模型LeNet5。其原理结构比较清晰，如图所示。当年，美国很多企业都采用了该模型用于识别现实场景中的数字，例如邮政编码、手写数字等，能够达到商用的程度，可见其在AI领域的开创性地位。

在论文中，LeNet5被用于识别MNIST数据集提供的10个数字。MNIST数据集在人工智能领域的作用是非常重要的，是当时Google实验室的Corinna Cortes和纽约大学的Yann LeCun共同建立的手写数字数据库，由60000张训练图片和10000张测试图片组成。该数据集提供的图片像素统一为28×28，图片中字符像素最大为20×20。

创新点：提出卷积神经网络

二、2012年：AlexNet

AlexNet是2012年提出的，当时AlexNet直接将ImageNet数据集的识别错误率从之前的非深度学习方法的28.2%降低到16.4%。AlexNet算是这波AI热潮的引爆点。

创新点：

  • 更深的网络，增强了模型的表示能力。
  • 成功添加了ReLU激活函数作为CNN的激活层，缓解了sigmoid激活函数的梯度消失问题，收敛也更快。
  • 提出了局部响应归一化（Local Response Normalization，LRN），对局部神经元创建竞争机制，抑制反馈较少的神经元，增强模型的泛化能力。
  • 设计并使用了Dropout以随机忽略部分神经元，从而避免出现模型过拟合的问题。
  • 添加了裁剪、旋转等方式增强数据。
  • 其采用了分块训练。当年的GPU显存不够，AlexNet创新地将图像分为上下两块分别训练，然后在全连接层将其合并在一起。这样其除了将模型的神经元进行了并行，还使通信被限制在了某些网络层。
  • 其采用了重叠池化。在LeNet5中，池化层是不重叠的，但在AlexNet中，研究者发现使用重叠的池化更有
最低0.47元/天 解锁文章
计算机视觉卷积神经网络CNN架构设计指南：如何构建高效的视觉模型？
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
04-20 11万+
计算机视觉CNN架构设计指南：如何构建高效的视觉模型？人工智能、大模型、AI、计算机视觉领域，卷积神经网络（Convolutional Neural Network，CNN）已成为主导性的模型架构。从图像分类到目标检测，从语义分割到图像生成，CNN 展现出了强大的性能。构建一个高效的 CNN 视觉模型，不仅需要对其基本原理有深入理解，还需要掌握一系列架构设计技巧。本文将详细探讨如何构建高效的 CNN 视觉模型，涵盖从基础概念到复杂架构设计的各个方面，并通过丰富的代码示例帮助读者更好地理解和实践。
计算机视觉卷积神经网络（CNN）基础：从LeNet到ResNet
最新发布
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
04-11 14万+
计算机视觉卷积神经网络（CNN）基础：从LeNet到ResNet，在计算机视觉领域，卷积神经网络（Convolutional Neural Network，CNN）已然成为推动众多任务发展的核心力量。从早期简单的图像识别，到如今复杂的目标检测、语义分割、图像生成等任务，CNN 都展现出了卓越的性能。CNN 的发展历程见证了一系列经典模型的诞生，其中 LeNet 作为开山之作，为 CNN 的发展奠定了基础，而 ResNet 则通过创新性的设计，突破了传统神经网络的限制，使得网络能够构建得更深、性能更优。
【文章创新点】经典AlexNet、VGGNet、GoogleNet等CNN网络模型创新点介绍
qq_37902216的博客
04-16 3805
一、AlexNet模型创新点总结如下： 1）使用ReLu作为激活函数，成功解决了Sigmoid的梯度弥散问题 2）训练时加入了Dropout层，防止过拟合情况发生 3）在CNN中使用重叠的最大池化，并提出步长比池化核尺寸要小，这样池化层输出之间有重叠和覆盖，提高了特征的丰富性 4）提出了LRN层，对局部神经元的活动创建竞争机制，，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经...
卷积神经网络(CNN)的17篇有影响力的论文题目和创新点介绍
11-29
整理了从2012年到2017年15篇国际顶级会议的卷积神经网络(CNN)的架构论文，并注明了每篇论文的创新点。需要注意的是：只是整理了论文题目，并没有下载地址，下载者可以根据题目下载对应的论文。
深入理解CNN原理——改造后的全连接层
C_P_J_M的博客
05-02 2036
在李沐《动手学深度学习》视频中，对CNN原理做了讲解，从一个比较新的角度解读卷积神经网络，给人启发式的思考。本文是对该视频的笔记和总结，想要了解原著请见 ：https://www.bilibili.com/video/BV1L64y1m7Nh/?spm_id_from=333.788.recommend_more_video.0 前言 如果您之前了解过卷积的原理，或者看过一些科普视频，请先把它忘掉，跟随本文的思路去探索卷积的形成，因为本文的描述角度和你在别的地方看到的可能是不一样的。 为什么要有卷积？ .
卷积神经网络中十大拍案叫绝的操作
Day Dreamer's blog
08-26 5555
卷积神经网络中十大拍案叫绝的操作
7大类深度CNN架构创新综述
qq_23304241的博客
03-03 326
https://www.jiqizhixin.com/articles/2019-01-25-6
精选资源
基于 CNN + LSTM 的网络流量检测.zip
04-07
如今，CNN已经成为深度学习图像处理领域的基石，并持续创新，如引入注意力机制、残差学习、深度可分离卷积等先进思想。 综上所述，卷积神经网络通过其独特的局部感知、权重共享、多层级抽象等特性，高效地从图像...
经典CNN网络之AlexNet 对常见水稻病害图像数据集的分类任务
12-15
经典CNN网络之AlexNet之所以重要，是因为它采用了多层卷积、池化、非线性激活函数以及全连接层的组合，构成了一个深层次的网络结构。这一网络结构能够从图像中学习到从低级到高级的特征表示，实现对图像内容的抽象和...
【计算机视觉 | CNNs】卷积神经网络18种有效创新方法分享，涵盖注意力机制、空间开发等7大方向（下）
wzk4869的博客
12-10 1593
【计算机视觉 | CNNs】卷积神经网络18种有效创新方法分享，涵盖注意力机制、空间开发等7大方向（下）
8个图神经网络论文创新点汇总【附161篇论文PDF】
小白学视觉
02-04 583
图神经网络GNN是现在各大深度学习顶会的研究热点，与CV和NLP领域交叉，容易有创新点，是发论文的好方向。本文系统整理了8个图神经网络好发论文的方向，及48篇相关论文。此外还有GNN基础入门知识合集，包括ICLR2020-2023图神经论文113篇，以及多名博士、顶刊审稿人主讲的15节图神经网络基础实战系列课。资料下载方式在下方二维码，扫码即可领取下载。8个图神经网络论文创新方向为大家整理8个图神...
10个关于Yolo-v5神经网络的论文的创新点
Loving_enjoy的博客
10-18 719
**举例**：在检测一幅包含小动物（如松鼠）和大型建筑物的图像时，多尺度特征融合能够让模型同时利用到低层次特征中的松鼠的细节信息和高层次特征中的建筑物的语义信息，准确检测出这两种大小差异很大的目标。- **举例**：当目标的定位误差和分类误差对整体检测结果的影响不同时，优化的损失函数可以根据实际情况调整权重，使得模型在训练过程中更关注对检测结果影响更大的误差类型。- **举例**：在检测不同大小的物体，如小的交通标志和大的建筑物时，自适应锚框能够更好地适应目标的尺寸，从而提高检测的准确性。
神经网络论文常见创新点思考方向
weixin_39128932的博客
03-22 6661
几种常见的创作策略相结合： 领域交叉将超分辨率的网络，改一改用到暗光图像增强 只要说：“Inspired by… we apply it …”然后，说明一下这种改动什么需要进行，即说明直接应用超分辨率网络的缺点在哪里：“However， the SR-Net … So, we make the following changes …” 数据角度 比如针对某个任务，自己通过标注软件，在其他任务上已经公开的数据集上进行标注，或者是自己搜集一些数据。然后说：针对数据集的XX特性（比如正负样本不均衡），对X
深度学习神经网络创新点方向（具体）
m0_44975814的博客
11-13 2648
深度学习神经网络已经成为当今科技领域的核心技术之一，推动了人工智能从理论研究迈向广泛的实际应用。随着应用场景的拓展和数据复杂性的增加，持续创新神经网络技术变得至关重要。这不仅有助于提升模型性能，解决现有技术面临的瓶颈问题，还能开辟新的应用领域，为社会发展带来更多价值。
【图神经网络的设计 文献理论创新总结】
weixin_44064434的博客
03-21 2182
1.图神经网络的设计角度 AdaGCN: Adaboosting Graph Convolutional Networks into Deep Models 【 ICLR 2021】 创新点： 将传统机器学习方法(AdaBoost)与GNN结合，提出AdaGCN，AdaGCN在所有层之间共享相同的基本神经网络结构，能够在一定程度上解决过平滑问题。 摘要： 深度图模型仍是一个有待研究的问题，关键之处在于如何有效地汇聚来自多跳邻居节点的特征信息。在本文中，通过将AdaBoost融入到图网络中提出了一个类似于
深度学习神经网络创新点方向
m0_44975814的博客
11-13 2025
深度学习神经网络在过去几十年里取得了令人瞩目的成就，从图像识别、语音处理到自然语言理解等众多领域都有广泛应用。然而，随着数据量的不断增长和应用场景的日益复杂，对神经网络的创新需求也愈发迫切。本文将探讨深度学习神经网络的多个创新点方向，包括架构创新、训练方法改进、与其他技术的融合等。
CNN和Transformer创新结合，模型性能炸裂！
chen695969的博客
06-17 3838
此研究方向的发展不仅推动了深度学习技术的进步，也为实际应用提供了更丰富的解决方案。- 单分支CNN与transformer的结合：SCTNet创新地将单分支CNN与训练时使用的transformer语义分支结合起来，既保持了推理时的高效率，又能够利用transformer捕获丰富的语义信息。- 混合网络架构：提出了一种结合卷积神经网络（CNN）和Transformer的混合超分辨率（SR）网络，以聚合丰富的特征，包括CNN的局部特征和Transformer捕获的长距离多尺度依赖性。
图像分类经典神经网络大总结（AlexNet、VGG 、GoogLeNet 、ResNet、 DenseNet、SENet、ResNeXt ）
路人贾的博客
01-14 1万+
图像分类经典神经网络大总结（AlexNet、VGG 、GoogLeNet 、ResNet、 DenseNet、SENet、ResNeXt ）
卷积神经网络18种有效创新方法汇总，涵盖注意力机制、空间开发等7大方向
学姐带你玩AI的博客
12-08 3821
作为深度学习中非常重要的研究方向之一，的创新不仅表现在提升模型的性能上，还更进一步拓展了深度学习的应用范围。具体来讲，。例如，深度CNN使用多个非线性特征提取阶段从数据中自动学习分层表征，从而在各种竞赛基准上取得了当前最优结果。另外，CNN的创新也推动了科学研究和实际应用的发展，其创新不仅局限于网络结构，还包括损失函数设计、分类器设计等多个方面。
多语言实现卷积神经网络CNN代码集
### 卷积神经网络(CNN)代码知识点 卷积神经网络（Convolutional Neural Network, CNN）是深度学习中的一种重要算法，主要用于处理具有网格状拓扑结构的数据，如图像（2D网格）和时间序列（1D网格）。CNN特别适用于...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值