【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET

最新推荐文章于 2023-08-07 10:59:34 发布
最新推荐文章于 2023-08-07 10:59:34 发布
阅读量1.1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yyy_xiaoxiao/article/details/88709738
该博客是CNN经典入门论文笔记，介绍了现代CNN网络结构，主要探究用卷积代替最大池化，设计全卷积网络并通过反卷积可视化。模型ACN去除池化和全连层，用特定卷积替代。实验部分较细节，反卷积因无池化层更高效。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET

1. 综述

对现代的CNN网络结构进行了简要说明，一般的网络都是由卷积，池化，全连三部分组成，主要任务为

  • 探究最大池化的作用，并尝试用（increaed stride）卷积代替
  • 设计一整套只使用卷积的网络
  • 通过deconvolution来进行可视化操作

近期的网络优化策略：

  1. a plethora of extensions 使用更复杂的激活函数，正则化手法，预处理
  2. different architectural choices 多卷积，heterogeneous（异构）modules

2.模型简介 ACN

跟传统的CNN有不同：

  • 出除池化层，用步长为2的卷积代替
  • 出除全连层用1X1卷积来代替

利用卷积方程和池化方程来阐述卷积的作用

其中池化为什么被使用有三个原因：

  1. P-Norm使得网络有一定不变性，理解为平移，缩放不变性
  2. 使得能够更加清楚的看到一些大的特征
  3. 参数减少，好优化

其中最重要的是第二条，通过以下方法来替代pooling

  • 直接出除池化层，然后增加卷积步长
  • 用步长2，channel =3 的卷积来替换

3.实验

很细节的东西

4.反卷积

  • 利用zelier反卷积的思想，但是因为这个网络没有池化层，所以更加的高效

  • 反卷积从高层的feature map 出发invert the data flow 从被激活的神经元到下层图像

  • 不用使用switch标记location

提出一种guided backpropagation

深度学习的可解释性——Striving For Simplicity: The All Convolution Net
heruili的博客
05-12 1278
Striving For Simplicity: The All Convolution Net 是ICLR 2015的一篇论文，作者Jost Tobias Springenberg , Alexey Dosovitskiy , Thomas Brox, Martin Riedmiller 这个方法来自于ICLR-2015 的文章《Striving for Simplicity: The Al...
Striving For Simplicity-the All Convolutional Net 笔记
weixin_41665225的博客
04-10 810
链接 https://arxiv.org/abs/1412.6806 摘要 大多数执行目标检测任务的卷积神经网络架构基本都遵循 (Layerconv−Layermaxpooling)×n+Layerfullyconnection×m(Layer_{conv} - Layer_{maxpooling}) \times n +Layer_{fullyconnection} \times m(Layer...
Striving for Simplicity: The All Convolutional Net
cv_family_z的博客
12-25 7468
http://arxiv.org/abs/1412.6806CNN网络貌似由简单到复杂，再由复杂到简单的趋势当前主流的CNN网络一般都包括以下几个模块：convolution and max-pooling layers和交替，最后是少数全链接层。本文对此深入分析，提出了只有卷积层的网络，发现效果不错。首先来看看 pooling， why pooling can help in CNNs，可能的解释
Striving For Simplicity: The All Convolution Net
我的博客
01-05 6869
Striving For Simplicity: The All Convolution Net 是ICLR 2015的一篇论文，作者Jost Tobias Springenberg , Alexey Dosovitskiy , Thomas Brox, Martin Riedmiller简介本文抛弃了以往物体检测CNN网络中的池化层和全连接层，通过使用步长更大的卷积层来代替池化以及使用卷积核为
[深度学习论文笔记][Visualizing] Striving for Simplicity: The All Convolutional Net
Hao_Zhang_Vision的博客
10-29 1784
Springenberg, Jost Tobias, et al. “Striving for simlicity: The all convolutional net.” arXiv preprint arXiv:1412.6806 (2014). (Citations: 121). 1 Deconv Approach (Guided Backpropagation) It comb
Striving for Simplicity：The All Convolutional Net.zip
03-15
《Striving for Simplicity：The All Convolutional Net》是深度学习领域的一篇重要论文，由Jonathan Long、Eli Shechtman和Alexei A. Efros于2015年发表。这篇论文的主要贡献在于提出了全卷积网络（All ...
反卷积
阿门的博客
04-18 487
可视化CNN网络看到反卷积，很是困惑，发现其实Deconvolution有两种说法： 1. Backward Deconvet 2. Transposed Convolution 一：Backward Deconvnet 论文参考：STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET 如下图(c) backward 'deconvnet' ...
STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET _CIFAR10 CIFAR100
家家的专栏
06-03 2236
网络结构图： 结果还不错。。。
Striving For Simplicity: The All Convolution Net 简析
qq_23304241的博客
05-23 858
转载【https://blog.csdn.net/qinqbaobei/article/details/54092619】Striving For Simplicity: The All Convolution Net 是ICLR 2015的一篇论文，作者Jost Tobias Springenberg , Alexey Dosovitskiy , Thomas Brox, Martin Ried...
Striving for simplicity
09-10
人工智能机器学习方面，降维方面的论文，2015年在ICIR上的文章
striving for simplicity:the all convolutional net
xiaomiguan的博客
12-23 1448
1 Why the author want to write this paper? the basic architecture of convolutional neural networks(CNNs) mainly consists of convolutional layer, ReLU layer, pooling layer and full connection layer. I
Striving for simplicity: the all convolutional net 论文阅读笔记
qq_42310545的博客
08-07 778
会议：ICLR时间：2015年。
《STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET》论文学习
Weyoung_的博客
03-02 1736
ABSTRCAT 如今用于目标识别的CNNs大都以相同的原则构建：卷积层与最大池化层交替，接着是少量全连接层。本文重新评估了用CNN从小图像中识别物体的技术水平，产生了对上述结构中不同成分的必要性的质疑。我们发现，在几个基本图像识别数据集上，最大池化层可以简单地被具有更大步长的卷积层代替。根据这种猜想，我们提出了一种新的架构，其仅由卷积层组成，并且在几个目标识别数据集上(CIFAR-10, CI...
[神经网络学习笔记]卷积神经网络CNN（Convolutional Neural Networks, CNN） 综述
BetterBench的博客
07-21 6130
本人刚入门神经网络，边学习边总结，参考了很多大佬的博客和论文，整理出的自己思路的笔记，供入门的同学一起参考。其中可能有理解错误的地方，望指出 参考主要文献和博客 通俗讲解什么叫卷积、池化 参考资料 -卷积神经网络研究综述-周飞燕 一、常用的深度学习模型有 深度置信网络（Deep Belief Network DBN） 层叠自动去噪编码机（Stacked Deoising Autoencodes，SDA） 卷积神经网络（Convolutional Neural Network，CNN） 二、神经元
Deep learning_CNN_Review：A Survey of the Recent Architectures of Deep Convolutional Neural Networks—...
Alliswell_WP
11-08 2632
CNN综述文章的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构：从基本组件到结构创新 目录 摘要 1、引言 2、CNN基本组件 2.1 卷积层 2.2 池化层 2...
CNN综述文章《What Do We Understand About Convolutional Networks》part 5
weixin_42575796的博客
11-12 1336
文章目录《What Do We Understand About Convolutional Networks》-part 5Chapter 3 理解Convnet构建块3.1卷积层生物学视角HMAX3.2 整流3.3 归一化3.4 池化Chapter 4 Current status4.1current trends4.1.1 Understanding ConvNets via visuali...
CNN综述文章《What Do We Understand About Convolutional Networks》part 2
weixin_42575796的博客
11-11 1294
文章目录《What Do We Understand About Convolutional Networks》-part 2Chapter 2 Multilayer Networks2.1 多层架构2.1.1神经网络2.1.2递归神经网络2.1.3卷积网络2.1.4生成对抗网络2.1.5多层网络训练2.1.6迁移学习 《What Do We Understand About Convolutio...
CNN综述文章《What Do We Understand About Convolutional Networks》part 3
weixin_42575796的博客
11-12 2051
文章目录《What Do We Understand About Convolutional Networks》-part 3Chapter 2 Multilayer Networks2.2空间卷积网络2.2.1ConvNet发展过程中的关键架构· AlexNet· VGG· GoogLeNe· ResNet· DenseNet2.2.2 ConvNet 不变性· 数据增强· 空间变化网络· D...
卷积神经网络 论文名称
最新发布
03-16
5. **Striving for Simplicity: The All Convolutional Net** 提出了全卷积网络的概念，移除了传统 CNN 中常用的全连接层部分，进一步简化了网络设计思路[^2]。 下面给出一段 Python 示例代码用于加载并展示上述...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值