论文学习-系统评估卷积神经网络各项超参数设计的影响-Systematic evaluation of CNN advances on the ImageNet

最新推荐文章于 2025-03-13 20:05:51 发布
最新推荐文章于 2025-03-13 20:05:51 发布
阅读量1.3k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习基础 文章标签： CNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/blogshinelee/article/details/83927750
本文详细探讨了卷积神经网络（CNN）在ImageNet上的各项超参数选择，包括激活函数、池化方法、学习率策略、BatchSize、输入图像处理等，提供了优化网络性能的建议。例如，使用ELU激活函数，max和average池化结合，线性衰减学习率，以及适当调整网络宽度。实验表明，数据清理比增大训练集更重要，且某些改进策略在复杂网络中并不适用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

博客：blog.shinelee.me | 博客园 | 优快云

写在前面

论文状态：Published in CVIU Volume 161 Issue C, August 2017
论文地址：https://arxiv.org/abs/1606.02228
github地址：https://github.com/ducha-aiki/caffenet-benchmark

在这篇文章中，作者在ImageNet上做了大量实验，对比卷积神经网络架构中各项超参数选择的影响，对如何优化网络性能很有启发意义，对比实验包括激活函数（sigmoid、ReLU、ELU、maxout等等）、Batch Normalization (BN)、池化方法与窗口大小（max、average、stochastic等）、学习率decay策略（step, square, square root, linear 等）、输入图像颜色空间与预处理、分类器设计、网络宽度、Batch size、数据集大小、数据集质量等等，具体见下图

Table 1: List of hyper-parameters tested

实验所用的基础架构（Baseline）从CaffeNet修改而来，有以下几点不同：

  1. 输入图像resize为128（出于速度考虑）
  2. fc6和fc7神经元数量从4096减半为2048
  3. 网络使用LSUV进行初始化
  4. 移除了LRN层（对准确率无贡献，出于速度考虑移除）

所有性能比较均以基础架构为Baseline，实验中所有超参数调整也都是在Baseline上进行，Baseline accuracy为47.1%，Baseline网络结构如下

最低0.47元/天 解锁文章

200万优质内容无限畅学
提示词工程在智能生物多样性监测中的应用
AI天才研究院
12-26 590
Introduction to Prompt Engineering and AI in Biodiversity Monitoring Key Concep
卷积神经网络之卷积计算、作用与思想
日拱一卒
11-08 2438
博客：blog.shinelee.me | 博客园 | 优快云 卷积运算与相关运算 在计算机视觉领域，卷积核、滤波器通常为较小尺寸的矩阵，比如3×33\times33×3、5×55\times55×5等，数字图像是相对较大尺寸的2维（多维）矩阵（张量），图像卷积运算与相关运算的关系如下图所示（图片来自链接），其中FFF为滤波器，XXX为图像，OOO为结果。 相关是将滤波器在图像上滑动，对应位置...
李沐《动手学习深度学习》之卷积神经网络---超参数
qq_44186052的博客
04-23 1672
1. 卷积的两个超参{填充、步幅} 2. input 33*32，应用5*5的kernel,输出会减少4*4,所以输出变为28*28 每一层的卷积是的输出大小编程n-5+
【深度学习卷积神经网络中涉及的训练参数与超参数概念理解】
是小武呀
07-08 2万+
【卷积神经网络中涉及的训练参数与超参数概念理解】文前白话网络超参数1. 输入图像大小2. 卷积层超参数卷积核尺寸、卷积核数量、卷积的步长3. 池化层超参数池化核尺寸、池化步长、池化方式4. 网络训练、优化超参数Epoch、Batch、Batch_size、Iteration（迭代）、学习率 Ir5.神经网络优化的改善方法reference 文前白话 在深度学习领域，参数（parameter）和超参数（hyperparameter）是两个相似但本质不同的概念。超参数是用来确定模型的一些参数，一般是根据经验和验
6.12 超参数选择原则
weixin_46994240的博客
04-04 462
一、网络容量 概念： 可以认为与网络中的可训练参数成正比 网络中的神经单元数越多，层数越多，神经网络的拟合能力越强。但是训练速度、难度越大，越容易产生过拟合。 二、如何选择超参数 所谓超参数，也就是搭建神经网络中，需要我们自己选择（不是通过梯度下降算法去优化）的那些参数。 比如，中间层的神经元个数、学习速率 三、如何提高网络的拟合能力 一种显然的想法是增大网络容量： 1.增加层 2.增加隐藏神经元个数 这两种方法哪种更好呢？ 单纯的增加...
训练过程之学习率调度（Learning Rate Scheduling）- Transformer教程
Aicn112的博客
08-13 832
本文详细介绍了学习率调度的概念及其在深度学习中的重要性，重点探讨了几种常见的学习率调度方法及其在Transformer模型训练中的具体应用。通过合理的学习率调度策略，可以显著提升模型的训练效果和收敛速度。文章还结合BERT模型，说明了预热学习率和线性衰减策略在实际训练中的应用及优势。
CNN调优总结
数据派THU
06-05 779
来源：Charlotte数据挖掘、深度学习爱好者 本文约11000字，建议阅读15+分钟 本文详细对比了各种超参数对CNN模型性能的影响。针对CNN优化的总结Systematic evaluation of CNN advances on the ImageNet使用没有 batchnorm 的 ELU 非线性或者有 batchnorm 的 ReLU。用类似1*1的网络结...
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
深度学习调参技巧总结
Fantastic
09-19 4391
本文章参考：写给新手炼丹师：2021版调参上分手册 寻找合适的学习率 学习率是一个非常重要的超参数，在面对不同规模的网络、不同batch-size、不同优化方式，不同数据集，甚至可能不同时间段训练的合适值都不确定。我们唯一可以做的是在训练中不断寻找最合适当前状态的学习率。比如利用fastai中的lr_find()函数寻找合适的学习率。 how do you find a good learning rate 如何找到好的学习率 Cyclical Learning Rates for Training N
[论文笔记] A Comprehensive Study on Learning-Based PE Malware Family Classification Methods
fa1c4的blog
08-06 898
机器学习恶意软件分类论文综述
新手炼丹师的调参内经——深度学习涨点技巧总结
PyBigStar的博客
06-26 1万+
新手炼丹师的调参内经——涨点技巧总结 训练神经网络的过程就像是一个炼丹的过程，各位炼丹师们除了要设计一个好的丹方（Contribution），配置好的炼丹炉（GPU Server），当然这其中也不能够忽略对火候（Tricks）的掌控。就像一个一品丹药，由九品炼药师和五品炼药师分别在相同的炼丹炉里面炼制，炼制出来的成丹效果肯定也是天差地别，而导致这种差别的最主要原因就是两位炼药师之间经验的差别。设计一个好的丹方这没有什么好说的，就是各位炼药师多读paper，再充分发挥自己的想象力，不断试错，最终成功的过程。
深度学习中学习率调整策略
最新发布
记录图像处理中遇到的点点滴滴
03-13 919
不同学习率策略的一些记录和整理
Malware Classification Based on GraphNeural Network Using Control Flow Graph
weixin_43872455的博客
12-09 650
恶意软件家族的分类是基于恶意软件家族内部的相似性，包括程序结构和内容的相似性。由于控制流图属于非欧几里得结构化数据，之前很难直接利用从其数据和结构中提取的特征进行分类。然而，随着图神经网络的提出，非欧几里得图的分类成为可能。提出了一种基于控制流图和词频-逆文档频率的恶意软件族分类系统。该系统将控制流图分支结构和基本块中的指令序列均作为输入，通过图神经网络生成恶意软件族的图特征表示。在BIG2015数据集上的实验结果表明，保留图结构的特征数据可以有效提高族分类的效果。
深度学习入门（三十三）卷积神经网络——ResNet
ElysiumAILab
11-14 2797
课件 加更多的层总是改进精度吗？ 残差块 ResNet块细节 不同的残差块 ResNet块 ResNet架构 总结 教材 1 函数类 2 残差块 3 ResNet模型 4 训练模型 5 小结
卷积神经网络结构设计,卷积神经网络参数设置
Supermen333的博客
08-19 2635
border_mode可以是valid或者full，具体看这里说明：.conv2d#激活函数用tanh#你还可以在(Activation('tanh'))后加上dropout的技巧: (Dropout(0.5))(Convolution2D(4, 5, 5, border_mode='valid',input_shape=(1,28,28))) (Activation('tanh'))#第二个卷积层，8个卷积核，每个卷积核大小3*3。二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；
ENAS：通过参数共享实现高效的神经架构搜索《EfficientNet Neural Architecture Search via Parameter Sharing》
北街末雨Yyg
05-28 1390
本文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。在Penn Treebank数据集上，ENAS实现了55.8的测试困惑度；在CIFAR-10数据集上，其测试误差达到了2.89%，与NASNet不相上下（2.65%的测试误差）。
卷积神经网络参数设置
nanqi123的专栏
10-30 1万+
接触机器学习的时间还比较短，对于训练的结果往往无法解释，不知道为什么好，也不知道为什么不好。所以罗列了一下卷积神经网络中设置的参数，希望能有所帮助。 一、训练集选择 训练集（Training Set）：训练模型，简单的说就是通过训练集的数据来确定拟合曲线的参数。 测试集（Test Set）： 测试已经训练好的模型的精确度。 测试集和训练集的划分方法有留出法、交叉验证法和自助法，具体可以参考...
卷积神经网络(CNN)的参数优化方法
热门推荐
AIZOO人工智能乐园
07-22 6万+
著名： 本文是从 Michael Nielsen的电子书Neural Network and Deep Learning的深度学习那一章的卷积神经网络的参数优化方法的一些总结和摘录，并不是我自己的结论和做实验所得到的结果。我想Michael的实验结果更有说服力一些。本书在github上有中文翻译的版本，前言最近卷积神经网络（CNN）很火热，它在图像分类领域的卓越表现引起了大家的广泛关注。本文总结和摘
[预训练语言模型专题] MT-DNN(KD) : 预训练、多任务、知识蒸馏的结合
yang191919的博客
05-15 1903
本文为预训练语言模型专题系列第八篇 快速传送门 1-4：[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族] 5-7：[BERT来临]、[浅析BERT代码]、[ERNIE合集] 感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的文章，欢迎大家留言讨论交流。 Multi-Task Deep Neural Networks for Natural Language U...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值