Improving neural networks by preventing co-adaptation of feature detectors(经典文章阅读)

最新推荐文章于 2025-04-22 09:01:58 发布
最新推荐文章于 2025-04-22 09:01:58 发布
阅读量3.6k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： Machine_Learning 文献阅读 Deep_Learning Something_Interesting DL文献阅读与感悟 文章标签： DeepLeaning dnn cnn Dropout
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sheng_ai/article/details/41221107
本文详细介绍了经典文献的主要贡献，重点讨论了Dropout技术如何通过防止特征检测器的共适应性来改进神经网络。该技术可以与预训练和卷积神经网络（CNN）结合使用，提高模型的泛化能力和性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一.文献名字和作者

    Improving neural networks by preventing co-adaptation of feature detectors， G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov
   

二.阅读时间

    2014年11月7日


最低0.47元/天 解锁文章

200万优质内容无限畅学
论文笔记 | Improving neural networks by preventing co-adaptation of feature detectors
bea_tree的博客
07-10 4799
AuthorsG. E. Hinton , N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov HintonAbstract训练时随机忽略一半的feature detectors 能够防止因训练集太小带来的过拟合问题。这能够防止一些detectors联合在一起才起作用的情况，每个神经元预测一个特征有利于提高准
Deep learning_CNN_Review：A Survey of the Recent Architectures of Deep Convolutional Neural Networks—...
Alliswell_WP
11-08 2630
CNN综述文章的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构：从基本组件到结构创新 目录 摘要 1、引言 2、CNN基本组件 2.1 卷积层 2.2 池化层 2...
Improving neural networks by preventing co-adaptation of feature detectors
04-11
Hinton在2012年提出的Improving neural networks by preventing co-adaptation of feature detectors也就是dropout,常用于防止训练过拟合,主要是通过随机选择一部分神经元训练,而直接丢弃其他神经元.
【论文笔记】Improving neural networks by preventing co-adaptation of feature detectors
yuexiaomao的博客
12-29 1665
多伦多大学计算机科学系12年的一篇文章，大量实验讨论了dropout的效果和直观解释了为什么dropout这么强大。 为什么强大？主要是参数独立训练，大量网络共享参数但是相当于独立训练出来的，参数之间只是部分协同工作而不是整个网络的参数协同，特征计算时不会因为输入有微小变化出现整体性能变特别差，因此泛化性会比全部协同工作的网络强。另外dropout也相当于bagging、贝叶斯平均方法，当然效果好了。 当一个大的前向神经网络在一个小的训练集上训练时，它通常在测试数据上表现不佳。通过在每个训练..
文献阅读：Improving neural networks by preventing co-adaptation of feature detectors
weixin_43917596的博客
05-05 1195
当一个深度反向传播神经网络在小的训练集上训练时，通常会在所提供的测试数据项中表现得很差。这种现象被称之为“过拟合”，这种“过拟合”可以通过在每个训练案例上随机省略一半的特征检测器而大大减小。从而阻止了复杂的共适应，其中特征检测器只在其他几个特定的特征检测器的环境中起到作用。相反地，每一个神经元学习如何去检测特征的过程，通常有助于得出正确答案，因为它必须在相结合着的且庞大的内部环境中去进行操作。随机“dropout”在许多基准测试以及为语音、目标识别设置新记录等方面都给予了成效有佳的改进。
Improving neural networks by preventing co-adaptation of feature detectors阅读
Zhaohui1995_Yang的专栏
05-13 847
没有pretraining的情况下，首先训练的时候的更新是采用设置一个bound，如果接触了bound，那么久开始正则化其值。其实这个事比较好的一种方法，感觉，但是bound难以动态调整。因为对于去权重的学习，其实是和训练样本有很大关系的，之所以正则化，就是不希望对于某些变化特别大的点过于敏感，所以学习整体分布，但是人人都收税，似乎不太好，采用能者多劳的方式进行收税感觉会更好一些，L2是能者多劳，
Improving neural networks by preventing co-adaptation of feature detectors （译文）
XueShanFuChuLe的专栏
09-01 929
F Convolutional Neural Networks 其次，在CNN的神经元适用的过滤器，只在局部范围内和那些在形态组织上集中的神经元位置。这是合理的，对于数据集，在自然图像的像素情况下，我们期望输入尺寸的依赖性是距离的递减函数。特别是，我们预计有用的线索，以输入图像对象的身份可以通过检查图像的小的局部邻域找到。第三，在组的所有神经元应用相同的过滤器，但作为刚刚提到的，它们适用于它在输
Deep Learning读书笔记（六）：Improving neural networks by preventing co-adaptation of feature detectors
tuqinag的专栏
10-18 2373
本篇博客所要讨论的
论文笔记(1)-Dropout-Improving neural networks by preventing co-adaptation of feature detectors
weixin_33755557的博客
01-27 137
    Improving neural networks by preventing co-adaptation of feature detectors 是Hinton在2012年6月份发表的，从这篇文章开始提出dropout的相关理论。该文章中没有详细的理论说明，只是通过实验说明了dropout在大数据量的情况下是有效的。以下记录论文的重要部分 1、为了防止overfitting，使用dr...
Dropout（一）《Improving neural networks by preventing co-adaptation of feature detectors》
better_zoe_chang的博客
01-18 1045
目录1、Why — Dropout提出原因(1) 特征之间具有共适应性(co- adaptation)(2) 对co- adaptation怎样理解2、How— 怎样去理解Dropout背后思想(1) 缓解过拟合(2) 集成方法——平均3、How—Dropout训练及预测设计插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowc
Deep learing 论文合集，一条小白到发论文的必须道路！
12-09
不管你想做什么，你都要好好的从论文看，而不是单纯的调论文写代码！通过这些学习，你才能真正的对深度学习的发展，模型的优化，进经典的trick有深入的理解！ 做算法，做科研必不可少！时间有限的人可以只看1.3 2.1 2.2 ！（强烈推荐！） ## 1.3 ImageNet Evolution（Deep Learning broke out from here） **[4]** Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "**Imagenet classification with deep convolutional neural networks**." Advances in neural information processing systems. 2012. [[pdf]](http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf) **(AlexNet, Deep Learning Breakthrough)** :star::star::star::star::star: **[5]** Simonyan, Karen, and Andrew Zisserman. "**Very deep convolutional networks for large-scale image recognition**." arXiv preprint arXiv:1409.1556 (2014). [[pdf]](https://arxiv.org/pdf/1409.1556.pdf) **(VGGNet,Neural Networks become very deep!)** :star::star::star: **[6]** Szegedy, Christian, et al. "**Going deeper with convolutions**." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. [[pdf]](http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Szegedy_Going_Deeper_With_2015_CVPR_paper.pdf) **(GoogLeNet)** :star::star::star: **[7]** He, Kaiming, et al. "**Deep residual learning for image recognition**." arXiv preprint arXiv:1512.03385 (2015). [[pdf]](https://arxiv.org/pdf/1512.03385.pdf) **(ResNet,Very very deep networks, CVPR best paper)** :star::star::star::star::star: #2 Deep Learning Method ## 2.1 Model **[14]** Hinton, Geoffrey E., et al. "**Improving neural networks by preventing co-adaptation of feature detectors**." arXiv preprint arXiv:1207.0580 (2012). [[pdf]](https://arxiv.org/pdf/1207.0580.pdf) **(Dropout)** :star::star::star: **[15]** Srivastava, Nitish, et al. "**Dropout: a simple way to prevent neural networks from overfitting**." Journal of Machine Learning Research 15.1 (2014): 1929-1958. [[pdf]](https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf) :star::star::star: **[16]** Ioffe, Sergey, and Christian Szegedy. "**Batch normalization: Accelerating deep network training by reducing internal covariate shift**." arXiv preprint arXiv:1502.03167 (2015). [[pdf]](http://arxiv.org/pdf/1502.03167) **(An outstanding Work in 2015)** :star::star::star::star: **[17]** Ba, Jimmy Lei, Jamie Ryan Kiros, and Geoffrey E. Hinton. "**Layer normalization**." arXiv preprint arXiv:1607.06450 (2016). [[pdf]](https://arxiv.org/pdf/1607.06450.pdf?utm_source=sciontist.com&utm_medium=refer&utm_campaign=promote) **(Update of Batch Normalization)** :star::star::star::star: **[18]** Courbariaux, Matthieu, et al. "**Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to+ 1 or−1**." [[pdf]](https://pdfs.semanticscholar.org/f832/b16cb367802609d91d400085eb87d630212a.pdf) **(New Model,Fast)** :star::star::star: **[19]** Jaderberg, Max, et al. "**Decoupled neural interfaces using synthetic gradients**." arXiv preprint arXiv:1608.05343 (2016). [[pdf]](https://arxiv.org/pdf/1608.05343) **(Innovation of Training Method,Amazing Work)** :star::star::star::star::star: **[20]** Chen, Tianqi, Ian Goodfellow, and Jonathon Shlens. "Net2net: Accelerating learning via knowledge transfer." arXiv preprint arXiv:1511.05641 (2015). [[pdf]](https://arxiv.org/abs/1511.05641) **(Modify previously trained network to reduce training epochs)** :star::star::star: **[21]** Wei, Tao, et al. "Network Morphism." arXiv preprint arXiv:1603.01670 (2016). [[pdf]](https://arxiv.org/abs/1603.01670) **(Modify previously trained network to reduce training epochs)** :star::star::star: ## 2.2 Optimization **[22]** Sutskever, Ilya, et al. "**On the importance of initialization and momentum in deep learning**." ICML (3) 28 (2013): 1139-1147. [[pdf]](http://www.jmlr.org/proceedings/papers/v28/sutskever13.pdf) **(Momentum optimizer)** :star::star: **[23]** Kingma, Diederik, and Jimmy Ba. "**Adam: A method for stochastic optimization**." arXiv preprint arXiv:1412.6980 (2014). [[pdf]](http://arxiv.org/pdf/1412.6980) **(Maybe used most often currently)** :star::star::star: **[24]** Andrychowicz, Marcin, et al. "**Learning to learn by gradient descent by gradient descent**." arXiv preprint arXiv:1606.04474 (2016). [[pdf]](https://arxiv.org/pdf/1606.04474) **(Neural Optimizer,Amazing Work)** :star::star::star::star::star: **[25]** Han, Song, Huizi Mao, and William J. Dally. "**Deep compression: Compressing deep neural network with pruning, trained quantization and huffman coding**." CoRR, abs/1510.00149 2 (2015). [[pdf]](https://pdfs.semanticscholar.org/5b6c/9dda1d88095fa4aac1507348e498a1f2e863.pdf) **(ICLR best paper, new direction to make NN running fast,DeePhi Tech Startup)** :star::star::star::star::star: **[26]** Iandola, Forrest N., et al. "**SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 1MB model size**." arXiv preprint arXiv:1602.07360 (2016). [[pdf]](http://arxiv.org/pdf/1602.07360) **(Also a new direction to optimize NN,DeePhi Tech Startup)** :star::star::star::star:
【精读AI论文】dropout----(Improving neural networks by preventing co-adaptation of feature detectors)
深度不学习！！的博客
04-10 5182
文章目录前言第一页：第一段：第二段：第二页第一段第二段第三段第3-6页思考与总结dropout丢弃的是权重还是输出？dropout的正确性以及随机丢弃对结果的影响？dropout丢弃的是前一层还是后一层？总结 论文下载地址:点我下载 有很多dropout的文章，我选了两个比较知名的。 一个是dropout提出的论文:《Improving neural networks by preventing co-adaptation of feature detectors》 还有一个是比较知名的dropout论文:
论文阅读（Improving neural networks by preventing co-adaptation of feature detectors ）
m0_52414727的博客
02-28 260
显然看不懂英文然后出于各种原因最终被迫搜索了翻译版本，如有错误欢迎指出 介绍主体： DropOut 目的： 对战过拟合的基础上提升速度和学习能力（力速双A✔） 思路： 通过在每个训练案例上随机省略一般的特征检测器而减小过拟合率。每一个神经元去学习如何检测特征更有助于得出正确答案。 具体实现： 每个训练案例的每个呈现上，每个隐藏单元被随机地从网络中以0.5的概率省略。 在测试过程中，每一个隐藏层的神经元都能保持激活，但是，必须将输出值乘以0.5，这是因为在测试的过程中，相比于训练过程，增加了一倍的神经元数目
Deep Learning 23：dropout理解_之读论文“Improving neural networks by preventing co-adaptation of feature det...
weixin_30690833的博客
09-13 189
理论知识：Deep learning：四十一(Dropout简单理解)、深度学习（二十二）Dropout浅层理解与实现、“Improving neural networks by preventing co-adaptation of feature detectors” 感觉没什么好说的了，该说的在引用的这两篇博客里已经说得很清楚了，直接做试验吧 注意： 1.在模型的测试阶段，使用...
Python----深度学习（（Improving neural networks by preventing co-adaptation of feature detectors）解读 和 正则化）
最新发布
weixin_64110589的博客
04-22 907
在深度学习中，防止特征探测器间的共同适应（co-adaptation）是提高神经网络性能的重要策略。共同适应指的是特征探测器在训练过程中互相依赖，使得网络对特定的输入模式过于敏感，从而导致过拟合。通过引入正则化技术，如Dropout，可以有效减少这种适应性。在训练过程中，Dropout随机地丢弃一部分神经元，使得网络在每次迭代中都依赖于不同的子集特征，从而强迫网络学习更加鲁棒的特征表示。这不仅提高了模型的泛化能力，还加速了训练过程。因此，正则化是提升深度学习模型性能的关键手段之一。
论文笔记-Improving neural networks by preventing co-adaptation of feature detectors
01-27 220
Improving neural networks by preventing co-adaptation of feature detectors 是Hinton在2012年6月份发表的，从这篇文章开始提出dropout的相关理论。该文章中没有详细的理论说明，只是通过实验说明了dropout在大数据量的情况下是有效的。以下记录论文的重要部分 1、为了防止overfitting，使用drop
经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors
小山羊的学习日志
01-30 2103
学习笔记，仅供参考，有错必纠 文章目录Improving neural networks by preventing co-adaptation of feature detectorsAbstract实验阐述 Improving neural networks by preventing co-adaptation of feature detectors Abstract 一个大型前馈神经网络在一个样本量较少的数据集中可能会出现训练集结果非常好，测试集结果较差的情况，这就是出现了【过拟合】. 通过随
经典网络-ResNet论文及实践
uncle_ll的博客
04-19 9086
Deep Residual Learning for Image Recognition 深度残差网络的图像识别 作者：Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun 单位：微软研究院 文章地址：https://arxiv.org/abs/1512.03385 项目地址：https://github.com/KaimingHe/deep-residual-networks 摘要 更深的神经网络更难训练。本文提出了一种残差学习框架来减轻网
Linear deformable convolution for improving convolutional neural networks
01-20
### 线性可变形卷积技术增强卷积神经网络性能 线性可变形卷积是一种扩展标准卷积操作的技术，允许模型自适应地调整感受野的位置。这种灵活性使得模型能够更好地捕捉不同尺度和形状的目标特征。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值