maqian5的博客

这篇论文是韩松大佬的文章，开始膜拜吧！文章目录摘要1.介绍2.相关工作3.Learning Connections in Addition to Weights3.1正则化3.2 调整Dropout ratio3.3局部剪枝和参数共适应3.4迭代剪枝3.5修剪神经元4.实验结果摘要  神经网络既是计算密集型的，也是存储密集型的，这两个特点导致其无法在嵌入式设备上部署使用。另外，卷积神经网络在...

摘要  我们已经利用信息理论的思想推导出了一类实用的、近似最优的神经网络尺寸自适应方案。通过从网络中删除不重要的权重，可以有一些改进：更好的泛化能力、需求更少的训练样本、更少的学习或分类时间。本文的基础思想是使用二阶导数来对网络复杂性和测试误差之间做一个平衡，实验证明该方法在现实世界应用中是有用的。1.介绍  使用神经网络来解决现实世界中的问题，要么采用高度结构化的网络，要么采用大型的网络。...

本文是Hassibi 和Stork 等人1993年在LeCun的OBD方法基础上提出的，名为OBS。文章目录摘要1.介绍2.Optimal Brain Surgeon3.计算海森矩阵的逆矩阵4.$(t - 0) \rightarrow0$ 的近似摘要  为了进一步改善泛化能力、简化神经网络、减少硬件和存储需求、加快训练速度、或者是规则提取，我们研究了所有使用误差函数的二阶导数去进行剪枝的相关...

文章目录摘要1.介绍2.回顾Dropout3.描述maxout4. Maxout是一个通用的近似器5. 实验结构6. 与RELU进行对比7. 模型平均8.优化实验8.1优化实验8.2 饱和8.3 更低层的梯度和bagging9. 总结摘要  本文考虑使用最近提出的一种近似模型平均技术–dropout。本文使用dropout技术设计了一个名为maxout的模型，旨在通过dropout来加快优化过...

文章目录摘要1.介绍2.卷积神经网络3.Network in Network3.1 MLP 卷积层摘要  本文提出一个叫做Network in Network(NIN)的新型网络架构，以增强接受域内局部感受野的模型识别能力。传统的卷积层使用线性滤波器和非线性激活函数对输入进行扫描。相反，本文构建结构更加复杂的微神经网络对感受野中的数据进行抽象。因为多层感知机的有效函数逼近的特性，我们使用多层感...