Network In Network(精读)

最新推荐文章于 2024-05-17 08:08:33 发布
最新推荐文章于 2024-05-17 08:08:33 发布
阅读量1.2w 收藏 33
点赞数 7
分类专栏： Deep_Learning Something_Interesting Machine_Learning 文献阅读 DL文献阅读与感悟 文章标签： DeepLeaning cnn 文献阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sheng_ai/article/details/41313883
版权
本文主要介绍了Network In Network这篇文献，详细探讨了其对卷积层的改进——多层感知卷积层，全连接层的改进——全局平均Pooling，以及核心的Network in Network结构。通过这些改进，该文献在深度学习领域提出了新的网络设计思想。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一.文献名字和作者

     Network In Network.Min Lin, Qiang Chen, Shuicheng Yan
   

二.阅读时间

    2014年11月19日


三.文献的目的

    文章主要是对于CNN结构进行改进，使得CNN能够学习到更加抽象和有效的非线性特征。


四.文献的贡献点

4.1 卷积层的改进--多层感知卷积层

    传统的卷积层只是将前一层的特征进行了线性组合，然后经过一个非线性激活。而在文章中，作者提出了使用一个微小的神经网络(主要是多层感知器)来替代普通的卷积过程，当然，这个微小的神经网络也和卷积的权值共享一样，即对于相同的特征层是相同的。传统的卷积过程和微网络分别如图1所示。

                                      图1 线性卷积层和微网络卷积层
最低0.47元/天 解锁文章
【图像超分】论文精读：Feedback Network for Image Super-Resolution（SRFBN）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-18 228
图像超分辨率(SR)的最新进展探索了深度学习的力量，以实现更好的重建性能。然而，在现有的基于深度学习的图像SR方法中，通常存在于人类视觉系统中的反馈机制尚未得到充分利用。在本文中，我们提出了一种图像超分辨率反馈网络（SRFBN）来细化具有高级信息的低级表示。具体来说，我们使用 RNN 中的隐藏状态和约束来实现这种反馈方式。反馈块旨在处理反馈连接并生成强大的高级表示。所提出的 SRFBN 具有很强的早期重建能力，可以逐步创建最终的高分辨率图像步骤。此外，我们引入了一种课程学习策略，使网络非常适合更复杂的任务，
【图像超分】论文精读：Residual Dense Network for Image Super-Resolution（RDN）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-31 6637
一个非常深的卷积神经网络 (CNN) 最近在图像分类 (SR) 方面取得了巨大成功，并提供了分层特征。然而，大多数基于深度 CNN 的 SR 模型没有充分利用原始低分辨率 (LR) 图像中的层次特征，从而实现相对较低的性能。在本文中，我们提出了一种新的残差密集网络(RDN)来解决图像SR中的这个问题。我们充分利用所有卷积层的分层特征。具体来说，我们提出了残差密集块（RDB）通过密集连接的卷积层提取丰富的局部特征。RDB 进一步允许将前一个 RDB 的状态与当前 RDB 的所有层直接连接，从而产生连续的内存
论文阅读：Network in Network
brucedai003的博客
07-08 624
这篇文章是在2014年3月份发表的，由颜水成老师等人撰写。该论文对原先常用的CNN网络结构，即先是一些卷积层和池化层，最后会展开连接一些全连接层，最终通过softmax层连接到输出层，提出了两点改进，最主要的就像论文的题目所说的是对卷积层做出了改进，不再是使用N个卷积核对每一层的输入张量做一次卷积计算，而是改成一种网络（文中用的是MLP）来做类似于这里的卷积的操作，从而捕捉到更多的非线性特征。第二点
深度学习（二十六）Network In Network学习笔记
热门推荐
hjimce的专栏
01-04 5万+
本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松击败了Alexnet网络，Alexnet网络参数大小是230M，采用这篇paper的算法才29M，减小了将近10倍啊。这篇paper提出的网络结构，是对传统CNN网络的一种改进(这种文献少之又少，所以感觉很有必要学习)。
Network In Network
LYKymy的博客
08-02 561
Abstract 我们提出了一种新的深度网络结构，称为“网络中的网络”（NIN），以增强接收领域中局部补丁的模型可区分性。传统的卷积层使用线性滤波器，然后是非线性激活函数来扫描输入。相反，我们构建具有更复杂结构的微神经网络来抽象接收领域内的数据。我们用多层感知器实例化微神经网络，这是一种有效的函数逼近器。通过以与CNN类似的方式在输入上滑动微网络来获得特征图; 然后将它们送入下一层。深NIN可以...
【图像超分】论文精读：Deep Unfolding Network for Image Super-Resolution（USRNet/USRGAN）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-02 1239
基于学习的单图像超分辨率 (SISR) 方法与传统的基于模型的方法相比不断显示出卓越的有效性和效率，这主要是由于端到端训练。然而，与基于模型的方法不同，后者可以在统一的MAP(最大后验)框架下处理不同尺度因子、模糊核和噪声级别的SISR问题，基于学习的方法通常缺乏这种灵活性。为了解决这个问题，本文提出了一种端到端的可训练展开网络，该网络同时利用基于学习的方法和基于模型的方法。具体来说，通过半二次分裂算法展开MAP推理，可以得到固定数量的迭代，包括交替求解数据子问题和先验子问题。然后可以用神经模块解决这两个子
【图像超分】论文精读：Residual Local Feature Network for Efficient Super-Resolution（RLFN）
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-17 289
基于深度学习的方法在单图像超分辨率 (SISR) 中取得了出色的性能。然而，高效超分辨率的最新进展侧重于减少参数和 FLOP 的数量，并通过复杂的层连接策略提高特征利用率来聚合更强大的特征。这些结构可能不是实现更高运行速度所必需的，这使得它们难以部署到资源受限的设备上。在这项工作中，我们提出了一种新颖的残差局部特征网络（RLFN）。主要思想是使用三个卷积层进行残差局部特征学习来简化特征聚合，从而在模型性能和推理时间之间取得了良好的平衡。此外，我们重新审视了流行的对比损失，并观察到其特征提取器中间特征的选择对
Network in Network
elgong的博客
01-30 259
Network in Network 2014年 论文地址： https://arxiv.org/abs/1312.4400 论文核心 NIN特点: 微型网络: 增强模型在感受野（receptive field）内对局部区域的辨别能力; GAP全局平均池化: 强化了特征图与分类的对应关系; GAP本身是结构化的正则化器，能避免整体结构的过拟合； 卷积层使用线性滤波器（卷积核...
【论文阅读】Network In Network
weixin_53563701的博客
01-16 2768
Network In Network In Network In Network In Network In Network In Network In Network In Network ... In Network
【论文翻译】NIN层论文中英对照翻译--（Network In Network）
小C的博客
10-03 2476
【开始时间】2018.09.27 【完成时间】2018.10.03 【论文翻译】NIN层论文中英对照翻译--（Network In Network） 【中文译名】 网络中的网络 【论文链接】https://arxiv.org/abs/1312.4400   【补充】 1）NIN结构的caffe实现： 因为我们可以把全连接层当作为特殊的卷积层，所以呢， NIN在caffe中是非常 ...
NIN (Network In Network)
weixin_30632089的博客
10-11 320
Network In Network 论文Network In Network(Min Lin, ICLR2014). 传统CNN使用的线性滤波器是一种广义线性模型(Generalized linear model,GLM)。所以用CNN进行特征提取时，其实就隐含地假设了特征是线性可分的，可实际问题往往是难以线性可分的。CNN中通过堆加卷积过滤器来产生更高层的特征表示,作者想到了除了像之前一样堆加...
network in network
m0_37937932的博客
02-19 275
1、mlp convolution local patch 只采取传统卷积操作，属于线性操作，无法提取出非线性特征。多层感知机可拟合复杂函数。因此，将local patch提取的特征接入到多层感知机中，以提取出该local patch的隐藏特征。 mlp中的神经元对应1*1的channel 2、globe pooling layer 以全局池化层取代全连接层，由于对local patch提取的...
802.11协议精读
07-28
根据引用\[1\]，作者在入职后花了半个月的时间略读了《802.11无线网络》，现在打算进行精读，并做好笔记。作者表示此前读过的一些章节会迅速过掉，这次的重点是关注连接和验证的细节，而对于安全相关的内容不做精读。作者希望在精读过程中能够有特殊的感悟。 根据引用\[2\]，802.11i是一项对安全性进行了大幅改善的协议，其中引入了强健安全网络（Robust Security Network）。为了让工作站之间能够交换安全性信息，开发了Extended Supported Rates和Wi-Fi Protected Access。 根据引用\[3\]，在802.11协议中，广播和组播帧无需响应，而成帧和寻址较为复杂。组播帧无需分段，也无需得到确认，而单播帧则需要进行基本的肯定确认（最后一个片段）。帧分段是协议中的一个重要概念。 综上所述，802.11协议的精读将涉及连接和验证的细节，以及强健安全网络和Wi-Fi Protected Access的相关内容。同时，了解帧分段和成帧与寻址的复杂性也是重要的。 #### 引用[.reference_title] - *1* *2* [802.11协议精读(二)](https://blog.youkuaiyun.com/AngryDog1024/article/details/117464088)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [802.11协议精读(一)](https://blog.youkuaiyun.com/AngryDog1024/article/details/117464068)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值