神经网络：Network In Network

最新推荐文章于 2020-11-25 19:17:46 发布
原创 最新推荐文章于 2020-11-25 19:17:46 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #深度学习

本文详细解读了《Network In Network》论文，该论文提出了mlpconv层和Global Average Pooling两种创新结构。mlpconv层通过在卷积操作后添加mlp层增强非线性表达力，等价于卷积层加1×1卷积层。Global Average Pooling替代全连接层，用作正则化手段防止过拟合。这一改进对后续的GoogLeNet等模型产生了深远影响。

《Network In Network》论文解读

本文来自于新加坡国立大学，原文地址：

https://arxiv.org/abs/1312.4400

概述

本文提出了一种叫Network in Network的网络结构，主要贡献有两个：一是mlpconv网络结构，一是Global average pooling结构。

网络结构

结构

网络总体的结构如图所示，前面使用了3个mlpconv层，在输出的时候使用了Global average pooling进行分类。

mlpconv

传统的卷积层结构如下。

conv

卷积层由线性的卷积操作结合非线性的激活函数构成。写成式子就是：

最低0.47元/天 解锁文章
概念解析 | 光电神经网络：optoelectronic neural network
NLOS的博客
11-20 1621
据估计，如果能实现大规模的光电神经网络，其计算效率可能比传统的电子神经网络高出几个数量级。随着科技的发展，我们期待在未来看到这种新型计算平台的成熟和普及。不仅如此，光电神经网络的发展还可能推动光学和电子学领域的交叉融合，开启新的科研领域。然而，这种技术的计算需求是巨大的，既需要大量的电力，也需要大量的硬件资源。光电神经网络的工作原理是将神经网络的权重编码为光路中的不同阻力，而神经元的激活函数则通过非线性光学效应来实现。是一种新兴的计算平台，它利用光子（而不是传统的电子）来执行神经网络的操作。
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
最新发布
盼小辉丶的博客
01-02 13万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
Network In Network(精读)
小胜爱捣鼓
11-20 1万+
一.文献名字和作者      Network In Network.Min Lin, Qiang Chen, Shuicheng Yan     二.阅读时间     2014年11月19日 三.文献的目的     文章主要是对于CNN结构进行改进，使得CNN能够学习到更加抽象和有效的非线性特征。 四.文献的贡献点 4.1 卷积层的改进--多
Network In Network
weixin_34167043的博客
04-12 183
Introduction: 传统的cnn过滤器是一个泛化的线性模型（GLM），我们认为这GLM的抽象能力是低级别的。把GLM替换为一个更有效的非线性函数近似能够提高抽象能力。当例子是线性可分时，GLM能实现很好的抽象。然而例子很多情况下是线性不可分的，输入的线性函数才能很好地表达。此网络没有采用传统的全连接层，而是采用全局平均池化层。一方面是因为全局平均池化层能很好解释特征映射和类别之间的联系。另...
深度学习（二十六）Network In Network学习笔记
hjimce的专栏
01-04 5万+
本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松击败了Alexnet网络，Alexnet网络参数大小是230M，采用这篇paper的算法才29M，减小了将近10倍啊。这篇paper提出的网络结构，是对传统CNN网络的一种改进(这种文献少之又少，所以感觉很有必要学习)。
NIN (Network In Network)
weixin_30632089的博客
10-11 357
Network In Network 论文Network In Network(Min Lin, ICLR2014). 传统CNN使用的线性滤波器是一种广义线性模型(Generalized linear model,GLM)。所以用CNN进行特征提取时，其实就隐含地假设了特征是线性可分的，可实际问题往往是难以线性可分的。CNN中通过堆加卷积过滤器来产生更高层的特征表示,作者想到了除了像之前一样堆加...
精选资源
openmv：神经网络文件（lenet.network）.zip
11-06
标题中的"openmv：神经网络文件（lenet.network）.zip"揭示了我们要讨论的核心主题——OpenMV平台上的一个特定神经网络模型，名为LeNet。LeNet是深度学习领域的一个经典模型，尤其在图像分类任务中有着重要的历史...
NeuralNetWork_从零开始_从零开始训练神经网络_神经网络_
09-30
从零开始训练神经网络，代码和数据集。分别完成以下功能：1，初始化initialisation，设置输入层，中间层，和输出层的节点数。2，训练train:根据训练数据不断的更新权重值3，查询query，把新的数据输入给神经网络，...
network in network
byplane的博客
06-12 684
首先文章作者把传统CNN网络看成一个广义的线性模型GLM（generalized linear model）后面跟一个非线性激活函数（现在多用ReLU），而假设特征能够被GLM抽象即线性可分，那么对它的抽象程度是不够的（level of abstraction is low），或者说我们要假设特征是线性可分的（这是个强假设）。如果我们用一个非线性的模型代替GLM,无疑会提高整个模型对特征的抽象程度
Network in Network
zrh_优快云的博客
08-01 1105
1×1的卷积核 卷积核在CNN中经常被用到，一般常见的是3×3的或者5×5的。一般1×1的卷积核本质上并没有对图像做什么聚合操作，以为就是同一个w去乘以原图像上的每一个像素点，相当于做了一个scaling 。1×1卷积核最初是在Network in Network这个网络结构中提出来的。它用了比AlexNet更少的参数，达到了跟其一样的效果。 1×1卷积核的作用        那...
tictoc正方形网络模型_反卷积：可视化并理解卷积网络
weixin_39705018的博客
11-25 290
可视化与理解卷积网络的探讨卷积网络模型自问世以来，对AI技术的发展起了很大的推动作用。但其复杂的模型结构，庞大的参数规模也给模型优化带来很多问题。如果问某个参数的值问什么是3而不是6，很难得到有根据的回答。发表于2013年11月的论文《Visualizing and Understanding Convolutional Networks》系统展示了如何可视化卷积网络，并根据可视化后观察到的现象优...
神经网络的神经网络：neural_network_elixir源码解析
标题中提到的 "neural_network_elixir, 用神经网络编写的神经网络.zip" 指的是一个包含神经网络代码库的压缩文件。"neural_network_elixir" 是项目的名称，表明这个项目是用Elixir语言编写的神经网络。Elixir是一种...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值