Network in Network -- 论文笔记

最新推荐文章于 2025-11-30 21:31:10 发布
原创 最新推荐文章于 2025-11-30 21:31:10 发布 · 2.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习

本文介绍了一种新的神经网络结构——NIN（Network in Network），它使用微网络替换传统卷积神经网络中的过滤器，并采用全局平均池化替代全连接层。这种设计能够提取更抽象的特征并有效减少过拟合。文中还展示了该网络在多个数据集上的测试结果及特征映射的可视化效果。

1.概述：

这里写图片描述

作者的想法就是将ConVNet的filter用micro network代替，FC层用global average pooling代替。这样做的好处就是，micro network比filter能提取到更加抽象的特征，global average polling没有参数，相比于FC，能够消除FC层带来的overfitting的影响。

2.idea：

1）：MLP Convolution Layers：就是一个简单的多层感知机，用来取代传统ConVNet的filter：

这里写图片描述

2）global average pooling：用来代替传统ConVNet的FC层。在最后一个feature map层上，对每个feature map分别取均值，然后连接成一个向量后，输入softmax分类器。global average pooling也可以当做一个很好地regularilizer：

这里写图片描述

3）可以像传统的ConVNet一样，设置每一层micro network的个数，也可以设置micro network的层数和隐含层神经元的个数。

3.实验结果：

1）一些数据集的测试结果：

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

2）作者也将NIN网络中最后一层feature map进行可视化，证明NIN有很强的局部感受野建模能力（top10的feature map）：

这里写图片描述

【图像超分】论文精读：Multi-scale Attention Network for Single Image Super-Resolution（MAN）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-09 554
论文题目：Multi-scale Attention Network for Single Image Super-Resolution —— 用于单幅图像超分辨率的多尺度注意网络CVPRW 2024！通过利用大核分解和注意力机制，卷积神经网络 (CNN) 可以在许多高级计算机视觉任务中与基于转换器的方法竞争。然而，由于远程建模的优势，具有自注意力的转换器仍然主导低级视觉，包括超分辨率任务。在本文中，我们提出了一种基于 CNN 的多尺度注意力网络 (MAN)，它由。
论文笔记--Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
chenxino的博客
09-24 2729
Graph Neural Network-Based Anomaly Detection in Multivariate Time Series Summary 给定多元时序数据（传感器数据），如何检测异常事件（系统错误或者被攻击）？怎样捕获传感器之间复杂关系，解释异常偏离了那些关系？现有的方法没有明确学习变量之间关系结构，用它们预测事件序列的预测行为。作者结合结构学习方法和图神经网络，用注意力权重为检测到的异常提供解释。 Problem Statement 挑战 将图神经网络用于时序数据的异常检测需要
Network In Network(精读)
小胜爱捣鼓
11-20 1万+
一.文献名字和作者      Network In Network.Min Lin, Qiang Chen, Shuicheng Yan     二.阅读时间     2014年11月19日 三.文献的目的     文章主要是对于CNN结构进行改进，使得CNN能够学习到更加抽象和有效的非线性特征。 四.文献的贡献点 4.1 卷积层的改进--多
Network-in-Network论文阅读笔记
comic97的博客
11-28 656
目录前言Network-in-Network论文阅读笔记Abstract1. Introduction2. Convolutional Neural Networks3. Network In Network3.1 MLP Convolution Layers3.2 Global Average Pooling3.3 Network In Network Structure4 Experiment...
【论文阅读】Network In Network
最新发布
qq_34222839的博客
11-30 831
我们提出了mlpconv层，其和传统的线性卷积层的比较见Fig1。mlpconv层和传统的线性卷积层都是将局部感受野映射到了输出特征向量。但不同之处在于，mlpconv使用了多层感知器（multilayer perceptron，MLP），其包含多个全连接层和非线性激活函数。而我们提出的方法NIN（Network In Network）的总体结构就是多个mlpconv层的堆叠。
论文阅读：Network in Network
brucedai003的博客
07-08 697
这篇文章是在2014年3月份发表的，由颜水成老师等人撰写。该论文对原先常用的CNN网络结构，即先是一些卷积层和池化层，最后会展开连接一些全连接层，最终通过softmax层连接到输出层，提出了两点改进，最主要的就像论文的题目所说的是对卷积层做出了改进，不再是使用N个卷积核对每一层的输入张量做一次卷积计算，而是改成一种网络（文中用的是MLP）来做类似于这里的卷积的操作，从而捕捉到更多的非线性特征。第二点
论文阅读《Network in Network》
6丁儿的猫
12-21 434
这篇文章关注点两个： 1 全连接层用gap替换 2 使用con（1,1）进行feature map 的组合以及降维，升维 3 使用mlpcon代替con 链接 http://blog.youkuaiyun.com/mounty_fsc/article/details/51746111 http://blog.youkuaiyun.com/hjimce/article/details/50458190
network in network论文
fffupeng的博客
05-26 724
本文主要是对传统的卷积网络进行改进，关键点有两个: 第一：mlpconv 第二：全局平均池化   传统的cnn可以看做是广义线性模型GLM，所以cnn觉得潜在的概念都是线性可分的。（但是cnn+非线性激活不是能模拟出非线性吗？）但是一些数据是非线性、多维度的，因此提出将卷积替换为更多小部分的非线性函数，从而提升模型的抽象能力。 作者通过mlpconv模拟多部分非线性函数。具体结构如下图：
《Network IN Network》论文的阅读笔记
04-25
《Network IN Network》这篇论文由Min Lin等人于2013年提出，其创新性地提出了一个新颖的神经网络架构，即Network IN Network（NIN）。这篇论文的核心贡献在于设计了一种微网络（micro network）结构，通过在传统...
【论文笔记】Adversarial Deep Network Embedding for Cross-network Node Classification
lokol.的秘密基地
11-16 1295
在网络中，有很多用户标识自己的标签，利用这些标签可以迁移到新网络中没有标签的用户上。 网络结构数据与CV、NLP的区别在于，网络结构中每个实例（节点）间存在着复杂的相互作用关系（边）。而网络嵌入模型能够很好的保存原有的网络结构。
Edge-Labeling Graph Neural Network for Few-shot Learning--CVPR2019--论文笔记
mei1318874404的博客
02-20 2073
记录一下自己看的文章，和一些自己的见解。 这次看的文章是《基于边标签图神经网络的少样本学习》 Abstract 在本文之中，我们提出了一个新的基于边标签的图神经网络（EGNN），适用于一些少样本学习（few-shot learning），以往的图卷积神经网络只是基于节点标签的框架，然而提出的EGNN通过利用类内的相似性和类间的不相似行不断地更新迭代，不仅仅只是学习预测节点标签，而且会预测变得标签。...
Network In Network 论文笔记
Jayxbx的博客
04-14 770
   参考了其他公开的博客，在翻译论文的基础上结合个人理解。如果有理解不到位的地方，请指正。  转载请注明出处：https://blog.youkuaiyun.com/weixin_37904412/article/details/79938708  此论文是在2014年发表的，这篇paper提出了两个创新点。首先，作者认为经典cnn的卷积核是一个generalized linear model（广义线性模型...
论文笔记：Network in network
想变有趣的EMMA
02-15 820
摘要 Network in Network(‘NIN’) 构造了一个复杂的微型网络结构，用于对数据进行抽象处理（其实就是提取特征）。利用全局平均池化对特征图进行分类，能够有效避免过拟合问题。 特点 卷积神经网络的假定是线性可分的。NIN中的微型网络结构可以进行非线性的划分。利用多层感知机（MLP）作为微型网络结构的一部分，感知机是普遍的函数近似者，同时又可以进行back propagation.
《Network In Network》论文笔记
陈以二
04-09 342
Network in Network 本文是个人阅读论文Network In Network的论文笔记，重点取舍都只依据个人需求，不免难服重口。同时本人为入门小白，难免有理解错误之处，仅供参考，欢迎诚意讨论。 文章目录Network in Network解惑1. 大网络套小网络的思想是怎么提出的？可以解决什么问题？怎么解决的？2. 全局平均池化层是个啥？怎么做到的？有啥优势？文章通读笔记摘要1. ...
Network In Network
weixin_34167043的博客
04-12 187
Introduction: 传统的cnn过滤器是一个泛化的线性模型（GLM），我们认为这GLM的抽象能力是低级别的。把GLM替换为一个更有效的非线性函数近似能够提高抽象能力。当例子是线性可分时，GLM能实现很好的抽象。然而例子很多情况下是线性不可分的，输入的线性函数才能很好地表达。此网络没有采用传统的全连接层，而是采用全局平均池化层。一方面是因为全局平均池化层能很好解释特征映射和类别之间的联系。另...
深度学习（二十六）Network In Network学习笔记
热门推荐
hjimce的专栏
01-04 5万+
本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松击败了Alexnet网络，Alexnet网络参数大小是230M，采用这篇paper的算法才29M，减小了将近10倍啊。这篇paper提出的网络结构，是对传统CNN网络的一种改进(这种文献少之又少，所以感觉很有必要学习)。
论文阅读：Network In Network
j879159541的博客
03-18 295
文章目录1、论文总述2、不加激活函数的CNN如何补偿非线性3、全局平均池化代替全连接层的优势4、dropout很重要5、Global Average Pooling比全连接好么6、feature map可视化参考文献 1、论文总述 笔者最近毕业论文写完处于一段空闲期，就想看几本书和以前落下的一些论文。 本论文是2014年的一篇工作，好多年前了。。主要的创新是把多层感知机MLP加进了CNN中，用来提升CNN的非线性表达能力，作者认为没有激活函数的CNN是一个线性模型，特征表达能力不强，所以就想在每个featu
扩散模型论文笔记
03-13
### 关于扩散模型的研究概述 扩散模型（Diffusion Models）近年来因其在图像生成和其他模态数据上的卓越表现而受到广泛关注。这些模型通过学习如何逐步去噪来生成高质量的数据样本。以下是有关扩散模型的一些核心概念及其研究进展： #### 扩散模型的核心原理 扩散模型是一种基于概率分布的学习框架，其主要思想是通过对噪声逐渐加到数据中的过程建模，并反向学习这一过程以实现数据生成[^3]。具体来说，该方法定义了一个前向扩散过程，在此过程中干净的数据被逐步加入高斯噪声直至完全随机化；随后训练神经网络逆向执行这个过程，即从纯噪声恢复原始数据。 #### 主要应用领域 - **图像生成**: 使用扩散模型可以创建逼真的图片，甚至能够控制特定属性如风格、姿态等。 - **超分辨率重建**: 提升低分辨率图像的质量至接近真实高清版本。 - **医学影像分析**: 辅助医生诊断疾病或者增强扫描结果清晰度等方面显示出巨大潜力[^4]。 #### 技术挑战与发展方向 尽管取得了显著成就，但仍存在一些技术瓶颈亟待解决： 1. 计算成本较高——由于需要多次迭代才能完成采样操作； 2. 需要进一步探索更高效的架构设计以及优化算法降低资源消耗的同时保持性能水平不变或有所提高[^5]。 ```python import torch.nn as nn class DiffusionModel(nn.Module): def __init__(self, input_size, hidden_layers=3, dropout_rate=0.2): super(DiffusionModel, self).__init__() layers = [] current_dim = input_size for _ in range(hidden_layers): next_dim = int(current_dim / 2) layers.append(nn.Linear(current_dim, next_dim)) layers.append(nn.ReLU()) layers.append(nn.Dropout(dropout_rate)) current_dim = next_dim self.network = nn.Sequential(*layers) def forward(self, x): return self.network(x) ``` 上述代码展示了一个简单的扩散模型结构实例，其中包含了多个隐藏层并通过ReLU激活函数引入非线性变换，同时利用Dropout机制防止过拟合现象发生。 ### 总结 综上所述，虽然当前已经有很多优秀的研究成果围绕着扩散模型展开讨论并取得了一定成果，但是随着科学技术不断进步以及实际应用场景日益复杂多样化的要求下，未来还有很长一段路要走。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值