论文笔记：Network in Network

最新推荐文章于 2024-07-31 18:02:02 发布
最新推荐文章于 2024-07-31 18:02:02 发布
阅读量443 收藏
点赞数
分类专栏： DL 文章标签： cnn nin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lebula/article/details/52847040
版权
本文探讨了MLPConv层的概念及其通过跨通道参数化池化或1x1卷积进行特征提取的方法，并对比了传统的全连接层，介绍了如何使用全局平均池化来减少参数数量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. Motivation: conv layers use GLM (WX+b) to extract features; the level of abstraction is low (latent features are linearly seperable) ==> use MLP (can approximate any functions, whereas maxout only approximates convex functions, and MLP can be applied to BP) 

2. Architecture
Mlpconv layer: a cross-channel parametric pooling, or a 1x1 conv



Global average pooling: avg pooling the feature map instead of two FC ==> reduce the number of parameters 


Network In Network(精读)
小胜爱捣鼓
11-20 1万+
一.文献名字和作者      Network In Network.Min Lin, Qiang Chen, Shuicheng Yan     二.阅读时间     2014年11月19日 三.文献的目的     文章主要是对于CNN结构进行改进，使得CNN能够学习到更加抽象和有效的非线性特征。 四.文献的贡献点 4.1 卷积层的改进--多
论文笔记：TRANSIT: Fine-grained human mobility trajectory inference at scalewith mobile network signalin
qq_40206371的博客
01-01 1128
NSD包含由所有与法国Orange公司网络关联的设备在2G、3G和4G蜂窝技术中产生的网络数据平面事件语音和文本通信通信过程中设备小区变更位置区（LA）和跟踪区（TA）更新（跨越更大区域的小区变更，这些更大的区域在2G/3G中称为LA，在4G中称为TA，也影响到空闲设备）主动寻呼（即，由网络端发起的定期请求以更新设备位置）网络接入和脱离（即，设备开机/关机时加入或离开网络）数据连接（即，为移动应用程序在设备上产生的流量分配资源的请求）
Network In Network
weixin_34167043的博客
04-12 154
Introduction: 传统的cnn过滤器是一个泛化的线性模型（GLM），我们认为这GLM的抽象能力是低级别的。把GLM替换为一个更有效的非线性函数近似能够提高抽象能力。当例子是线性可分时，GLM能实现很好的抽象。然而例子很多情况下是线性不可分的，输入的线性函数才能很好地表达。此网络没有采用传统的全连接层，而是采用全局平均池化层。一方面是因为全局平均池化层能很好解释特征映射和类别之间的联系。另...
深度学习（二十六）Network In Network学习笔记
热门推荐
hjimce的专栏
01-04 5万+
本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松击败了Alexnet网络，Alexnet网络参数大小是230M，采用这篇paper的算法才29M，减小了将近10倍啊。这篇paper提出的网络结构，是对传统CNN网络的一种改进(这种文献少之又少，所以感觉很有必要学习)。
network in network
byplane的博客
06-12 637
首先文章作者把传统CNN网络看成一个广义的线性模型GLM（generalized linear model）后面跟一个非线性激活函数（现在多用ReLU），而假设特征能够被GLM抽象即线性可分，那么对它的抽象程度是不够的（level of abstraction is low），或者说我们要假设特征是线性可分的（这是个强假设）。如果我们用一个非线性的模型代替GLM,无疑会提高整个模型对特征的抽象程度
论文笔记：Learning Deconvolution Network for Semantic Segmentation
01-06
文章目录1 摘要2 亮点2.1 解码器结构2.1.1 反池化层2.1.2 反卷积层2.1.3 反池化和反卷积结合2.2 网络整体结构3 部分效果3.1 FCN和DeconvNet的对比3.2 各个网络效果对比4 结论5 参考文献 1 摘要 ...
论文笔记：【ICLR 2024】SPATIO-TEMPORAL FEW-SHOT LEARNING VIA DIFFUSIVE NEURAL NETWORK GEN
Zongyouqiangu的博客
07-31 1544
时空建模往往受到数据稀缺的阻碍。为弥补这一缺陷，本文提出了一种新的生成式预训练框架GPD，用于时空少样本学习。该方法通过使用源城市数据优化的神经网络参数集合进行生成式预训练，将时空少样本学习改写为生成式扩散模型的预训练。GPD采用了基于Transformer的去噪扩散模型，在prompt的引导下生成定制的神经网络，以适应多样化的数据分布和城市特定的特征。该框架与模型无关，可与强大的时空神经网络集成，在交通速度预测和人群流量预测任务上均表现出优越性能。
论文笔记：SNUNet-CD: A Densely Connected Siamese Network for Change Detection of VHR Images
m0_46637598的博客
01-28 1344
现有变化检测方法侧重于深层变化语义特征的提取，而忽略了包含高分辨率、细粒度特征的浅层信息的重要性，这会导致变化目标边缘像素的不确定性和小目标的漏判。本文中提出的SNUNet-CD是一种用于变化检测的稠密连接孪生网络（孪生网络与NestedUNet的组合）。它通过编码器和解码器之间以及解码器和解码器之间的紧凑信息传输来减轻神经网络深层定位信息的丢失。此外，提出了Ensemble Channel Attention Module (ECAM) 用于深度监督。
论文笔记：Recurrent Neural Network Grammars
MirrorN的博客
01-06 1178
1.简介 “Recurrent Neural Network Grammars” 发表与NAACL 2016，这篇论文中提出了 RNNG 模型，在之后也有很多工作基于此，像URNNG（Unsupervised RNNG）和融合RNNG的NMT等。论文中首先介绍了RNNG的判别模型，然后进行了改动，定义了生成模型，然后又介绍了RNNG作为语言模型的效果。 2.定义基础 RNNG来源于统计自然语言处...
Network in Network
zrh_优快云的博客
08-01 1027
1×1的卷积核 卷积核在CNN中经常被用到，一般常见的是3×3的或者5×5的。一般1×1的卷积核本质上并没有对图像做什么聚合操作，以为就是同一个w去乘以原图像上的每一个像素点，相当于做了一个scaling 。1×1卷积核最初是在Network in Network这个网络结构中提出来的。它用了比AlexNet更少的参数，达到了跟其一样的效果。 1×1卷积核的作用        那...
tictoc正方形网络模型_反卷积：可视化并理解卷积网络
weixin_39705018的博客
11-25 245
可视化与理解卷积网络的探讨卷积网络模型自问世以来，对AI技术的发展起了很大的推动作用。但其复杂的模型结构，庞大的参数规模也给模型优化带来很多问题。如果问某个参数的值问什么是3而不是6，很难得到有根据的回答。发表于2013年11月的论文《Visualizing and Understanding Convolutional Networks》系统展示了如何可视化卷积网络，并根据可视化后观察到的现象优...
NIN (Network In Network)
weixin_30632089的博客
10-11 324
Network In Network 论文Network In Network(Min Lin, ICLR2014). 传统CNN使用的线性滤波器是一种广义线性模型(Generalized linear model,GLM)。所以用CNN进行特征提取时，其实就隐含地假设了特征是线性可分的，可实际问题往往是难以线性可分的。CNN中通过堆加卷积过滤器来产生更高层的特征表示,作者想到了除了像之前一样堆加...
扩散模型论文笔记
最新发布
03-13
### 关于扩散模型的研究概述 扩散模型（Diffusion Models）近年来因其在图像生成和其他模态数据上的卓越表现而受到广泛关注。这些模型通过学习如何逐步去噪来生成高质量的数据样本。以下是有关扩散模型的一些核心概念及其研究进展： #### 扩散模型的核心原理 扩散模型是一种基于概率分布的学习框架，其主要思想是通过对噪声逐渐加到数据中的过程建模，并反向学习这一过程以实现数据生成[^3]。具体来说，该方法定义了一个前向扩散过程，在此过程中干净的数据被逐步加入高斯噪声直至完全随机化；随后训练神经网络逆向执行这个过程，即从纯噪声恢复原始数据。 #### 主要应用领域 - **图像生成**: 使用扩散模型可以创建逼真的图片，甚至能够控制特定属性如风格、姿态等。 - **超分辨率重建**: 提升低分辨率图像的质量至接近真实高清版本。 - **医学影像分析**: 辅助医生诊断疾病或者增强扫描结果清晰度等方面显示出巨大潜力[^4]。 #### 技术挑战与发展方向 尽管取得了显著成就，但仍存在一些技术瓶颈亟待解决： 1. 计算成本较高——由于需要多次迭代才能完成采样操作； 2. 需要进一步探索更高效的架构设计以及优化算法降低资源消耗的同时保持性能水平不变或有所提高[^5]。 ```python import torch.nn as nn class DiffusionModel(nn.Module): def __init__(self, input_size, hidden_layers=3, dropout_rate=0.2): super(DiffusionModel, self).__init__() layers = [] current_dim = input_size for _ in range(hidden_layers): next_dim = int(current_dim / 2) layers.append(nn.Linear(current_dim, next_dim)) layers.append(nn.ReLU()) layers.append(nn.Dropout(dropout_rate)) current_dim = next_dim self.network = nn.Sequential(*layers) def forward(self, x): return self.network(x) ``` 上述代码展示了一个简单的扩散模型结构实例，其中包含了多个隐藏层并通过ReLU激活函数引入非线性变换，同时利用Dropout机制防止过拟合现象发生。 ### 总结 综上所述，虽然当前已经有很多优秀的研究成果围绕着扩散模型展开讨论并取得了一定成果，但是随着科学技术不断进步以及实际应用场景日益复杂多样化的要求下，未来还有很长一段路要走。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值