【NIN】Network in Network笔记

Network in Network是2014年的ICLR的非常厉害的一篇paper。是对传统的CNN的一种改进。

1、摘要

• 提出了NIN的深度网络结构来增强模型在感知野在局部图像块的辨别力。
• 传统的conv layer使用线性过滤器之后紧跟一个非线性激活函数的方法来扫描输入，而论文使用micro networks with more complex structures to abstract the data within the receptive field。
• feature maps的获取是通过在输入上sliding micro networks over the input in a similar manner as CNN，然后将feature maps作为输入给下一层。
• Deep NIN可以通过堆叠上述结构（can be implements by stacking mutiple of the above described structure）
• 通过micro network模型来加强local modeling（局部模型？），在分类层利用GAP（global average pooling）相较于传统的FC（Fully connection）层可以更容易去解释（更容易去解释是因为FC相当于是一个black box）并且可以更好的避免过拟合。

2、Introduction

• By abstraction we mean that the feature is invariant to the variants of the same concept.【通过抽象化数据，对于一个同一个概念的变体，特征是不变的？？】
• paper