Network In Network

Network In Network

Tags: Backbobe
作者: Min Lin, Qiang Chen
发表日期: 2014
引用量: 7071
星级 : ★★★★★
模型简写: NIT
简介: 使用mlp convolution layers替代传统cnn卷积，提出global average pooling
精读: Yes

Introduction

作者认为，传统CNN中的卷积核是广义的线性模型（GLM），GLM的抽象水平很低。用更有效的非线性函数approximator可以增强模型的抽象能力。

Method

MLP Convolution Layers

传统卷积神经网络一般是由，线性卷积层、池化层、全连接层堆叠的网络，如下：

本文提出MLP convolution layer，用MLP代替GLM，如下：

Global Average Pooling

传统卷积神经网络通过底层卷积层提取特征，最后一个卷积层接全连接网络，通过softmax层输出进行分类。本文提出因为由全连接网络的村濑，模型容易过拟合。

本文通过global average pooling(全局平均池化)代替全连接层。

与传统的全连接层不同，我们对每个特征图一整张图片进行全局均值池化，这样每张特征图都可以得到一个输出。这样采用均值池化，连参数都省了，可以大大减小网络，避免过拟合，另一方面它有一个特点，每张特征图相当于一个输出特征，然后这个特征就表示了我们输出类的特征。这样如果我们在做1000个分类任务的时候，我们网络在设计的时候，最后一层的特征图个数就要选择1000。

Architecture

总体网络架构如下（NIN）