[深度学习]经典网络结构(四)——NIN

#本文意为总结自己学习的网络模型,以留作笔记使用，如有错误,欢迎在下方评论

一、简介

NIN改进了传统的CNN，采用了少量参数就取得了超过AlexNet的性能，AlexNet网络参数大小是230M，NIN只需要29M

二、网络结构

NIN文章使用的网络架构如图（总计4层）：3mlpconv + 1global_average_pooling

改进：

1、传统CNN使用的通用线性模型（generalized linear model ，GLM) [蓝框部分] 被替换为 多层感知机（MLP，多层全连接层和非线性函数的组合） [绿框部分] ：

           
以前的卷积层，局部感受野运算仅仅是是一个单层的神经网络（线性滤波器对图像进行内积运算，在跟着一个非线性激活函数），mlpconv层可以看成局部感受野上进行conv运算之前，还进行mlp运算，而MLP网络中，常见的使用三层的全连接结构，等效于普通卷积后在连接1:1的卷积和Rel