Network-in-Network论文阅读笔记

最新推荐文章于 2025-03-07 22:14:13 发布

原创

最新推荐文章于 2025-03-07 22:14:13 发布 · 654 阅读

1 ·

CC 4.0 BY-SA版权

本文深入解析Network-in-Network(NIN)网络结构，探讨其核心思想：1*1卷积和全局平均池化，用于提升特征提取的非线性映射能力。NIN通过微网络替代传统卷积核，引入多层感知机卷积层和全局平均池化，改善特征抽象度和网络泛化能力。

前言

NIN相比GoogLeNet来说还是易读多了。由于GoogLeNet借鉴了很多NIN的思想，所以就拿过来深入学习一下。这次的参考资料不多：
　　普通卷积、mobilenet卷积、全局平均池化的矩阵描述
　　 NIN论文下载传送门
　　NIN的核心思想就是1＊1卷积和全局平均池化。还是梳理一下全文，并在梳理的过程中掺入我自己的思考。

Network-in-Network论文阅读笔记

Abstract

本文提出用一个微网络来代替卷积核提取特征，之后提出了使用全局平均池化来代替全连接进行分类。

1. Introduction

传统神经网络中，一个滤波器（卷积核）是一个广义线性模型（generalized linear model (GLM)，之所以说是广义线性模型，我猜测意思应该是卷积是一个线性操作，再经过relu后变成一个非线性映射，虽然不是严格的线性，但是和mlp相比就算广义线性了），这种广义的线性模型提取特征的能力较差（应该是映射关系相对简单，特征的抽象度不够）。当不同的类之间是线性可分的时候，GLM性能较好，但是这些类之间往往不是线性可分的，因此，从输入图像提取到的特征需要有较高的非线性程度。在NIN中，提取特征的算子由原来的卷积核变成一个微网络，这个微网络是一个更通用的非线性函数估计器，具有更强大的非线性映射估计能力（相对于卷积来说）。
　　具体来说，这个微网络层我们用多层感知机（multilayer peceptron）来做，称之为mlpconv layer。通过不断地平移这个微网络，使其覆盖不同的局部区域，提取