CNN网络模型整理笔记

AlexNet网络结构：

5层卷积，3层全连接。使用了多GPU策略，局部反应归一化，重叠池化方法。

 

ZFNet网络结构：

可视化过程：

卷积层输出的特征作为输入，输入到反卷积网络，反卷积网络包括unpooling、relu、deconv三个过程。

 

VGGNet网络结构：

一个卷积层由多个小卷积核构成，降低了训练的数据量。

 

GoogleNet网络结构：

GoogleNet提出了一种加深网络的结构——inception结构，通过使用1x1，3x3，5x5的小卷积核并列构成一个inception结构，最后在特征图的厚度上进行简单的堆叠，不但加深了网络深度，同时增加了网络对尺寸的适应性，在一个特征图中融合多尺寸卷积核所得到的结果。inception_v1如下图所示。

 

Inception_v2网络结构：

Inception_v2网络最大的贡献是提出了BN的操作。在每一个神经元进行激活前，使用BN操作，将数据拉回到以0为均值，1为方差的分布当中。以sigmod函数为例，当输入数据过大或者过小，可以看出其梯度都很小，经过多次迭代之后，远离输出层的参数更新很慢，出现梯度消失现象，从而导致Loss收敛速度慢。加入BN操作，可以加快网络收敛速度，提高网络的稳定性。

 sigmod函数激活函数之前加入BN

m为mini-batch的大小。

inception_v3网络结构：

inception_v3相比于inception_v2加入了更多网络优化。

1、对于n * n的卷积核，提出使用1 * n和n * 1的卷积替代，在网络中部，当n=7时，网络有一个很好的效果；

2、在35 * 35 —>17 * 17以及17 * 17 —> 8 * 8的维度上提出了一种更有效的降维策略（Efficient Grid Size Reduction ），提出一种并行降维方法，具体方式见下图：