使用SppLayer 实现花的分类

使用SppLayer 实现花的分类

---

前言

五一假期的第二篇博客，这篇文章我会总结一下卷积层和全连接层之间的“文章”，基于框架TensorFlow和Keras 去比较Flatten，GlobalAveragePooling2D和SPP(SpatialPyramidPooling 空间金字塔池化)，并用SppLayer 实现了一个小例子。我刚开始学图像分类，所以所有都是基于图像分类的讲述，文章中提到的三维块是 以(HWC,(长，宽，通道))为准，不恰当的地方还请各位大佬指正。下面附上资源链接：

内容	链接
数据集	链接
kaggle上实现花分类例子	链接
Flatten，GlobalAveragePooling2D，SPP	链接
网盘	链接 提取码：qp09

一、Flatten，GlobalAveragePooling2D和SpatialPyramidPooling

1.Flatten

Flatten的原理很简单，就是强行把卷积后形成的三维（不包含batch_size）块一维化,如下图所示：

假设我们通过多层卷积池化卷积池化后得到7x7x5的三维块，那么通过flatten之后就变成了7x7x5=245的一维向量，再连接一个和分类类别数量一致的全连接层，再添加softmax函数，这样一个分类网络就搭建好了。那么这样做的缺点是什么，假设我卷积后得到的块比较大，例如我试验中，输入大小维224x224x3的图片，用到vgg16（不包含全连接层）做前面的卷积运算，如下所示：

Model: "model_flatten"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
vgg16 (Functional)           (None, 7, 7, 512)         14714688  
_________________________________________________________________
flatten (Flatten)            (None, 25088)             0         
_________________________________________________________________
dense (Dense)                (None, 10)                250890    
=================================================================
Total params: 14,965,578
Trainable params: 14,965,578
Non-trainable params: 0
_________________________________________________________________

卷积后的三维块一维化之后得到了7x7x512=25088的一维向量，再连接接一个10个节点的全连接成做10种分类，那么这一层需要训练的参数就是7x7x512x10+10=250890， 其中加的10是偏执（bias）,那假如我要做1000种分类呢？那就是25088x1000+1000=25,089,000。参数太多了。还有一个缺点是，因为参数和图片的长宽有关，所以输入网络必须要指定图片大小。

2.GlobalAveragePooling2D

GlobalAveragePooling2D是平均池化的一个特例，不需要指定pool_size和strides等参数，所求得到得就是每个通道的一个平均值，可以看出 它的计算和通道数有关。不多说，我们直接上图：

如果你最后的分类刚好是五分类的话，那么很好，不用连接全连接层，就可以通过softmax函数计算，直接去分类了。如果这个通道数和你分类的类别不一样，那么你可以再连接全连接层，然后再去分类，这样的话，参数就会减少很多很多。。同样已vgg16做卷积运算，再连接全局平均池化（GlobalAveragePooling2D）。

Model: "model_global_avg_pooling"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
vgg16 (Functional)           (None, None, None, 512)   14714688  
_________________________________________________________________
global_average_pooling2d (Gl (None, 512)               0         
_________________________________________________________________
dense_1 (Dense)              (None, 10)                5130      
=================================================================
Total params: 14,719,818
Trainable params: 14,719,818
Non-trainable params: 0
_________________________________________________________________

这里需要注意的是，我不用再限定图片的大小了！！通过vgg16卷积运算完成后，得到的是512通道的块，经过GlobalAveragePooling2D后，他就变成512的一维向量了，再连接全连接层，假设10种分类的全连接层，那么这其中要训练的参数就位512x10+10=5130。是不是相比上面的flatten产生的250890个参数要少很多了。

3.SpatialPyramidPooling

SpatialPyramidPooling ,空间金字塔池化，因为一开始我们输入卷积网络的图片需要指定其大小。假如图片和输入图片大小不一致，我们一般都是通过裁剪或变形的方法，让图片能输入到我们的网络。流程如下：