全连接层与 GAP

全连接层

全连接层一般会放在网络的最后，作用是用来综合所有信息。先把卷积层生成的图像降维成一维向量，然后全连接层把一维向量转化成指定个数的单元值。

如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。

在实际使用中，全连接层可由卷积操作实现：

对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；
前层是卷积层的全连接层可以转化为卷积核为 h * w 的全局卷积，h和w分别为前层卷积结果的高和宽。

（1）展平操作

卷积层之后是无法直接连接全连接层的，需要把卷积层产生的 feature map 进行压平（Flatten），也就是把 (height,width,channel)的数据压缩成长度为 height × width × channel 的一维数组，然后就可以直接进入全连接层了。

可以从图中看到，随着网络的深入，我们的图像（严格来说中间的那些不能叫图像了，但是为了方便，还是这样说吧）越来越小，但是channels却越来越大了。在图中的表示就是长方体面对我们的面积越来越小，但是长度却越来越长了。

展平操作的 Pytorch 实现：

torch.fl