深度学习中的连接Connections

以下为看论文时遇到的各种connections的整理与总结，日后若有新的体会，将对内容进行修改和补充1. 

1. Full connection全连接层：

针对知乎提问https://www.zhihu.com/question/41037974的总结

“全连接层起到将学到的‘分布式特征表示’映射到样本标记空间的作用。在实际使用中，FC可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前面是卷积层的FC可以转化为卷积核为HxW的全局卷积”。

“在CV中，FC和卷积层没有太大的区别。卷积层其实就是在spatial上部分链接，在channel上全连接的结构。因此，如果舍弃在spatial上的部分链接，将卷积核换成1x1的，那么就只有在channel上全连接。这时候卷积层=全连接层。很多特征融合的卷积都采用1x1的kernel，这也算是FC的一个功能。”

现在，不仅是从发表的论文还是大家做项目的经验，好像都有将GAP（全局平均池化）来代替FC的趋势。分析其中的原因，主要有以下几点：a. 将整个CV处理过程与数字图像处理对比来看，CV处理过程实际上就是一个矩阵相乘的过程，如果全部使用全连接层，那么势必使得每矩阵都具有很高的维度，再进行矩阵乘法操作，不仅使得运算速度下降，而且使得内存很容易就因为存储FC参数而被占满；b. 卷积层，使用了权值共享，每次都只关注于一个局部区域，在减少参数量的同时，更加聚焦于局部信息，这使得后续的attention机制很自然的被引出。然而全连接层聚焦于整个输入图像本身，会丢失特征位置的信息，很像是将前面所有卷积层的feature map做一个整理，然后产生的结果可以有助于进行后续的操作，如分类等，这时得到的特征更加具有判