一些问题

1.1X1的卷积层有什么用 

（Ref：https://www.zhihu.com/question/56024942/answer/154846007）

（1）多个feature channels线性叠加（信息整合），提高网络的表达能力。

（2）实现降维或者升维，减少网络参数。比如，一张500*500且厚度depth为100的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20。

下面是在Inception网络（ Going Deeper with Convolutions ）中用来降维的例子：原始模块是左图，右图中加入了1×1卷积进行降维。虽然左图的卷积核都比较小，但是当输入和输出的通道数很大时，乘起来也会使得卷积核参数变的很大。右图加入1×1卷积后可以降低输入的通道数，卷积核参数、运算复杂度也就跟着降下来了。以GoogLeNet的3a模块为例，输入的feature map是28×28×192，3a模块中1×1卷积通道为64，3×3卷积通道为128,5×5卷积通道为32。左图结构，卷积核参数为1×1×192×64+3×3×192×128+5×5×192×32。右图结构中，对3×3和5×5卷积层前分别加入了通道数为96和16的1×1卷积层，卷积核参数变成了：1×1×192×64+(1×1×192×96+3×3×96×128)+(1×1×192×16+5×5×16×32)，参数大约减少到原来的三分之一。同时在并行pooling层后面加入1×1卷积层后也可以降低输出的feature map数量。左图pooling后feature map是不变的，再加卷积层得到的feature map，会使输出的feature map扩大到416，如果每个模块都这样，网络的输出会越来越大。而右图在pooling后面加了通道为32的1×1卷积，使得输出的feature map数降到了256。GoogLeNet利用1×1的卷积降维后，得到了更为紧凑的网络结构，虽然总共有22层，但是参数数量却只是8层的AlexNet的十二分之一（当然也有很大一部分原因是去掉了全连接层）。

（3）加入非线性。卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非线性激励（ non-linear activation ），提升网络的表达能力；