CNN中1x1卷积的用处和优点

    在CNN中，有一个比较特殊的卷积结构，就是1x1的卷积。

    1x1的卷积其实和pooling层的作用很像，但是pooling层的减少数据量的作用只能作用于图片的尺寸，无法对channel（通道数）进行缩减，所以1x1的卷积就拥有减少通道数的作用。举个例子，例如28x28x64的经过2x2的最大pooling，stride为2，则可以获得14x14x64的图片，而经过1x1x32的卷积层之后，就可以获得28x28x32的图片，这就减少了通道数。而减少的一半的通道数好像丢失了很多数据，其实也不是，因为1x1x32是一个有参数学习的卷积层，所以通道数减少而导致的数据减少其实也是一种学习过程，所以这对CNN来说有一定的好处。还有就是在inception的结构中，一般都先用1x1的卷积预先处理一下数据，在用常规卷积处理1x1卷积处理过后的数据，这样可以节省很多的计算量。

    对于新手学CNN，建议参考别人已经训练好权重的网络，修改一下最后的softmax层和预测结果来学习CNN。毕竟别人训练好的权重可能是经过大量的数据和很多GPU并行训练出来的结果，大部分情况下都比你从头来用小部分数据训练出来的结果好点。