CNN相关

1.CNN的motivation（why CNN for image?）。

    1.1.Some patterns are much smaller than the whole image.

        a neuron does not have to see the whole image to discover the pattern.

    1.2.The same patterns appear in different regions.

    1.3.Subsampling the pixels will not change the object.

        We can subsampling the pixels to make image smaller.

The three motivations can reduce the parameters.

在卷积神经网络中，convolution layer考虑了1.1和1.2，而pooling layer考虑了1.3。

2.convolution操作如何在RGB图像上进行：和单通道唯一的区别就是filter的channel变成了3。一张RGB图像被一个channel为3的filter卷积后，得到的是channel为1的feature map。

3.convolution是fully connected的子集，neuron和input部分连接，减少了parameter，同一层的filter参数一样（权值共享）大大减少了parameter。

4.有几个filter，output就有几个channel。

5.CNN设计原则：

    5.1.靠近input的地方，filter的数目较多，随着深度增加，filter的数目也是增加的。因为每一个filter的作用的为了detect一个pattern，越base的地方，检测的pattern是很单纯的，就是一些线等基础的几个图形，但越靠后的地方就越抽象，检测的pattern就变为了猫，狗等这些复杂的object，类别的很多的，所以需要增加filter的数量。

    5.2.deeplearning之所以能work，是因为它在做模组化的事情，deep使它有了层次结构。