深度学习中为什么使用卷积
参数共享(Parameter Sharing)
准确的定义如下:
A feature detector (such as a vertical edge detector) that’s useful in one part of the image is probably useful in another part of the image.
1
直观的理解就是,一个卷积核,如果它适用于一幅图片的左上角做边缘检测,则他也能适用于图片的右下角。
卷积核的参数不需要改动,就能被适应,这就是所谓参数共享。
稀疏连接(Sparsity of Connections)
准确的定义如下:
In each layer, each output value depends only on a small number of inputs.
1
直观的理解就是,卷积输出的每一个数值(像素),只与卷积核大小的像素值有关,与卷积核范围之外的其它像素无关。
平移不变(Translation Invariance)
即使把图片移动几个像素,这张图片依然具有非常相似的特征。
怎么理解呢?平移后,MaxPooling的输出,在一定范围内还是相同的(不变)。
结论
深层神经网络中使用卷积,可以通过参数共享和稀疏连接,减少参数。参数少了,我们就能用更少的训练集来训练网络,从而预防过拟合。
- 卷积层只需要很少的参数,就能连接两个很大维度的特征
- 全连接层,要连接两个很大维度的特征,参数会非常多
而有Pooling层的存在,神经网络具备平移不变这样的性质,提高了泛化能力
原文:https://blog.youkuaiyun.com/ybdesire/article/details/80057150