全连接神经网络中使用了全连接层,在全连接层中,相邻层的神经元全部连接在一起,输出的数量可以任意指定.
全连接层存在什么问题呢?那就是数据的形状被忽视了,比如,输入数据是图像是,图像通常是长,宽,通道方向上的高三维形状,但是,在向全连接层输入时,需要将三维数据拉平为1维数据,比如下面的的网络:
输入图像是1通道,长,宽均为28像素的形状,但是却被排列成了1列,784个数据的形式输入到最开始的网络层.
图像是三维形状,这个形状中应该含有重要的空间信息,比如,空间上临近的像素为相似的值,RGB的各个通道之间分别有密切的关联性,相距较远的像素之间没有什么关联等,3维形状中可能隐藏有值得提取的本质模式,但是,因为全连接层会忽视形状,将全部的输入数据作为相同的神经元(同一维度的神经元)处理,所以无法利用与形状相关的信息.
而卷积层可以保持形状不变,当输入数据是图像时,卷积层会以三维的数据形式接受输入数据,并且同样以3维数据的形式输至下一层,因此,在CNN中,可以正确理解具有形状的数据.
如下图:
不但可以保留形状信息,而且会有效减小参数数量和链接数量,全连接的情况下,需要16*4=64个参数,但是经过卷积处理后,只需要9个参数需要学习,其它都