在前两篇文章中,分别用Softmax回归和普通的3层神经网络在MNIST上进行了手写数字的识别。这两种方法都是将图片转换成一维的数组进行处理,没有考虑图片的二维结构信息,所以准确率都还不够高。在这篇文章中,我们将用提取了图片二维结构信息的卷积神经网络(Convolutional Neural Network, CNN)来进行手写数字的识别。
普通的神经网络是Fully Connected Networks,用这样的网络来处理大尺寸的图片参数太多,计算量巨大,很难训练。后来,研究人员想到了Locally Connected Networks,大大的减少了参数的数量,使得计算量显著减小,同时因为考虑了图像的二维特征,取得了巨大的成功。Locally Connected Networks这种做法的灵感也来源于生物学,因为生物学家发现人类的视觉皮层里有一些神经细胞只对图像的某个局部区域的刺激做出响应。
卷积神经网络的两个核心概念是convolution和pooling,下面分别介绍这两个概念。
Convolution
普通的神经网络hidden层的神经元会从input层的所有神经元提取特征,卷积神经网络则是提取一个小的矩形区域的特征。通过一个滑动窗口,提取整张图片的局部特征。卷积操作可以形象地表示如下:
pooling
pooling是指将一个矩形区域的像素变成一个像素。常用的pooling方法有max pooling和average pooling,max pooling是将矩形区域最大的值作为结果,average pooling是将矩形区域的均值作为结果,可形象地表示如下: