回声状态神经网络&GIST特征提取的手写数字识别算法研究

回声状态网络（Echo State Network, ESN）是一种新型的递归神经网络模型，也是一种典型的储备池计算模型，它将低维的输入信号映射到一个高维的状态空间，再通过简单的学习算法将高维的信息转换为低维信号输出。这个高维状态空间就是储备池，它大大减小了传统人工神经网络的计算复杂度并克服其记忆消减问题。Gist特征提取算法是Oliva和Torralba等提出的一种有效的全局特征描述符。

本文基于经典的回声状态网络模型，使用MNIST数据集作为训练、识别数据集，手写数字图片为28×28 像素的灰度图，将手写数字图片的像素展开，作为回声状态网络训练与识别的输入数据。在此基础上，将手写数字图片经过Gist特征提取进行预处理后，再将处理后的数据作为回声状态网络的训练识别的输入。在这两种模型下，观察比较识别准确率的变化规律及其差异，同时调整回声状态网络的参数以提高准确率。

本课题经过建模实验，实现了ESN模型识别MNIST手写数字集，模型对MNIST测试集的识别准确率为96.05%；对图片进行Gist特征提取后，ESN模型对MNIST测试集的识别率为98.65%，模型识别结果证明了ESN模型可以作为分类器使用。

 

 

关键词：回声状态网络，Gist特征提取，手写数字识别，MNIST数据集

 

5.1 总结

回声状态网络是由不可训练的稀疏循环部分（即储备池）和简单的线性读出器构成的递归神经网络，储备池的状态是整个输入历史的“回声”。回声状态网络相较于传统神经网络，在训练时只需要求出输出连接矩阵即可，因此其训练速度很快。ESN的储备池状态从算法上确保了历史的输入会对当前输出产生影响，这种特质在解决数据预测问题是必不可少的，但对于离散的、无序的互不关联的分类问题，这种特性是需要避免的，因为当前输入所属的类别与过往输入并无关联。围绕着ESN能否作为分类器，以及其分类性能如何，本课题基于ESN模型进行了手写数字的识别研究 ：

基于ESN模型对MNIST手写数字集识别，使用MNIST数据集的60000张手写数字图片样本作为训练样本，用测试组中的10000张手写数字图片作为识别样本，在储备池的规模为2000时，ESN模型对10000张手写数字图片的识别准确率为96.05% 。

对MMIST手写数字图片进行Gist特征提取，将单张手写数字图片的数据量从784个转化为512个，将特征提取后的数据作为ESN模型的输入，训练样本依然为60000个，测试样本为10000个，经过Gist特征提取后，模型对手写数字图片的识别准确率为98.65%，Gist特征提取处理图片后，显著的提高了模型的识别准确率。

经过实验，ESN可以作为分类器使用，用ESN模型实现手写数字的识别是可行的，并且图片经Gist特征提取预处理后，模型对手写数字图片的识别准确率得到了显著的提升，但Gist特征提取也带来了大量复杂的运算，对图片进行特征提取会花费一定的时间，这拖慢了整个模型的训练效率，当模型的训练输入图片固定时，可以先将图片进行Gist特征提取。

参考文献

 

1. Rodan A, Tino P. Minimum complexity echo state network.[J]. IEEE Transactions on Neural Networks, 2011, 22(1):131.
2. 钟玲.回响状态网络及概念机网络的储备池模型优化研究[D]. 重庆大学,2016.
3. Hinton G E,Salakhutdinov R R. Reducing the dimensionality of data with neural networks.[J]. Science,2006,313(5786).
4. Herbert Jaeger. The “Echo State” Approach to Analyzing and Training Recurrent NeuralNetwork[R]. Bremen: GMD Report 148, GMD-German National Research Institute forComputer Science, 2001.
5. H. Jaeger, “A tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the ‘echo state network’ approach,” German Nat. Res. Center Inform. Technol., St. Augustin, Germany, Tech. Rep. GMD 159, 2002.
6. H. Jaeger and H. Hass, “Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless telecommunication,” Science, vol. 304, no. 5667, pp. 78–80, Apr. 2004.
7. M. Skowronski and J. Harris, “Minimum mean squared error time series classification using an echo state network prediction model,” in Proc. IEEE Int. Symp. Circuits Syst., Island of Kos, Greece, May 2006, pp. 3153–3156.
8. K. Bush and C. Anderson, “Modeling reward functions for incomplete state representations via echo state networks,” in Proc. Int. Joint Conf. Neural Netw., Montreal, QC, Canada, Jul. 2005, pp. 2995–3000.
9. M. H. Tong, A. Bicket, E. Christiansen, and G. Cottrell, “Learning grammatical structure with echo state network,” Neural Netw., vol. 20, no. 3, pp. 424–432, Apr. 2007.
10. Ortin S, Gutierrez J M, “Nonlinear dynamics extraction for time-delay systems using modular neual networks synchronization and prediction” Phys. A,vol. 35, pp. 133,2005.
11. Goh S L, Chen M, Popovic D H, “Complex-valued forecasting of wind profile”, Renewable Energy,vol.31, pp. 1733-1750,2006
12. Ma Qian-Li, Zheng Qi-Lun, Peng Hong and Qin Jiang-Wei. “Chaotic time series prediction based on fuzzy boundary modular neural networks”. Acta Phys. Sin. vol. 58, pp. 1410, 2009.
13. 裴承丹.回声状态网络及其在图像边缘检测中的应用[J].计算机工程与应用,44(19):172-174,2008.
14. [20] Tong M H, Bickett A D, Christiansen E M, et al. Learninggrammatical structure with echo state networks. Neural Networks, 20( 3) : 424, 2007.
15. Jiang F, Berry H, Schoenauer M. Supervised and Evolutionary Learning of Echo State Networks[C]. 10th International Conference on Parallel Problem Solving from Nature. Dortmund, Germany,215-224, 2008.
16. Song Q, Feng Z. Effects of Connectivity Structure of Complex Echo State Network on its Prediction Performance for Nonlinear Time Series[J]. Neurocomputing, 73(10-12): 2177-2185, 2010.
17. Aude Oliva and Antonio Torralba. Modeling the shape of the scene: A holistic representation of the spatial envelope. International Journal of Computer Vision, 42(3):145-175,2001
18. B. Schrauwen, M. Wardermann, D. Verstraeten, J. Steil, and D.Stroobandt, “Improving reservoirs using intrinsic plasticity,” Neurocomputing, vol. 71, nos. 7–9, pp. 1159–1171, Mar. 2008.
19. Y. Xue, L. Yang, and S. Haykin, “Decoupled echo state networks with lateral inhibition,” Neural Netw., vol. 20, no. 3, pp. 365–376, Apr. 2007.
20. H. Jaeger and H. Hass, “Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless telecommunication,” Science, vol. 304, no. 5667, pp. 78–80, Apr. 2004.
21. H. Jaeger, M. Lukosevicius, D. Popovici, and U. Siewert, “Optimization and applications of echo state networks with leaky-integrator neurons,”Neural Netw., vol. 20, no. 3, pp. 335–352, Apr. 2007.
22. J. Schmidhuber, D. Wierstra, M. Gagliolo, and F. Gomez, “Training recurrent networks by evolino,” Neural Comput., vol. 19, no. 3, pp. 757–779, Mar. 2007.
23. G. Holzmann and H. Hauser, “Echo state networks with filter neurons and a delay&sum readout,”Neural Netw., vol. 23, no. 2, pp. 244–256, Mar. 2010.