神经网格

神经网络在文献中也称为人工神经网络、神经计算，连接主义人工智能，并行分布处理等。一个神经网络是一个由简单处理元构成的规模宏大的并行分布处理器，具有存储经验知识和使之可用的特性。神经网络从两个方面上模拟大脑。

（1）  神经网络获取的知识是从外界环境中学习得来的。

（2）  内部神经元的连接强度，即突触权值，用于储存获取的知识。

用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变系统权值以获得想要的设计目标。突触权值修改提供神经网络设计的传统方法。这种方法和线性自适应滤波器理论很接近，滤波器理论已经很好地建立起来并成功应用在很多不同领域。但是神经网络修改它的拓扑结构亦是可能的，这也和人的神经元会死亡和新的突触连接会建立等情况相适应。

现代神经网络开始于麦克洛奇(W.S. McCulloch) 和皮兹(Pitts)的先驱工作。麦克洛奇(W.S. McCulloch)是神经学家和解剖学家。他用20年的时间考虑神经系统对事件的表示问题。皮兹(W. Pitts)是数学天才，于1942年开始神经计算的研究。 1943年，麦克洛奇(W.S. Mcculloch) 和皮兹(W. Pitts) 结合了神经生理学和数理逻辑的研究，提出了M-P神经网络模型。他们的神经元模型假定遵循有-无模型律。如果如此简单的神经元数目足够多，适当设置连接权值并且同步操作, 麦克洛奇(W.S. McCulloch)和皮兹(W. Pitts)证明这样构成的网络原则上可以计算任何可计算函数。这是一个有重大意义的结果，有了它标志着神经网络的诞生。

1949年，赫布(D.O. Hebb)的书《行为组织学》第一次清楚说明了突触修正的生理学习规则。特别是赫布(D.O. Hebb)提出大脑的连接是随着生物学会不同功能任务而连续地变化的， 神经组织就是由这种变化创建起来的。赫布(D.O. Hebb) 继承了 拉莫尼（Ramony）和卡贾尔（Cajal） 早期的假设并引入自己的现在著名的学习假说：两个神经元之间的可变突触被突触两端神经元的重复激活加强了。

在1982年，霍普菲尔特(J. Hopfield)用能量函数的思想形成一种了解具有对称连接的递归网络所执行的计算的新方法。并且他在这种递归网络和统计物理中使用的Ising模型之间建立了同构。这个类推为一连串的物理理论进入到神经元模型铺下了道路，因此神经网络的领域变化了。这类具有反馈的特殊神经网络在80年代引起了大量的关注，在那个时期产生了著名的Hopfield网络。尽管Hopfield网络不可能是真正的神经生物系统模型，然而它们包涵的原理，即在动态的稳定网络中存储信息的原理，是极深刻的。

20世纪80年代格罗斯伯格(Grossberg)基于他的竞争学习理论的早期工作,建立了一个新的自组织原则，就是著名的自适应共振理论（adaptive resonance theory,ART）。基本上说，这个理论包括一个由底向上的识别层和一个由顶向下的产生层。如果输入形式和已学习的反馈形式匹配，一个叫作“自适应共振”的不定状态（即，神经活动的放大和延长）发生了。

1986年鲁梅尔哈特(D.E. Rumelhart)、欣顿(G.E. Hinton) 和威廉姆斯（R.J. Williams）报告了反向传播算法的发展。同一年，著名的鲁梅尔哈特(D.E. Rumelhart)和麦克莱伦德(J.L. McClelland)编辑的《并行分布处理：认知微结构的探索》一书出版^[100]。这本书在反向传播算法的使用造成重大影响，它已成为最通用的多层感知器的训练算法。事实上，反向传播学习在1974年8月Harvard 大学的韦勃斯（P.J. Werbos）的博士学位论文中已经描述了。

    1990年汉森(L.K. Hansen)和萨拉蒙(P. Salamon)提出了神经网络集成(neural network ensemble)方法。他们证明，可以简单地通过训练多个神经网络并将其结果进行拟合，显著地提高神经网络系统的泛化能力。神经网络集成可以定义为用有限个神经网络对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定。在PAC学习理论下，如果存在一个多项式级算法来学习一组概念，并且学习正确率很高，那么这组概念是强可学习的;而如果算法学习一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习的。如果两者等价，那么在机器学习中，我们只要找到一个比随机猜测略好的弱学习算法，就可以将其提升为强学习算法，而不必直接去找通常情况下很难获得的强学习算法。沙皮尔(R.E. Schapire)对这个重要问题作出了构造性证明，其构造过程就是Boosting。1997年,弗洛德(Y. Freund)和沙皮尔(R.E. Schapire)提出了AdaBoost算法。