神经网络概述

以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。

例如，一个人可以很容易地识别他人的脸孔，但计算机则很难做到这一点。这是因为脸孔的识别不能用一个精确的数学模型加以描述，而计算机工作则必须有对模型进行各种运算的指令才行，得不到精确的模型，程序也就无法编制。而大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。尽管它还不是大脑的完美元缺的模型，但它可以通过学习来获取外部的知识并存贮在网络内，可以解决计算机不易处理的难题，特别是语音和图像的识别、理解、知识的处理、组合优化计算和智能控制等一系列本质上是非计算的问题。

因此，神经网络技术已成为当前人工智能领域中最令人感兴趣和最富有魅力的研究课题之一。

神经网络的研究发展史

1) 第一次神经网络研究高潮

对大脑神经元的研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其它神经元轴突的互相结合部(此结合部称为Synapse，即突触)接收由轴突传来的信号。如果—神经元所接收到的信号的总和超过了它本身的“阈值”，则该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。

1943年，W．S．McCulloch和W．Pitts根据上述研究发表了他们的神经元模型，通常称为MP模型。在该模型中，当神经元处于兴奋状态时，其输出为1；处于非兴奋状态时，输出为0。

1949年，D.O.Hebb提出了神经元的学习法则，即Hebb法则。当神经元兴奋时，输入侧的突触结合强度由于受到刺激而得到增强，这就给神经网络带来了所谓的“可塑性”，并被认为是用神经网络进行模式识别和记忆的基础。到现在为止，大部分神经网络型机器的学习法则仍采用Hebb法则或它的改进形式。

50年代末，F．Rosenblatt基于上述原理提出了一种模式识别机，即感知机(Perceptron)模型。它是由光接收单元组成的输入层，MP神经元构成的联合层和输出层构成。输入层和联合层之间的结合可以不是全连接，而联合层与输出层神经元之间一般是全连接，用教师信号可以对感知机进行训练。

在Hebb的学习法则中，只有加强突触结合强度这一功能，但在感知机中，除此之外还加入了当神经元发生错误的兴奋时，能接受教师信号的指导去减弱突触的结合强度这一功能。

感知机是现代神经计算的出发