神经网络发展史

人工神经网络(简称神经网络)是神经系统的模拟，包括了大脑神经系统的许多特征。人脑是一个高度复杂的、非线性的和并行的计算机器(信息处理系统)。人脑能够组织它的组成成分，即神经元，以比今天已有的最快的计算机还要快许多倍的速度进行特定的计算(如模式识别、感知和运动神经控制)。由于目前人类对大脑神经系统及其智能机理研究水平以及相关科学技术水平有限，神经网络对大脑神经系统进行了合理的简化和抽象。神经网络是一个由大量结构简单的处理单元，即神经元，通过广泛的连接而形成的神经系统。通过大量神经元的并行计算和分布存储，神经网络具有很强的计算能力和存储能力，因此神经网络是一种基于大规模并行的分布式处理系统。神经网络在两方面与大脑相似：

1）神经网络获取的知识是从外界环境中学习得来的；

2）互连神经元的连接强度，即突触权值，用于存储获取的知识。

设计一个网络模型需要考虑下面几个因素：

1）网络拓扑结构。前向式神经网络(feed forward)还是反馈式神经网络(feed back)，网络的层数，神经元的数目；

2）神经元的类型。神经元输入输出函数的类型，是可以同模拟电路实现的简单神经元还是必须用数值电路实现的复杂神经元，是连续型神经元还是离散型神经元；

3）学习训练机制。是有监督的学习还是无监督的自组织学习方式，所用的学习规则和训练方法。