智能学初生（2）

人工神经网络的蓬勃发展（20世纪80年代）

 第一位打破坚冰的是美国科学院院士霍普菲尔德，1982年，文章“具有集体计算能力的神经网络和实际系统”，把网络视为原子集合处理，统计学方法分析网络的存储和优化特性，新型具有联想和记忆功能的神经网络。描述如何利用放大器电路实现神经元，用运算放大器反馈网络实现神经网络，，并采用全互联型神经网络尝试对非多项式复杂度的旅行商问题（Traveling Saleman Problem,TSP)进行了求解，促进神经网络的研究再次进入了蓬勃发展的时期唤起了学术和企业界对神经网络的热情。

自组织映射

 自组织映射现象，普遍存在于生物的的神经系统中，如大脑把不同的感觉输入（如运动，触觉，视觉，听觉，味觉）井井有条的映射到大脑皮层相应区域。这种将输入信息的特征与表示他们神经网络空间位置自动对应起来的功能，称作自组织映射（self-organizing map）,或自组织特征映射。1982年，柯宏尼提出自组织映射算法，无指导学习算法（自动聚类），根据输入样本之间的相似性，自动实现数据的分类，能把数据内在特征以几何形象自适应表现出来。如来了一群运动员，获取身高体重数据，输入到柯宏尼网络，输出层显示两个明显的高峰，意思告诉我们：运动员分为两类，一类体重大个子矮，另一类…,即举重和跳高运动员。

并行分布式处理（PDP，1986）

 在神经网络计算中，同一层神经元同时工作，叫“并行计算”；网络内部信息储存在参与计算的全体神经元与突触连接中，是“分布式的”，因此，神经网络计算又有“并行分布式处理”之名。
并行分布式处理和联想记忆是生物脑记忆的一种关键属性，人工神经网络一定程度上具有的这种奇妙功能：
1）信息的搜索，不像计算机依据信息地址查询的方法，而是根据信息本身部分内容关联“勾引起”其他内容的内容存储记忆。
2）计算机中，任何一个存储单元0或1具有明确的意义，大脑中信息完全不是这样，在一个神经元内找不到明确意义的信息，信息分布在相当规模的神经网络（脑皮层块）中，叫分布式存储。
3）信息是分布式，记忆是神经元的群体行为，所以这个群体中一些神经元坏了，关于那个事物的记忆不会有明显的改变，离了谁地球照样转，这叫容错能力。
4）当有一个不完整的信息输入，神经网络依靠“联想”可能找出原来记住的完整内容，这也是联想记忆的本意，也叫纠错能力。

误差反传（Error Back-Propagation,BP)算法

 神经网络模型40多种，常见的：多层感知器，自组织映射等10多种，通常把采用BP算法的多层感知器称为BP网络。4层网络举例：BP网络中，信号从输入层——隐含层——输出层传递，训练之前，联结强度（权值）是随机的，网络的输出结果与期望值相差甚远，换句话说，神经网络输出不对是由于神经元之间的突触联结状态不对，训练（学习）就是改变众多突触。学习过程需要“教师指导”，对应于什么样的输入，应该有什么样的输出。样本送入网络后，将实际输出值和期望输出值比较，算出误差，BP网络认为这个误差和网络全部连接强度有关，把他反传到网络内，从输出层到输入层，逐层逐个调整神经元之间的连接权值，减小误差，直到符合要求，利用输出层的误差估计出直接前导层的误差，再利用新的误差计算更前一级的误差，按照这个方式逐级反传得到所有层的误差估计，这是一个学习过程：神经网络不断地从数据中自动获取知识，将这些知识以网络结构和连接权值形式存储于网络中。
神经网络是有简单处理单元构成的大规模并行分布式处理器，两方面与人脑类似：
1.神经网络获取的知识是从外部环境通过学习得到的
2.神经元之间的连接强度，即突触权值，用于储存所获得的知识。
具有两个隐层的BP网络可以实现任意函数，单隐层的BP网络可以实现任何有界函数。