18、连接主义：原理、应用与发展前景

连接主义：原理、应用与发展前景

1. 连接主义简介

自20世纪80年代中期以来，基于简单处理器网络及其连接的计算模型重新引起了人们的兴趣。这些模型有多种称呼，如“并行分布式处理”“神经网络”和“连接主义”。物理学家倾向于使用“神经网络”，而心理学家则常用“连接主义模型”，在本文中，这些名称可视为同义词。重点在于探讨网络模型与心智计算理论以及图灵机之间的关系。

2. 麦卡洛克 - 皮茨网络

计算的网络模型历史几乎与符号模型的历史一样长。1943年麦卡洛克和皮茨的论文是重要的奠基之作，它建立了理想化神经元网络计算与图灵机计算之间的联系。他们的网络有两种类型：有循环回路的“带圈网络”和无循环回路的网络。网络中的神经元是线性阈值设备，其输出是输入的累加函数，输入可为正或负，当输入超过指定阈值时，输出一个固定值。麦卡洛克和皮茨指出（但未证明），带圈网络在计算上等同于图灵机的有限控制自动机；若配备像图灵机那样的扫描仪和磁带，带圈网络在计算上等同于图灵机。

3. 单层网络的学习

麦卡洛克 - 皮茨网络没有学习能力，其架构由设计者固定。1949年，赫布提出学习可通过增强对特定输入产生正相关放电的一对神经元之间的连接强度来实现，为理解网络学习可能性迈出了重要一步。1962年，罗森布拉特开发了名为感知机的简单网络学习的形式化模型，他研究了“单层”感知机，即具有输入和输出节点以及它们之间单层连接的网络。罗森布拉特证明了感知机收敛定理，表明如果学习任务有解，单层感知机就能成功完成学习任务。然而，1969年明斯基和帕佩特指出，单层感知机在一些简单问题上会失败，这对其作为广泛学习现象研究基础的希望造成了沉重打击。

4. 多层网络