6、神经网络：从理论到应用的探索之旅

神经网络：从理论到应用的探索之旅

一、早期研究与算法突破

在人工智能研究领域，早期就有许多重要的探索。1960 年成立的加州大学圣地亚哥分校，后来发展成为生物医学研究的重要中心，并在 1986 年设立了世界上第一个认知科学系。大卫·鲁梅尔哈特（David Rumelhart）是一位杰出的数学和认知心理学家，他在 20 世纪 70 年代就活跃于以符号和规则为基础的人工智能研究传统中。1979 年，在杰弗里·辛顿（Geoffrey Hinton）于加州大学圣地亚哥分校组织的研讨会上，鲁梅尔哈特开创了一种新的人类心理学研究方法，他和詹姆斯·麦克莱兰（James McClelland）称之为“并行分布式处理”（PDP）。

玻尔兹曼机学习算法是一个重要的突破，它证明了可以训练多层网络来解决需要隐藏单元的问题，克服了感知机的局限性。该算法表明，网络的层数和层内的连接性没有限制。然而，它也存在一个问题，即达到平衡和收集统计数据的模拟过程越来越慢，大型网络需要更长的时间才能达到平衡。

从计算机性能来看，20 世纪 80 年代的数字计算机每秒只能执行 100 万次操作，而如今的计算机每秒能执行数十亿次操作，通过连接数千个核心，高性能计算机的速度比以前快了 100 万倍，这为神经网络的发展提供了强大的技术支持。

随着多层网络可以使用玻尔兹曼机进行训练这一秘密的公开，新的学习算法如雨后春笋般涌现。在杰弗里·辛顿和作者研究玻尔兹曼机的同时，大卫·鲁梅尔哈特开发了另一种多层网络学习算法——误差反向传播算法（backpropagation，简称 backprop），事实证明这种算法更具成效。

二、优化与误差反向传播算法

优化是机器学习中的一个关