6、神经网络：发展、应用与挑战

神经网络：发展、应用与挑战

一、早期探索与关键算法突破

1.1 加州大学圣地亚哥分校与认知科学

加州大学圣地亚哥分校成立于 1960 年，如今已发展成为生物医学研究的重要中心。1986 年，该校设立了认知科学系，这是世界上首个此类系别。当时，大卫·鲁梅尔哈特（David Rumelhart）已是杰出的数学和认知心理学家。他曾遵循 20 世纪 70 年代人工智能研究中占主导地位的基于符号和规则的传统，但在 1979 年，他与杰弗里·辛顿（Geoffrey Hinton）等人在加州大学圣地亚哥分校的研讨会上，开创了一种新的人类心理学研究方法——“并行分布式处理”（PDP）。鲁梅尔哈特善于深入思考问题，常能提出深刻见解。

1.2 玻尔兹曼机学习算法

玻尔兹曼机学习算法证明了多层网络可以学习解决需要隐藏单元的问题，克服了感知机的局限性。该算法表明，网络的层数和层内连接性没有限制。然而，它也存在一个问题：模拟达到平衡和收集统计数据的过程变得越来越慢，大型网络需要更长时间才能达到平衡。

1.3 计算机架构的发展

从理论上讲，构建具有大规模并行架构的计算机比传统的冯·诺依曼架构计算机（每次进行一次更新）要快得多。20 世纪 80 年代的数字计算机每秒只能执行一百万次操作，而如今的计算机每秒能执行数十亿次操作。通过连接数千个核心，高性能计算机的速度比以前快了一百万倍，这是技术能力前所未有的提升。

1.4 新学习算法的涌现

就像美国在没有任何保证的情况下投入 260 亿美元（按 2016 年美元计算）进行曼哈顿计划研发原子弹，且最终成功一样。当多层网络可以使用玻尔兹曼机进行训练的秘密