9、人工神经网络与学习系统：从大脑机制到数学建模

人工神经网络与学习系统：从大脑机制到数学建模

1. 引言

在当今的技术领域，对于学习系统的数学方法研究不断深入，同时人们也在努力通过数学建模来理解大脑的机制、高级认知和情感功能，包括与美和音乐相关的认知功能。从数学角度看，人工神经网络（ANNs）和其他算法在本质上并无明显差异，因此“算法”“神经网络”“机器学习”“人工智能”“计算智能”等术语常被互换使用。然而，大脑仍然是比流行的ANNs和算法更强大的学习装置，探究其中的原因，寻找使大脑与流行算法区分开来的基本原则、这些原则的数学模型以及基于这些模型的算法，具有重要意义。

2. 学习系统概述及面临的困难

2.1 早期学习算法

自计算机出现后，人们就开始尝试通过模拟大脑来解决复杂工程问题。20世纪50年代，相关方法遵循已知的大脑神经结构。1949年，Donald Hebb提出Hebb规则，即神经元突触连接在学习过程中会增强。当时，数学家和工程师认为计算机很快会超越人类思维能力。Frank Rosenblatt开发了首个能够学习的ANN——感知机，但它只能解决简单问题。1969年，Marvin Minsky和Seymour Papert从数学上证明了感知机学习的局限性。

2.2 统计模式识别算法

统计模式识别算法通过特征来表征模式，D个特征形成D维分类空间，学习样本的特征在该空间中形成分布，利用统计方法表征分布并推导分类器。常见的分类器设计方法包括定义分类空间中的平面或复杂表面来分离类别，以及最近邻或核方法。高斯混合模型是一种强大的定义邻域的方法，但早期算法复杂，收敛效率是问题，后来得到了有效的算法。然而，这些方法受分类空间维度的限制，Richard Bellma