3、快速学习算法在前馈神经网络中的应用与发展

快速学习算法在前馈神经网络中的应用与发展

1. 引言

神经网络在八十年代初期重新获得了研究者的青睐。当时的主流趋势是开发令人印象深刻的神经网络应用，并迅速将其投入生产和市场。这种趋势主要源于希望确立神经网络作为一种可行的技术，特别是在开发语音和图像识别系统以及可训练的控制设备方面。随着研究从最先进的范式转向现实世界的应用，训练时间和计算需求成为与替代竞争技术比较中越来越重要的考量因素。因此，快速且高效的算法对于这一研究领域未来的发展至关重要。

2. 广义训练准则

在开发快速学习算法的过程中，一个核心思想是在训练期间适当放宽二次误差准则，从而得出广义的训练准则。这种广义准则不仅适用于单层神经网络，也适用于多层神经网络。广义准则的形式和特性取决于各自处理优化问题的具体方式。

2.1 目标函数

考虑一个前馈神经网络，该网络根据关联集 ((Y_k, X_k))，(k=1, 2, …, m) 进行训练，其中 (X_k = [X_{1,k}, X_{2,k}, …, X_{n,k}]) 是网络的输入，而 (Y_k = [Y_{1,k}, Y_{2,k}, …, Y_{no,k}]) 是相应的输出。训练通常基于以下目标函数的最小化：

[ E = \sum_{k=1}^{m} E_k ]

其中 (E_k) 定义为：

[ E_k = \sum_{i=1}^{no} (Y_{i,k} - \hat{Y}_{i,k})^2 ]

如果网络的输出是模拟的，每个 (Y_{i,k}) 归一化在 -1 和 +1 之间；如果是二进制输出，则每个 (Y_{i,k}) 可以取值 +1 或 -