10、神经网络调整中的初始条件选择与典型输入信号

神经网络调整中的初始条件选择与典型输入信号

1. 初始条件选择方法概述

在解决特定问题时，均匀神经网络可视为由差分或微分（线性或非线性）方程描述的动态系统。因此，为系统调整选择初始条件是神经网络理论的重要组成部分，其选择质量会显著影响解决方案的质量，但这方面通常未被充分考虑。

1.1 随机初始条件选择

随机初始条件选择方法使用多极值二次优化泛函。在二次优化泛函极值搜索过程中引入随机元素，以搜索该泛函的局部和全局极值。局部极值搜索对于解决多层神经网络结构最小化问题是必要的。虽然在使用随机初始条件的第一阶段，会感觉可调系数空间中存在大量局部极值，但随着开环神经网络结构的增大，多层神经网络状态的数量也会增加，这可通过二次优化泛函值来估计。这意味着大多数局部极值提供相同的识别质量。尽管这种方法会增加神经网络调整的时间冗余，但实验结果表明它在解决调整问题上是有效的。

1.2 确定性初始条件选择

确定性初始条件选择的目标是将神经网络先验地引入二次优化泛函的一个局部极值区域。多层神经网络在第一层、第二层等层面应尽可能无定形，即要准备好解决最复杂的识别问题。例如，在识别两个模式类别的学习问题中，初始条件选择时的分割面初步结构如图 1 所示。最终版本需在引入无定形或分散性准则后确定。

可以看出，具有最低无定形性和分散性的多层神经网络是第一层神经元系数相等且相应分割面移至特征空间“边缘”的神经网络。在自学习模式下，如果没有关于特征空间中单元格所属类别的初步信息，情况也是如此。第