3、交叉连接多层神经网络结构优化

交叉连接多层神经网络结构优化

1 引言

选择开环多层神经网络结构是一个非常复杂的问题。其结构可以先验确定，也可以根据考虑两层和三层神经网络的原因，或者受限于技术设施来确定。接下来将探讨由具有两种解的神经元组成的交叉连接多层神经网络的结构选择（层数和每层神经元数量）的可能性。

2 问题复杂度准则

对于多层神经网络解决的模式识别任务，有必要讨论复杂度准则的问题。当使用确定性神经网络模型时，第一层神经元在初始特征空间中通过超平面实现的封闭区域内包含的参考模式数量可作为这样的准则。在概率神经网络模型的情况下，每个参考模式对应于神经网络输入处模式集合的分布概率函数的模式。

多层神经网络在初始特征空间的每个区域中选择一些紧凑的模式集，而非参考模式。当模式集合在神经网络输入处具有多峰分布时，这些紧凑集可以通过多维特征空间中由等分布概率函数值线（在特定水平上）形成的一些区域来表征。这些区域的数量和复杂度共同表征了所解决问题的复杂度。确定性神经网络模型可被视为概率模型的一个特例，它本质上实现了有限数量多维向量的存储系统。

在这部分内容中，多层神经网络在初始特征空间中实现的区域数量被视为该神经网络的质量准则。上述具有顺序连接的多层神经网络的质量随着层数和每层神经元数量的增加而提高。因此，神经网络优化问题（最小化层数和神经元数量）的提出，要么是为了消除神经元数量的冗余，要么是在神经元数量受限的情况下进行。

下面主要关注具有全交叉连接的多层神经网络。在这种情况下，第 j 层的特征集由初始空间的特征以及第一层、第二层和第 (j - 1) 层的输入信号组成。对于这样的神经网络，结构优化问题是相关的。

3 交叉连接神经网络的