13、多层神经网络信息特征选择与可靠性研究

多层神经网络信息特征选择与可靠性研究

1. 信息特征选择问题阐述

信息特征选择问题是模式识别理论中的独立问题，目前尚未完全解决。以下三个陈述构成了所提方法的基础：
- 通常认为在多层神经网络调整阶段之前进行初步信息特征选择的想法是错误的，因为训练好的多层神经网络已经在任何已知的选择过程中明确或隐含地存在。
- 只有为给定系统接受的主要优化准则才能作为特征信息性的准则。其他准则通常会引入额外的误差并限制其适用范围。
- 有必要选择在信息特征选择过程中最客观的多层神经网络类型，即在多层神经网络输入信号特征（类别数量、类别内分布复杂度）足够宽的变化范围内提供最优解。

信息特征选择问题最初被表述为从 N 个初始特征中选择 N1 个特征，这些选定的特征应提供最小的识别概率误差。也可以解释为选择提供给定正确识别概率的最小特征数量 N1。特征信息性准则的确定方法如下：假设 NN0、NN1 和 NN2 （神经网络）分别具有特征数量 N = N1 + N2、N1 和 N2，提供的正确识别概率为 P、P1 和 P2。如果 P1 > P2，则 N1 特征组比 N2 特征组更具信息性。若正确识别概率的增量 ∆P = P – P1 足以覆盖因添加 N2 特征导致系统复杂度增加的费用，则使用 N2 特征组是有用的。

这种信息特征选择问题的陈述在广泛的实际任务中得到应用。例如，在某些特定的特征信息性估计任务中，可以对四个特征组进行正确识别概率 Pcorr 的分析：(x1, …, xN)、((x1, …, xN) ∩ xi)、((x1, …, xN) ∩ xj) 和 ((x1, …, xN) ∩ (xi, xj))。

在全连接的多层神经网络的特定情况下，问