6、开环神经网络误差分布规律与二次优化功能选择

开环神经网络误差分布规律与二次优化功能选择

1. 开环神经网络误差分布规律

1.1 分析基础

开环神经网络分析的初始数据包括输入信号的给定分布密度和开环神经网络的结构。常见的开环神经网络结构有：具有两个解、$K_p$ 个解和连续解的神经元，以及非线性和多层神经网络。分析开环神经网络的目标是研究中间和输出神经网络信号的分布及其矩的表达式，这里主要关注神经网络误差的分布及其矩。

1.2 不同类型神经元误差分析

1.2.1 具有两个解的神经元

• 其变换形式可表示为特定形式（文中公式 7.1）。
• 模拟和离散神经元误差表达式为（文中公式 7.2）。
• 当 $K = 2$ 时，输入信号分布函数有特定形式（参考之前内容）。模拟误差分布为（公式 7.3），离散误差分布为（公式 7.4）。
• 模拟和离散误差的 $r$ 阶分布矩表达式分别为（公式 7.5 和 7.6）。
• 在 $c_1 = c_2 = 1$ 且 $b_1 - b_2 = b$ 的特定情况下，模拟误差分布和离散误差分布有相应变化，离散误差矩也有特定形式，且对于第一类和第二类模式集合有单独表达式。

1.2.2 具有连续解的神经元

• 在学习模式下，其变换形式有特定表示。
• 当神经网络输入类连续时，信号 $\varepsilon(n)$ 和模拟输出信号 $g(n)$ 的联合分布有特定形式，神经网络模拟误差分布也可得出，进而可得到模拟误差的 $r$ 阶矩表达式（公式 7.7）。