6、反向传播神经网络参数选择与算法变体详解

反向传播神经网络参数选择与算法变体详解

反向传播神经网络（BPN）在众多领域都有广泛应用，其性能受到多种参数和算法变体的影响。下面将详细介绍BPN中各种参数的选择以及标准反向传播算法的变体。

1. BPN中各种参数的选择

1.1 隐藏节点数量

输入层和输出层的节点数量由具体问题决定，但隐藏节点数量的确定没有通用标准。选择原则是在不影响网络性能的前提下，尽量减少节点数量，以降低存储权重所需的内存。
- 理论依据 ：
- Mirchandani和Cao证明输入空间中可分离区域的数量M与BPN中隐藏节点数量H的关系为H = M - 1。
- Huang和Huang通过实验发现，为实现二元值函数，最优隐藏神经元数量为H = K - 1，其中K是学习集中元素的数量，且这也是实现由K个元素定义的任意实值函数所需隐藏神经元数量的最小上界。
- 实际考虑 ：当隐藏节点数量等于训练模式数量时，学习速度可能最快，但网络会失去泛化能力。因此，为保证泛化能力，隐藏节点数量应远小于训练模式数量，例如比例为10:1。
- 基于Vapnik - Chervonenkis维度（VCdim）的估计 ：BPN的VCdim大致等于其权重数量，即l1 l2 + l2 l3，其中l1和l3分别表示输入和输出节点，l2表示隐藏节点。假设训练样本T大于VCdim，若接受10:1的比例，可通过以下公式计算l2的值：
- 10*T = （具体公式未完整给出）
- l2 = （具体公式未完整给出）

1.