9、基于遗传算法的神经网络学习方法研究

基于遗传算法的神经网络学习方法研究

1. 隐藏节点数量的确定

在神经网络的构建中，确定隐藏节点的数量是一个关键问题。有一种算法叫OLSGA，它在每次迭代时为径向基函数网络（RBFN）增加一个隐藏节点。通过监测网络规模增大时建模误差的变化，在算法的一次运行中就能确定最优的隐藏节点数量。

在模型选择方面，有很多基于统计测量的方法。其中比较流行的有赤池信息准则（AIC）和贝叶斯准则。以AIC为例，对于具有j个隐藏节点的RBFN，其AIC计算公式为：
[AIC(j) = N \cdot \log\left(\frac{|d|^2 - \sum_{k = 1}^{j}[\text{err}]_j}{N}\right) + 2j \cdot (2n + 1)]
最小的AIC代表着具有最大熵水平或最大似然的模型。在算法的每次迭代结束时监测AIC，当确定达到最小AIC时，就可以停止网络的增长。

此外，还可以采用启发式方法，通过监测训练误差或测试误差的变化来自动确定网络的规模。如果误差减少率小于预定义的值，就停止训练。误差减少率定义为增加一个隐藏节点时训练或测试误差的百分比变化。

值得注意的是，OLSGA能同时确定网络规模和参数，无需在训练前猜测需要多少个基函数节点，因此它被视为RBFN的一种混合结构 - 参数学习方案。

2. 性能评估

为了评估OLSGA的性能，将其应用于三个数值示例，并与OLS算法、Chng等人的AOLS算法以及现有的基于遗传算法的算法进行比较。

AOLS算法在实现时，将其迭代梯度下降方法替换为先进的Davidon - Fletcher - Powell方法，以提高性能。在O