13、神经网络训练算法评估与泛化能力提升

神经网络训练算法评估与泛化能力提升

1. 不同数据集下的算法性能评估

在神经网络训练中，不同的数据集和训练算法会呈现出不同的性能表现。我们将通过多个基准数据集来详细分析九种训练算法的性能。

1.1 SIN 数据集

这是一个简单的函数逼近问题，使用 1 - 5 - 1 网络，隐藏层采用 tansig 传递函数，输出层采用线性传递函数来逼近正弦波的一个周期。训练网络直到平方误差小于 0.002，每种算法进行 30 次不同的试验，每次试验使用不同的随机初始权重。
| Algorithm | Time (s) | Ratio | Min. Time (s) | Max. Time (s) | Std. (s) |
| — | — | — | — | — | — |
| LM | 1.14 | 1.00 | 0.65 | 1.83 | 0.38 |
| BFG | 5.22 | 4.58 | 3.17 | 14.38 | 2.08 |
| RP | 5.67 | 4.97 | 2.66 | 17.24 | 3.72 |
| SCG | 6.09 | 5.34 | 3.18 | 23.64 | 3.81 |
| CGB | 6.61 | 5.80 | 2.99 | 23.65 | 3.67 |
| CGF | 7.86 | 6.89 | 3.57 | 31.23 | 4.76 |
| CGP | 8.24 | 7.23 | 4.07 | 32.32 | 5.03 |
| OSS | 9.64 | 8.46 | 3.97 | 59.63 | 9.79 |
| GDX | 27.69