8、如何生成不同的神经网络

如何生成不同的神经网络

1. 引言

在监督学习中，处理偏差 - 方差权衡问题有两种方法。一种是通过负相关学习设计神经网络集成，可结合或不结合自助法；另一种是从学习到的神经网络集成中训练单个神经网络。

交叉验证常用于估计神经网络的性能，m 折交叉验证的步骤如下：
1. 将数据分成 m 个大致相等的部分。
2. 对于第 i 部分，用其他 (m - 1) 部分的数据训练神经网络，并计算训练好的神经网络对第 i 部分数据的预测误差。
3. 对 i 从 1 到 m 重复上述步骤，并合并 m 个预测误差估计值。

交叉验证也可用于创建一组网络，将数据分成 m 个大致相等的部分，独立训练每个网络。当数据集小且有噪声时，这种独立性有助于大幅降低 m 个网络之间的相关性。

当需要更大的独立网络集时，如果没有更多数据，将训练数据分成不重叠的部分可能导致每个数据部分太小而无法训练网络，此时可使用数据重用方法，如自助法。自助法是一种基于计算机的方法，用于估计统计量 s(x) 的标准误差。从原始数据集中生成 B 个自助样本，每个样本有 n 个元素，通过从原始数据集中有放回地采样 n 次得到。在每个自助样本上计算统计量 s(x) 的值，得到自助重复值 s(x∗1), s(x∗2), …, s(x∗B)，最后这些值的标准差就是 s(x) 标准误差的估计值。自助法的思想已用于装袋预测器中。

装袋预测器的一个缺点是学习过程中各个网络之间缺乏交互，独立训练的神经网络的误差可能仍呈正相关，这会削弱组合结果。为使各个神经网络去相关，可使用负相关学习训练每个神经网络。

与单个神经网络相比，神经网络集成学习通常性能更好，但架构更复杂，执