19、神经网络训练与泛化能力提升

神经网络训练与泛化能力提升

1. 数据与网络训练的基本要求

在神经网络训练中，数据的统计特性至关重要。若训练数据的纵坐标值大于给定数值，对应的多项式未必能对具有大纵坐标的横坐标给出精确近似，即便数据无误差。为使网络得到良好训练，训练数据（样本）的统计特性应与实际问题数据（总体）的统计特性相近，验证数据（另一样本）的统计特性也应如此。

网络模型的规模和类型取决于用于训练的数据量，二者相互关联。具有大量待确定权重和偏置的模型通常需要大量训练数据，否则可能出现过拟合现象，即模型在训练时表现良好，但在处理非训练数据时效果不佳。相反，与训练数据集规模相比权重过少的模型可能训练缓慢甚至无法训练。通常应选择在测试数据上训练良好且表现令人满意的最小网络。

网络的鲁棒性也是需要考虑的因素，例如多层前馈（MLFF）网络的误差概率会随层数增加而上升。在网络应用阶段，若遇到新类型的数据，网络可能无法产生预期输出，这可能是由于新数据特性与训练数据不同，或新数据来自与训练数据不同的分布。此时，可将新数据添加到训练集和验证集中并重新训练网络。

2. 网络泛化能力的衡量与提升

网络泛化能力的提升可分为两个阶段：检测和衡量泛化误差，以及通过改进泛化来降低误差。以下是几种常见的衡量和提升方法：

2.1 泛化能力的量化衡量

泛化的量化衡量旨在预测网络在实际问题数据上的表现。若网络的泛化能力无法界定或估计，则难以可靠地用于未知问题数据。以Mehrotra等人（1991）提出的方法为例，对于具有N1个输入的MLFF网络，假设需确定W个权重和偏置值。若将每个输入维度划分为K个区间，则在N1维空间中会有K^N1个均匀分布的超立方体。为使训练数据均匀分布，