BP神经网络设计常用的基本方法和实用技术

尽管神经网络的研究和应用已经取得巨大成功，但在网络的开发设计方面至今仍没有一套完善的理论做指导，应用中采取的主要设计方法是，在充分了解待解决问题的基础上将经验与试探相结合，通过多次改进性试验，最终选出一个较好的设计方案。下面是在开发神经网络中常用的基本方法和实用技术。

（1）  网络信息容量与训练样本数

多层神经网络的分类能力与网络信息容量相关，如果网络的权值和阈值总数nw表征网络信息容量，研究表明，训练样本数N与给定的训练误差ε之间应满足以下匹配关系：

N = nw / ε.

上式表明网络的信息容量与训练样本数之间存在合理匹配关系。在解决实际问题时，训练样本数常常难以满足以上要求。对于确定的样本数，网络参数太少则不足以表达样本中所蕴含的全部规律即发生欠拟合；而网络参数太多，则可能发生过拟合，造成网络的泛化能力减弱。所以，通过上式根据设定的网络结构和误差要求，可以评估一下大致需要多少训练样本。