9、监督学习中的神经网络性能问题解析

监督学习中的神经网络性能问题解析

1. 计算复杂度与收敛性

1.1 计算复杂度的影响因素

神经网络（NN）的计算复杂度直接受以下因素影响：
- 网络架构 ：架构越大，训练后预测输出所需的前馈计算就越多，每次呈现模式时所需的学习计算也越多。
- 训练集大小 ：训练集越大，用于训练的模式就越多，因此每个周期的学习计算总数会增加。
- 优化方法的复杂度 ：为提高神经网络的准确性和收敛特性，已经开发了复杂的优化算法，但这种复杂性是以增加确定权重更新的计算复杂度为代价的。

训练时间通常用达到特定训练或泛化误差所需的周期数来量化。但在比较不同学习算法时，周期数通常不是训练时间或计算复杂度的准确估计，而应使用模式呈现的总数或权重更新次数。更准确的计算复杂度估计是计算训练期间的总计算次数。

1.2 收敛性

神经网络的收敛特性可以通过网络收敛到指定误差水平（通常考虑泛化误差）的能力来描述。网络收敛到特定误差的能力用在固定次数的模拟中成功达到该误差的次数来表示。虽然这是一种经验方法，但已经对某些网络类型进行了严格的理论分析。

2. 性能分析

对神经网络（或任何其他随机算法）的性能进行研究，仅基于一次模拟得出的结论是不完整和不确定的。关于神经网络性能的结论必须基于多次模拟的结果。每次模拟时，神经网络以新的随机初始权重开始，并使用与之前独立的不同训练、验证和泛化集。性能结果以所有模拟的平均值、方差或置信区间表示。

设 $\varrho$ 表示所考虑的性