11、神经网络的经验学习：原理、算法与优化策略

神经网络的经验学习：原理、算法与优化策略

1. 传统神经网络的局限性

在神经网络（NN）中，网络规模的决策往往未充分考虑所得模型的准确性和光滑性。一方面，若网络规模过大，可能导致模型不必要的复杂和不光滑，如径向基函数网络（RBFNs）的正则化方法，为每个可用数据点分配一个基函数。另一方面，由于网络结构的随意性，模型的准确性可能较差。通过额外的经验（测试）数据进行验证，会发现网络效率低下，从而导致 NN 算法的步骤 2 和 3 之间反复进行试错测试。这表明 NN 算法最初并不能保证近似函数的准确性和光滑性。

随着数据量的增加和 NN 寻找最优系数值，由于网络结构的随意性，所选网络的近似误差可能任意大。只要不允许结构自适应，模型与真实函数之间的差距就无法缩小。若初始对空间 (G) 的选择不当，仅调整系数值（减少估计误差）并不能解决问题。虽然有一些关于优化网络结构的工作，但这些工作主要在初始阶段进行，且未考虑学习阶段的结构自适应。

2. 学习问题的提出

为确保近似函数的准确性和光滑性，解决方案算法需允许模型（本质上是其规模）随数据动态演变。这不仅需要新算法，还需要新的问题定义。新问题被称为学习问题，定义如下：

在每个时刻 (l)，设 (Z_l = {(x_i, y_i) \in R^k \times R | i = 1, 2, \ldots, l}) 是一组根据未知概率分布 (P(x, y)) 抽取的数据，(G_l) 是一个函数空间。找到一个属于 (G_l) 的函数 (g_l(x): X \to Y)，使经验风险 (l_{emp}(g)) 最小化。

问题中所有变量具有“时间”连续性，由以下关系表示：
- (Z_l