2、径向基函数网络学习的统计理论

径向基函数网络学习的统计理论

1. 引言

在监督学习范式中，有许多启发式技术可用于执行各种任务，例如优化训练、选择合适大小的网络，以及预测达到特定泛化性能所需的数据量。本文旨在以理论为基础，深入探讨径向基函数（RBF）网络的这些问题。我们将关注使用交叉验证选择网络大小、网络增长、正则化以及计算平均和最坏情况下的泛化性能等问题。考虑两种RBF训练范式：一种是基于数据的统计属性固定隐藏单元；另一种是在训练期间隐藏单元持续自适应调整。我们还将探究学习过程随时间的演变，例如隐藏单元的专业化。

2. 径向基函数网络

RBF网络在许多实际任务中已取得成功，是多层感知器（MLP）的一种有价值替代方案。这些任务包括混沌时间序列预测、语音识别和数据分类等。此外，在有足够数量的隐藏单元时，RBF网络是连续函数的通用逼近器。

RBF网络是一个两层全连接网络，输入层不进行计算。为简单起见，我们在本文中使用单个输出节点，该节点计算隐藏单元输出的线性组合，由隐藏层和输出层之间的权重$w$参数化。RBF与其他神经网络的区别在于，基函数（隐藏单元的传递函数）是径向对称的。

一般RBF网络计算的函数形式为：
[f(\xi, w) = \sum_{b = 1}^{K} w_{b} s_{b}(\xi)]
其中，$\xi$是应用于输入单元的向量，$s_{b}$表示基函数$b$。

基函数最常见的选择是高斯函数，此时计算的函数变为：
[f(\xi, w) = \sum_{b = 1}^{K} w_{b} \exp\left(-\frac{|\xi - m_{b}|^{2}}{2\sigma_{b}^{2}}\right)]