33、径向基函数网络：原理、训练与应用

径向基函数网络：原理、训练与应用

1. 径向基函数网络的训练方法

1.1 小批量梯度下降

在径向基函数网络（RBF Network）的训练中，可以选择使用小批量梯度下降（mini - batch gradient descent）。在更新过程中，矩阵 $H$ 可以用其随机行子集 $H_r$ 替代，这与传统神经网络中的小批量随机梯度下降类似，但这里仅应用于输出层连接的权重更新。

1.2 伪逆表达式

当正则化参数 $\lambda$ 设为 0 时，权重向量 $W$ 可由以下公式定义：
$W^T = (H^T H)^{-1}H^T y$
矩阵 $(H^T H)^{-1}H^T$ 被称为矩阵 $H$ 的伪逆，记为 $H^+$，所以权重向量 $W^T$ 也可写为 $W^T = H^+ y$。

伪逆是对非奇异或矩形矩阵逆的概念的推广。即使 $H^T H$ 不可逆，也能计算 $H$ 的伪逆；当 $H$ 为可逆方阵时，其伪逆就是它的逆。

1.3 正交最小二乘法

正交最小二乘法（Orthogonal Least - Squares Algorithm）用于隐藏层的训练，该训练过程具有一定的监督性，通过输出层的预测来选择原型。具体步骤如下：
1. 构建只有一个隐藏节点的 RBF 网络，尝试将每个训练点作为原型，计算预测误差，选择使误差最小的点作为原型。
2. 在下一次迭代中，增加一个原型，构建具有两个原型的 RBF 网络，尝试剩余的 $(n - 1)$ 个训练点作为新原型，选择使预测误差最小的点加入原型集。
3. 在第 $(r + 1)$ 次迭代中，尝试所有剩