38、径向基函数网络：原理、训练与应用

径向基函数网络：原理、训练与应用

1. 径向基函数网络概述

径向基函数（RBF）网络在机器学习领域具有重要地位，与核方法相比，它展现出更强的能力和更高的灵活性。在实际应用中，何时选择 RBF 网络是一个关键问题。

RBF 网络的隐藏层以无监督的方式创建，这使得它对各种类型的噪声具有较强的鲁棒性。而前馈网络随着深度的增加，对噪声的影响会变得更加敏感。不过，RBF 网络在学习数据结构方面存在一定的局限性。深度前馈网络在处理具有丰富结构的数据时表现出色，因为其多层非线性激活函数使网络能够学习特定类型的模式。此外，通过调整连接结构，可以将特定领域的见解融入前馈网络，如循环神经网络和卷积神经网络。总的来说，RBF 网络更适合处理结构有限且含有噪声的数据，而深度前馈网络则适用于结构丰富但噪声相对较少的数据。

2. 训练 RBF 网络

RBF 网络的训练与前馈网络有很大不同，前馈网络在不同层之间是完全集成的，而 RBF 网络的隐藏层训练通常采用无监督方式。虽然原则上可以使用反向传播来训练原型向量和带宽，但与前馈网络相比，RBF 网络的损失表面上存在更多的局部最小值。因此，隐藏层的监督（如果使用）通常比较温和，或者仅限于对已经学习到的权重进行微调。由于隐藏层的有监督训练容易出现过拟合问题，下面主要讨论无监督训练方法，包括隐藏层和输出层的训练。

2.1 训练隐藏层

RBF 网络的隐藏层包含多个参数，如原型向量 $\mu_1, \ldots, \mu_m$ 和带宽 $\sigma_1, \ldots, \sigma_m$。超参数 $m$ 控制隐藏单元的数量。在实际应用中，通常为所有单元设置相同的带宽 $\sigma$，但不同隐藏单元