32、径向基函数网络：原理、训练与应用

径向基函数网络：原理、训练与应用

1. 引言

径向基函数（RBF）网络与传统的前馈网络在架构上有着本质的区别。前馈网络中，输入信号按层依次向前传递，通过多层激活函数的复合实现非线性映射，可能具有多个层次。而RBF网络通常仅包含输入层、单个隐藏层（由RBF函数定义其特殊行为）和输出层。尽管可以用多个前馈层替代输出层，但得到的网络仍然较浅，其性能主要受特殊隐藏层的影响。为简化讨论，这里仅考虑单个输出层。输入层不进行实际计算，仅负责传递输入信号。隐藏层的计算方式与前馈网络截然不同，它基于与原型向量的比较进行计算，这在前馈网络中没有直接对应的操作。隐藏层的结构和计算方式是RBF网络强大性能的关键。

隐藏层和输出层的功能差异如下：
- 隐藏层 ：接收可能不具有线性可分类别结构的输入点，将其转换到一个（通常）线性可分的新空间。为确保线性可分性，隐藏层的维度通常高于输入层，这基于Cover的模式可分性定理，即通过非线性变换将模式分类问题映射到高维空间时，更有可能实现线性可分。某些特征代表空间中小局部性的变换更易导致线性可分。隐藏层的维度通常大于输入维度，但不超过训练点的数量。当隐藏层维度等于训练点数量时，该方法大致等同于核学习器，如核回归和核支持向量机。
- 输出层 ：对来自隐藏层的输入进行线性分类或回归建模。隐藏层与输出层之间的连接带有权重，输出层的计算方式与标准前馈网络相同。为简化，这里仅考虑单个前馈层的情况。

RBF网络是核分类和回归的推广，其特殊情况可用于实现核回归、最小二乘核分类和核支持向量机，区别在于输出层和损失函数的结构。在前馈网络中，通过增加深度来增强非线性；而在RBF网络中，由于其