35、径向基函数网络与受限玻尔兹曼机：原理、应用与挑战

径向基函数网络与受限玻尔兹曼机：原理、应用与挑战

1. 径向基函数网络（RBF）

径向基函数网络（RBF）是一种独特的神经网络架构，与前馈网络在训练方式上有所不同。其隐藏层采用无监督学习，输出层则是有监督学习，且隐藏层节点数量通常多于输入层。其核心思想是通过局部敏感变换将数据点转换到高维空间，使变换后的点线性可分。

1.1 RBF网络与核SVM的关系

RBF网络的预测函数与核支持向量机（SVM）的预测函数形式相似：
核SVM的预测函数为：
$\hat{y} {kernel_i} = sign\left{\sum {j=1}^{n} \lambda_j y_j K(X_i, X_j)\right}$
通过设置$w_j = \lambda_j y_j$，两者在损失函数值上能得到相同结果，这表明核SVM是RBF网络的一个特例。

1.2 RBF网络模拟核方法

RBF网络可以通过选择合适的损失函数模拟几乎任何核方法，如核Fisher判别和核逻辑回归。与核回归或分类相比，RBF网络具有更高的灵活性，例如在选择隐藏层节点数量和原型数量方面。但在选择这些参数时，需要考虑以下权衡：
- 增加隐藏单元数量会增加模型函数的复杂度，对于复杂函数建模可能有用，但如果模型函数并非真正复杂，可能会导致过拟合。
- 增加隐藏单元数量会增加训练的复杂度。

一种选择隐藏单元数量的方法是留出一部分数据，用不同数量的隐藏单元在留出集上估计模型的准确率，然后将隐藏单元数量设置为使准确率最优的值。

1.3 RBF网络的应用场景

RBF网络可用