8、神经网络算法原理与性能分析

神经网络算法原理与性能分析

1. 径向基函数网络（RBFNN）

1.1 宽度确定

在K-means聚类之后，RBFNN的宽度确定公式为：
[
\sigma_j = \tau||\mu_l - \mu_j||
]
其中，(\mu_l) 是 (\mu_j) 的最近邻，(\tau \in [1, 1.5])。之后进入第二阶段，使用梯度下降法学习权重值 (w_{kj})，或者通过求解公式来确定 (w_k)。

1.2 RBFNN的变体

1.2.1 归一化隐藏单元激活

Moody和Darken提出对隐藏单元激活进行归一化，公式如下：
[
y_{j,p}(z_p) = \frac{\Phi(||z_p - \mu_j||^2, \sigma_j)}{\sum_{l = 1}^{J} \Phi(||z_p - \mu_l||^2, \sigma_l)}
]
这引入了一个性质：
[
\sum_{j = 1}^{J} y_{j,p}(z_p) = 1, \quad \forall p = 1, \ldots, P_T
]
这意味着上述归一化表示隐藏单元 (j) 生成 (z_p) 的条件概率，该概率为：
[
P(j|z_p) = \frac{P_j(z_p)}{\sum_{l = 1}^{J} P_l(z_p)} = \frac{y_{j,p}(z_p)}{\sum_{l = 1}^{J} y_{l,p}(z_p)}
]

1.2.2 软竞争

Moody和Dar