9、径向基函数网络与语音识别中的权重初始化技术

径向基函数网络与语音识别中的权重初始化技术

1. 径向基函数网络的初始训练

1.1 逐步隐藏节点选择

训练径向基函数网络（RBFNs）的一种方法是在训练过程中逐个向网络添加隐藏单元。常见的算法如普通最小二乘法（OLS），它实际上是逐步回归的一种方式。不过，OLS的主要缺点是计算成本相对较高。这里介绍两种快速逐步回归方法用于隐藏单元选择，作为RBFNs的初始训练，即最大相关性（MCR）方法和局部误差最大化（LEM）方法。

MCR算法步骤如下：
1. 创建Q个候选隐藏单元。在本研究中，隐藏单元使用高斯激活函数。使用K - 均值聚类算法计算参考向量，将输入空间划分为K个聚类，聚类中心作为候选单元的参考向量。宽度参数根据启发式方程 $w_j = D^2/(q + 1)$（$j = 1, …, Q$）设置，其中D是给定问题（训练集）中任意两个输入模式之间的最大欧几里得距离。
2. 暂时不将候选单元连接到输出单元，此时输入到输出单元的唯一参数是偏置权重，设置偏置权重使网络输出为期望输出序列的均值。
3. 根据方程 $C_j = \frac{cov(y_{j,e}, \delta e)}{\sigma(y_{j,e})\sigma(\delta e)}$（$j = 1, …, Q$）计算每个候选单元的相关性，其中$cov(y_{j,e}, \delta e)$是第j个隐藏单元输出与网络输出误差的协方差，$\sigma(y_{j,e})$是第j个隐藏单元输出的标准差，$\sigma(\delta e)$是网络输出误差的标准差。
4. 找到最大绝对相关性$| C_j |$，将对应的隐藏单元连接到输出单元，并将候选隐藏单元数量Q减1。
5. 使用