基于热交换算法优化的混合核极限学习机(HKELM)的回归预测

基于热交换算法优化的混合核极限学习机(HKELM)的回归预测

1.HKELM原理

核极限学习机（KELM）是一种单隐含层前馈 神经网络，通过引入核函数改善极限学习机（ELM） 性能，其输出可表示为：
$$\begin{array}{rl}& f(x)=h(x)H^U{\left(\frac{Z}{C}+H{H}^U\right)}^{-1}U\\ & ={\left[\begin{array}{c}K\left(x,x_1\right)\\ ⋮\\ K\left(x,x_N\right)\end{array}\right]}^{\mathrm{U}}{\left(\frac{Z}{C}+W_{\text{ELM }}\right)}^{-1}U\end{array}$$

式中：$x$ —样本数据；$f(x)$ —模型输出；$h(x)$ —隐含层输人；$H$ —特征映射矩阵；$C$ —正则化参数；$Z$ —单位矩阵；$U$ —训练集目标向量；$K(x_0$ ， $x_p)$ 一核函数；$W_{ELM}$ 一核矩阵。

目前常用的核函数主要有线性、多项式、径向基、Sigmoid 等核函数。文章基于局部核函数 $RBF$ 和全局核函数 Poly 构建具有更好性能的混合核函数，使 KELM 拥有全局和局部两方面的优秀性能，RBF 与 Poly 函数描述如下：

$$\begin{array}{c}{K}_{RBF}\left(x_0,x_p\right)=\exp \left(-{\Vert x_0-x_p\Vert }^2/{\sigma }^2\right)\\ K_{\text{Poly }}\left(x_0,x_p\right)={\left(x_0,x_p+c_1\right)}^d\end{array}$$

式中：$s-RBF$ 核函数参数；$c_1、d-Poly$ 核函数参数。
由于 HKELM 是基于不同核函数的 KELM 线性组合，因此，基于 RBF、Poly 线性组合的混合核函数描述为：
$$K_H\left(x_0,x_p\right)=S{K}_{RBF}\left(x_0,x_p\right)+(1-S)K_{Pob}\left(x_0,x_p\right)$$

式中：$K_H\left(x_0,x_p\right)$ 一混合核函数；$s-RBF$ 核函数参数权重系数；$K_{RBF}\left(x_0,x_p\right)$ 、 $K_{\text{Poly }}\left(x_0,x_p\right)$ 一 RBF、Poly核函数。

将 $K_H\left(x_0,x_p\right)$ 代人输出函数可得到 HKELM模型。

2.预测问题求解

采用随机法产生训练集和测试集，其中训练集包含 1 900 个样 本，测试集包含 100 个样本。为了减少变量差异较大对模型性能的影响，在建立模型之前先对数据进行归一化。

3.基于热交换算法优化的HKELM

热交换算法原理请参考：https://blog.youkuaiyun.com/u011835903/article/details/114221597
由前文可知，HKELM的参数设置具有满目性。本文利用热交换算法对HKELM的参数进行优化。适应度函数设计为训练集的误差的MSE：
$$fitness=argmin(MS{E}_{pridect})$$

适应度函数选取训练后的MSE误差。MSE误差越小表明预测的数据与原始数据重合度越高。最终优化的输出为最佳初始权值和阈值。然后利用最佳初始权值阈值训练后的网络对测试数据集进行测试。

4.实验结果

5.Matlab代码