32、高效鲁棒回归的极限学习机

高效鲁棒回归的极限学习机

1. 引言

近年来，极限学习机（ELM）作为一种新型的单隐层前馈网络，在众多领域得到了广泛关注。与传统前馈网络不同，ELM的输入权重和隐层偏置可以随机分配，仅需确定输出权重，且可通过简单的线性回归算法实现。ELM具有学习速度快的优势，能在极短时间内达到与BP和SVM相当的泛化性能。

然而，ELM也存在一些问题。由于其通常包含大量隐层节点，可能导致不适定问题，并产生较大的输出权重，从而削弱模型的泛化能力。为解决这一问题，可采用正则化方法，如截断奇异值分解和Tikhonov型正则化。

除正则化方法外，贝叶斯方法也是提升ELM性能的可选方案。与正则化方法相比，贝叶斯方法能利用训练数据自动估计模型参数，避免了计算成本高昂的交叉验证。但现有的贝叶斯ELM（BELM）假设模型误差为高斯噪声，对异常值的鲁棒性较差。

为解决上述问题，本文提出了一种鲁棒极限学习机（RELM），结合了贝叶斯框架和Huber损失函数的优势。基本思路是在模型训练中采用贝叶斯方法，并在估计输出权重时用Huber损失函数替代二次损失函数，以增强模型的鲁棒性。同时，使用迭代重加权最小二乘法（IRWLS）将Huber损失函数等效转换为二次损失函数，从而实现参数的自动估计。

2. 贝叶斯极限学习机基础

2.1 极限学习机（ELM）

ELM源于单隐层前馈网络，其隐层节点和偏置随机生成。对于N个任意不同的样本$(x_i, t_i)$，具有L个隐层节点的ELM方程可表示为：
$\sum_{j=1}^{L} w_j g(\tilde{w}_j^T x_i + b_j) + e_i = t_i, i = 1, …,