7、稀疏极限学习机与极端潜在表示学习算法解析

稀疏极限学习机与极端潜在表示学习算法解析

在机器学习领域，高效的训练算法和优质的特征表示对于模型的性能至关重要。本文将介绍稀疏极限学习机（sparse ELM）的快速训练算法（FTA - sELM）以及极端潜在表示（ELR）学习模型，探讨它们在分类和特征表示方面的优势和实现方法。

稀疏极限学习机的快速训练算法

稀疏极限学习机本质上是一个二次规划（QP）问题，类似于传统的支持向量机（SVM），可以使用一些迭代计算策略来搜索最优解。然而，之前提出的原始算法在每次迭代中只更新一个拉格朗日乘子，这可能导致需要更多的迭代次数来搜索最优解，从而使训练过程变得耗时。

迭代策略

新算法与之前的算法不同，在当前迭代中同时选择两个拉格朗日乘子进行更新。具体来说，将稀疏ELM的大QP问题划分为一系列二维子QP问题，并在每个子问题中使用牛顿法来获得最优解。这种方案将加快求解过程，并比之前的算法使用更少的迭代次数来近似达到优化问题的全局最优解。

假设在当前迭代中选择 $\alpha_a$ 和 $\alpha_b$ 进行更新，则目标函数 $LDs$ 关于 $\alpha_a$ 和 $\alpha_b$ 的梯度向量和海森矩阵分别为：
[
(\nabla LD_s)(a,b) =
\begin{bmatrix}
t_a f(x_a) - 1 \
t_b f(x_b) - 1
\end{bmatrix},
(\nabla^2 LD_s)(a,b) =
\begin{bmatrix}
G(a,a) & G(a,b) \
G(a,b) & G(b,b)