13、不确定性下的集成学习：ELM算法与基于上积分的多分类器融合

不确定性下的集成学习：ELM算法与基于上积分的多分类器融合

在机器学习领域，处理不确定性和提高分类性能是重要的研究方向。本文将介绍ELM算法以及基于上积分的多分类器融合方法，包括相关概念、模型构建和实验结果。

1. ELM算法

ELM（Extreme Learning Machine）算法是一种单隐层前馈神经网络（SLFNs）的训练方法，其输入为训练数据集 $T = {(x_i, y_i)|x_i \in R^d, y_i \in R^k, i = 1, 2, …, n}$、激活函数 $g$ 和隐藏节点数 $m$，输出为权重矩阵 $\beta$。具体步骤如下：

Algorithm 5.4: ELM Algorithm
Input: Training data set T = {(xi, yi)|xi ∈Rd, yi ∈Rk, i = 1, 2, . . . , n}, an
activation function g, and the number of hidden nodes m.
Output: weights matrix β.
1 for (j = 1; j ≤m; j = j + 1) do
2
Randomly assign input weights wj;
3 end
4 Calculate the hidden layer output matrix H;
5 Calculate output weights matrix β = H†Y ;
6 Output β.

通常情况下，隐藏节点数远小于训练样本数，因此矩阵 $H$ 是非方阵，无法期望得到系统的精确