（《机器学习》完整版系列）第8章 集成学习——8.6 级联集成（Stacking算法、其他级联）

假定已经训练出一组学习器，那么，可以由这组学习器的输出结果作为样本，再以此训练出一个学习器，这就形成了二级级联形式。
将投票视为一级，则基于投票法的算法（如，AdaBoost）也是级联。

级联集成

投票是一种常用的集成策略，另一种常见的集成策略是级联集成

Stacking算法

对于数据集$D$，假定已经训练出一组学习器$h_1,h_2,\cdots ,h_T$，那么，可以由这组学习器的输出结果作为样本，再以此训练出一个学习器，这就形成了二级级联形式。 第二级（次级）的训练如图8.1所示。

[图8.1 第二级（次级）的训练

【西瓜书图8.9】所示的Stacking算法分为三大步：

（1）用训练集$D$训练出一组学习器（初级学习器）$h_t$，第1-3句。

（2）用这组学习器去预测$D$中的样本${\mathbf{x}}_i$，生成另一空间中的样本${\mathbf{z}}_i$（参见图8.1左半部分），将这个样本组装成样例$({\mathbf{z}}_i,y_i)$，其中$y_i$，源于原样例$({\mathbf{x}}_i,y_i)$。 则由$D$生成了新样例集$D^{\prime }$，即第4-10句。

（3）在$D^{\prime }$上训练出一个学习器（次级学习器）$h$（参见图8.1右半部分），即第11句。

易注意到，上述算法中在各初级学习器和次级学习器中均使用同一数据集$D$，这种反复使用会导致过拟合问题。 借助交叉验证【西瓜书第2.2.2节】的思路，我们可以解决这个问题。

设
D = D 1 ∪ D 2 ∪ ⋯ ∪ D k = D j ∪ D ‾ j \begin{align} D & =D_1\cup D_2\cup \cdots \cup D_k\notag \\ & =D_j\cup \overline{D}_j \tag{8.43} \end{align} D​