20、投票集成学习：Schapire提升法与Adaboost算法解析

投票集成学习：Schapire提升法与Adaboost算法解析

1. 引言

在机器学习的分类任务中，集成学习是一种强大的技术，它通过组合多个分类器来提高整体的分类性能。Bagging是一种常见的集成学习方法，但它存在一个严重的缺点，即每个分类器都是独立地从随机选择的数据中诱导出来的，缺乏分类器之间的互补性。为了克服这一问题，Schapire提升法和Adaboost算法应运而生。

2. Schapire提升法

2.1 诱导三个互补分类器

Schapire提升法的核心思想是让分类器相互补充，具体做法是从其他分类器认为困难的训练示例中诱导每个分类器。以下是诱导三个互补分类器的步骤：
1. 创建一个随机训练子集$T_1 \subseteq T$，其中包含$m$个训练示例，用这些示例诱导第一个分类器$C_1$。
2. 测试$C_1$在整个训练集$T$上的性能，会发现它会错误分类一定数量的示例。
3. 创建第二个训练子集$T_2 \subseteq T$，使其包含$m$个示例，且$C_1$在$T_2$上的正确率为50%。从$T_2$中诱导第二个分类器$C_2$。
4. 由于$C_1$和$C_2$是从不同的示例中诱导出来的，它们在标记某些实例时必然会有所不同。因此，创建第三个训练子集$T_3$，它只包含$C_1$和$C_2$标记不同的示例。从$T_3$中诱导第三个分类器$C_3$。

当一个示例被呈现时，主分类器收集三个分类器推荐的标签，然后返回获得更多投票的类别。理想情况下，每个训练集$T_i$的大小都为$m$。

Schapire提升法的算法伪代码如下：
| 步骤 | 操作 |