20、投票集成分类器的诱导方法解析

投票集成分类器的诱导方法解析

1. 引言

在分类器集成领域，为了提升分类性能，人们提出了多种方法。Bagging 方法虽然常能取得不错的结果，但存在分类器相互独立诱导的缺点。而 Schapire’s Boosting 和 Adaboost 这两种方法则致力于让分类器相互补充，从而提高整体性能。

2. Schapire’s Boosting

2.1 诱导三个互补分类器

Schapire’s Boosting 的核心思想是让分类器相互补充。具体步骤如下：
- 随机创建一个包含 m 个训练示例的子集 T1，用它诱导出第一个分类器 C1。
- 测试 C1 在整个训练集 T 上的表现，会发现有一些示例被错误分类。
- 创建第二个训练子集 T2，确保 C1 对 T2 中 50%的示例分类正确，另外 50%分类错误。从 T2 诱导出第二个分类器 C2。
- 由于 C1 和 C2 是从不同示例诱导出来的，它们对某些实例的标记可能不同，所以需要一个决断机制。创建第三个训练子集 T3，它只包含 C1 和 C2 分类结果不同的示例，从 T3 诱导出第三个分类器 C3。

以下是 Schapire’s Boosting 的算法伪代码：
|步骤|操作|
| ---- | ---- |
|输入|训练集 T 和用户选择的诱导技术|
|1|创建随机训练子集 T1，从中诱导分类器 C1|
|2|创建训练子集 T2，使 C1 在 T2 上的准确率为 50%，并从中诱导分类器 C2|
|3|创建 T3，使得 C1 和 C2 对 T3 中每个示例的分类结果不同，从中诱导分类器