21、机器学习中的集成学习与偏差探讨

机器学习中的集成学习与偏差探讨

1. 集成学习的多种变体

集成学习的核心思想是将多个有缺陷但能相互补充的分类器组合起来。Schapire 率先提出了具体的分类器诱导方法，其中装袋（bagging）和自适应提升（Adaboost）是最常见的方式。除此之外，还有许多其他变体。

1.1 属性集随机化

传统的提升方法通常从不同的训练子集诱导每个分类器，而属性集随机化则使用相同的训练示例，但每次用不同的属性子集来描述这些示例。具体操作如下：
- 输入为训练示例集 $T$ 和用于描述它们的属性集 $A$。
- 选择 $N$ 个随机属性子集 $A_i \subseteq A$。
- 第 $i$ 个分类器（$i \in [1, N]$）由 $T$ 中用 $A_i$ 描述的示例诱导得出。
- 分类器的输出通过加权多数投票组合，权重可通过感知机学习等方法获得。

这种方法适用于具有大量属性且多数属性可能无关或冗余的领域。使用价值较低的属性集诱导的分类器通常分类性能较差，会获得较低（甚至负）的权重。它还可以与经典装袋方法结合，为每个分类器使用不同的示例集和不同的属性集。

1.2 非同质提升

之前介绍的提升方法都假设单个分类器从略有不同的数据中诱导，但使用相同的诱导技术。非同质提升则相反，每个分类器从相同的数据中诱导，但使用不同的机器学习技术。分类器的输出同样通过加权多数投票组合。

非同质提升的主要优势在于它能减少两种类型的错误：
- 方差相关错误 ：不同的训练集可能诱导出不同的分类器，从而导致不同的错误，所有提升算法都能减少这种错