21、机器学习中的集成学习与偏差问题

机器学习中的集成学习与偏差问题

1. 集成学习中的提升主题变体

提升（Boosting）的核心思想是将多个相互补充的不完美分类器组合起来。除了常见的Bagging和Adaboost，还有许多提升主题的变体。

1.1 属性集随机化

通常的提升方法是从不同的训练子集诱导每个分类器，而属性集随机化则是使用相同的训练示例，但每次用不同的属性子集来描述这些示例。
- 具体操作 ：输入为训练示例集 $T$ 和描述它们的属性集 $A$。选择 $N$ 个随机属性子集 $A_i \subseteq A$，第 $i$ 个分类器从由 $A_i$ 中的属性描述的 $T$ 中的示例诱导得出。
- 优势 ：适用于具有大量属性且大多数属性可能无关或冗余的领域。使用价值较低的属性集诱导的分类器通常分类性能较差，会获得较低（甚至负）的权重。
- 与Bagging结合 ：对于每个分类器，可以同时使用不同的示例集和不同的属性集。

1.2 非同质提升

之前的提升方法假设各个分类器从略有不同的数据中诱导，但使用相同的诱导技术。非同质提升则相反，每个分类器从相同的数据中诱导，但使用不同的机器学习技术。分类器的输出通过加权多数投票组合。
- 误差减少优势 ：分类器的误差主要分为两类，一是数据方差导致的误差，不同训练集诱导的分类器会产生不同误差；二是分类器固有的偏差导致的误差，如线性分类器在处理高度非线性决策面时会误分类。非同质提升可以减少这两类误差，既减少方差相关误差（所有提升算法都能做到