19、机器学习中的集成学习：Bagging与AdaBoost详解

机器学习中的集成学习：Bagging与AdaBoost详解

1. 集成学习与Bagging算法

在机器学习里，集成学习是一种强大的技术，能把多个弱学习器组合成一个强学习器，从而提升模型的性能。Bagging（Bootstrap Aggregating）便是其中一种重要的集成学习方法。

Bagging与多数投票分类器相关，但它并非使用相同的训练数据集来拟合集成中的各个分类器，而是从初始训练数据集中有放回地抽取自助样本（随机样本），这也是它被称为自助聚合的原因。

1.1 Bagging的基本概念

为了更直观地理解Bagging分类器的自助聚合过程，我们来看一个简单的例子。假设有7个不同的训练实例（用索引1 - 7表示），在每次Bagging轮次中，有放回地随机抽样。每个自助样本用于拟合一个分类器$C_j$，通常是未剪枝的决策树。

从这个例子可以看出，每个分类器接收来自训练数据集的随机子集。我们将通过Bagging获得的这些随机样本标记为Bagging轮次1、Bagging轮次2等。由于是有放回抽样，每个子集包含一定比例的重复样本，并且有些原始样本可能根本不会出现在重采样的数据集中。当各个分类器拟合到自助样本后，使用多数投票法来组合预测结果。

值得注意的是，Bagging与随机森林分类器有关。实际上，随机森林是Bagging的一个特例，在拟合各个决策树时，它还会使用随机特征子集。

1.2 Bagging在葡萄酒数据集分类中的应用

下面我们使用葡萄酒数据集来展示Bagging的实际应用。我们只考虑葡萄酒类别2和3，并选择两个特征：酒精含量（Alcohol）和稀释葡萄酒的OD280/