17、集成学习方法：Bagging与Boosting详解

集成学习方法：Bagging与Boosting详解

1. 集成学习方法概述

集成学习方法能够将多个模型的得分合并为一个单一得分，从而创建一个稳健的通用模型。从高层次来看，集成学习方法主要分为以下两类：
- 组合相似类型的多个模型 ：
- Bagging（自助聚合）
- Boosting
- 组合不同类型的多个模型 ：
- 投票分类
- 混合或堆叠

2. Bagging方法

2.1 Bagging原理

Bagging，即自助聚合，由Leo Breiman在1994年提出，是一种减少模型方差的模型聚合技术。其过程如下：
1. 将训练数据分割成多个带有放回抽样的样本，称为自助样本。自助样本的大小与原始样本大小相同，其中约3/4是原始值，抽样过程会导致值的重复。
2. 在每个自助样本上构建独立的模型。
3. 对于回归问题，取预测值的平均值；对于分类问题，采用多数投票法来创建最终模型。

2.2 Bagging代码示例

以下是一个比较独立决策树模型和包含100棵树的Bagging决策树模型性能的代码示例：

# Bagged Decision Trees for Classification
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier