17、集成学习方法：Bagging与Boosting详解

集成学习方法：Bagging与Boosting详解

1. 集成学习方法概述

集成学习方法能够将多个模型的得分合并为一个单一得分，从而创建一个强大的通用模型。总体而言，集成学习方法主要分为以下两类：
1. 组合相似类型的多个模型 ：
- Bagging（自助聚合）
- Boosting（提升）
2. 组合不同类型的多个模型 ：
- 投票分类
- 混合或堆叠

2. Bagging方法

2.1 Bagging原理

Bagging，即自助聚合，由Leo Breiman在1994年提出，是一种用于减少模型方差的模型聚合技术。其具体步骤如下：
1. 生成自助样本 ：将训练数据分割成多个带放回的样本，称为自助样本。自助样本的大小与原始样本大小相同，其中约3/4是原始值，由于放回操作会导致值的重复。
2. 构建独立模型 ：在每个自助样本上构建独立的模型。
3. 生成最终模型 ：对于回归问题，取所有模型预测值的平均值；对于分类问题，采用多数投票的方式，得到最终模型。

2.2 Bagging代码示例

以下是比较独立决策树模型和包含100棵树的Bagging决策树模型性能的代码：