集成学习：Bagging

00&00

已于 2024-12-23 20:05:12 修改

阅读量1.2k

点赞数 30

分类专栏：人工智能文章标签：集成学习机器学习

于 2024-12-23 20:03:47 首次发布

本文链接：https://blog.youkuaiyun.com/Wei_sx/article/details/144675585

版权

人工智能专栏收录该内容

223 篇文章

订阅专栏

装袋（Bagging，全称为Bootstrap Aggregating）是一种重要的集成学习方法，其主要目的是通过将多个模型的预测结合起来，提高整体模型的准确性和稳定性。装袋方法特别适用于高方差模型，如决策树，能够有效防止过拟合。

一、装袋的基本原理

装袋的基本思想是通过对原始训练数据集进行随机抽样来生成多个不同的训练子集，然后在这些子集上独立地训练多个基学习器，最后将这些基学习器的预测结果以某种方式组合起来，通常使用投票（分类问题）或平均（回归问题）。

二、装袋的具体步骤

装袋方法可以描述为以下几个步骤：

步骤 1: 数据抽样

从原始训练集 $S$ 中随机抽取 $m$ 个样本，生成一个新子集 $S_1$ 。这一过程称为Bootstrap抽，每次抽样时允许重复抽取（有放回抽样）。
重复此过程 $B$ 次，生成 $B$ 个训练子集 $S_1, S_2, \ldots, S_B$ 。

步骤 2: 训练基学习器

在每个训练子集上独立训练一个基学习器（通常是同一种类型的模型，例如决策树）：
         $M_1$ 在 $S_1$ 上训练
        在 $S_2$ 上训练 $M_2$
                ...
         $M_B$ 在 $S_B$ 上训练

步骤 3: 整合预测

分类问题：对每个待预测样本，基于所有基学习器的投票结果确定最终类别。一般而言，选择票数最多的类别。
回归问题：对每个待预测样本，计算所有基学习器的预测平均值作为最终预测结果。

三、装袋的优缺点

1. 优点

        减少方差：通过构建多个模型并取平均或投票，装袋有效减少了模型的方差，从而降低了过拟合的风险。
        提高稳定性：在数据中存在噪声或异常值的情况下，集成学习通过多模型的预测可以提高整体的鲁棒性。
        能够并行处理：由于每个基学习器是在独立的训练子集上训练，装袋的计算过程可以很容易地并行化，从而加速训练过程。

2. 缺点

计算开销：由于需要训练多个模型，因此计算资源和时间的开销较大。
无助于降低偏差：对于模型本身的偏差（如简单模型），装袋无法改善预测结果，只有在基学习器有一定的泛化能力时效果才明显。

四、典型算法：随机森林（Random Forest）

随机森林是一种强大的集成学习方法，属于Bagging（Bootstrap Aggregating）类，通过构建多个决策树并结合它们的预测结果来提高分类和回归的准确性与稳定性。其广泛应用于多个领域，因其性能优越和鲁棒性强而受到青睐。

1. 基本原理

随机森林的主要思路是通过结构化的方式构建多棵决策树，然后将这些树的预测结果进行整合。

1.1 训练过程

1.1.1 Bootstrap抽样：

从原始数据集中有放回地随机抽样，创建多个子集。每个训练子集的样本量通常与原始数据集相同，但因有放回抽样，同一数据点可能在不同子集中重复出现。

1.1.2 构建决策树

对于每棵随机森林中的决策树，在树的每个分裂节点，不是考虑所有特征，而是随机选择一部分特征来进行节点分裂。这种随机性帮助增加了模型的多样性。
构建一棵树到达预定条件（如最大深度、最小样本数），形成一组决策树。

1.2 预测过程

分类问题：每棵树进行投票，最终选择票数最多的类别作为随机森林的预测结果。
回归问题：对每棵树的预测结果取平均值，作为最终的回归预测。

2. 优势与劣势

2.1 优势

        高准确率：通过集成多棵树的结果，提高了模型的准确性。
        抗过拟合：随机选择样本和特征减少了模型的方差，降低了过拟合的风险。
        特征重要性评估：随机森林可以评估各特征对结果的贡献，便于特征选择和理解模型。
        适用于大数据集：能够处理大量样本和特征的数据集，尤其适合高维空间。

2.2 劣势

        计算开销大：构建多棵树需要大量计算，尤其是在数据集规模较大时。
        模型解释性差：尽管单棵决策树易于解释，随机森林模型却较难提供清晰的解释。
        存储需求高：需要更多内存来保存多棵决策树的模型。

3. 参数配置

使用随机森林时，有几个关键参数需要调整以优化模型的性能：

        n_estimators：森林中树的数量，更多的树通常能够带来更稳定的预测。
        max_features：在寻找最佳分裂时考虑的特征数量，通常设置为特征总数的平方根（如 'sqrt' 表示平方根特征数，'log2' 表示对数特征数）。
        max_depth：树的最大深度，限制树的深度以防止过拟合，默认为 `None`（树扩展到所有叶子节点尽可能纯净）。
        min_samples_split：一个节点需要分裂所需的最小样本数，默认值为 2。
        min_samples_leaf：叶子节点所需的最小样本数。

`random_state`：控制随机性，确保结果可复现。

4. 实现与工具

随机森林可以通过多个机器学习库进行实现，以下是一些流行的库：

        Scikit-learn：Python中的流行机器学习库，提供简单易用的随机森林模型实现。
        R中的randomForest包：R语言的经典包之一，提供随机森林模型的建模与分析功能。
        其他库：如XGBoost和LightGBM也包含随机森林的实现，尽管它们主要针对提升树。

`RandomForestClassifier` 是 scikit-learn 库中的一个组件，专门用于设计和实现随机森林模型进行分类任务。它通过构建多个决策树并结合这些树的输出，以投票的方式综合各树的预测结果，从而提高整体预测的准确性和稳定性。接下来，我们将详细介绍 `RandomForestClassifier` 模型的各个方面，包括如何使用它、参数设置、性能评估等。

在 Python 中使用 `RandomForestClassifier` 创建和训练模型非常简单。以下是详细步骤。

4.1 安装 scikit-learn

确保已安装 scikit-learn 库：
pip install scikit-learn

4.2 导入相关库和准备数据

首先，导入相关库并准备数据集。例如，我们可以使用 Iris 数据集：

import numpy as np  
from sklearn.datasets import load_iris  
from sklearn.model_selection import train_test_split  
from sklearn.ensemble import RandomForestClassifier  
from sklearn.metrics import accuracy_score, confusion_matrix

4.3 加载数据集

# 加载数据  
data = load_iris()  
X = data.data  # 特征  
y = data.target  # 标签  

# 划分训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

4.4 创建和训练 `RandomForestClassifier`

# 创建随机森林分类器  
clf = RandomForestClassifier(n_estimators=100, random_state=42)  

# 训练模型  
clf.fit(X_train, y_train)

4.5 进行预测

# 进行预测  
y_pred = clf.predict(X_test)  

# 输出预测结果  
print("Predicted labels:", y_pred)

4.6 评估模型性能

使用准确率和混淆矩阵来评估模型的性能：

# 计算准确率  
accuracy = accuracy_score(y_test, y_pred)  
print("Accuracy:", accuracy)  

# 生成混淆矩阵  
conf_matrix = confusion_matrix(y_test, y_pred)  
print("Confusion Matrix:\n", conf_matrix)