【集成算法】Bagging算法超详细解析

Bagging算法 集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合。 Bagging算法(英语:Bootstrap aggregating,引导聚集算法),又称装袋算法,是机器学习领域的一种团体学习算法。最初由Leo Breiman于1996年提出。Bagging算法可与其他分类、回归算法结合,提高... 阅读详情

集成算法——Bagging算法超详细解析(适合本科/研究生)

Bagging(Bootstrap Aggregating,自助聚合)是集成学习中最经典的Bagging类算法,核心思想是“多模型并行协作、综合决策”——通过自助采样生成多个独立子数据集,训练多个基学习器,最后用投票(分类)或平均(回归)聚合结果,从而降低单模型的方差、提升稳定性、防止过拟合。

它原理简单、易实现、可并行,是本科/研究生入门集成学习的核心知识点,其代表算法“随机森林”更是工业界的“万能模型”。本文将用通俗语言拆解核心概念、数学原理、算法流程,结合非线性数据集完整Python实战,分析优缺点与适用场景,内容可直接复制到优快云使用。

一、Bagging核心概念:用生活案例讲明白

1. Bagging是什么?——“多人独立决策,少数服从多数”

Bagging的核心逻辑类似“集体决策”,能让多个“表现中等”的独立模型(基学习器)合作,输出更稳健、更准确的结果:

  • 自助采样(Bootstrap):从原始数据中有放回地随机采样,生成多个不同的子数据集(每个子数据集大小与原始数据一致);
  • 独立训练:每个子数据集对应训练一个基学习器(通常是同种模型,如决策树),基学习器之间完全独立,无依赖关系;
  • 综合聚合:分类任务用“多数投票法”(票数最多的类别为结果),回归任务用“简单平均法”(所有预测值的均值为结果)。

2. 核心比喻:10个朋友帮你选房子

假设你要买房拿不定主意,找了10个背景不同、看问题角度各异的朋友帮忙,Bagging的决策流程如下:

  1. 自助采样:给每个朋友一份“部分房屋信息”(子数据集)——信息来自你提供的完整房源库,但每份信息有重叠(有放回采样)、有差异;
  2. 独立决策:每个朋友根据自己拿到的信息,独立给出“买”或“不买”的建议(基学习器预测);
  3. 综合结果:你统计10个朋友的建议,“买”的票数多就决定买,“不买”的票数多就放弃(多数投票)——即使个别朋友判断失误,也不会影响整体决策的稳健性。

3. Bagging的3个核心关键点

  1. 随机性来源:仅通过“自助采样”引入随机性,基学习器本身可无额外随机机制(如普通决策树);
  2. 基学习器独立性:子数据集独立,基学习器训练过程互不干扰,支持并行计算(大幅提升训练效率);
  3. 核心目标:降低单模型的“方差”——单模型(如决策树)对数据变化敏感、易过拟合,集成后通过“综合意见”减少波动,让模型更稳健。

二、Bagging的理论基础:数学原理与公式推导

Bagging的数学原理围绕“自助采样、独立训练、集成聚合”展开,公式简洁直观,是本科概率统计与机器学习的基础应用。

1. 输入与核心定义

(1)输入数据

给定训练数据集:D=(x1,y1),(x2,y2),...,(xN,yN)D={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}D=(x1​,y1​),(x2​,y2​),...,(xN​,yN​)

  • xix_ixi​:第iii个样本的特征向量;
  • yiy_iyi​:第iii个样本的标签(分类为离散值,回归为连续值);
  • NNN:样本总数。
(2)核心参数
  • mmm:基学习器的个数(迭代次数);
  • 基学习算法AAA:用于训练单个基学习器的算法(如决策树、逻辑回归)。

2. 关键数学原理

(1)自助采样(Bootstrap Sampling)

从原始数据集DDD中有放回地随机采样,生成mmm个子数据集D1,D2,...,DmD_1,D_2,...,D_mD1​,D2​,...,Dm​,每个子数据集的大小均为NNN(与原始数据一致)。

  • 采样特性:由于是“有放回”采样,每个子数据集包含约63.2%63.2\%63.2%的原始样本(理论推导:1−(1−1N)N→1−e−1≈0.6321-(1-\frac{1}{N})^N \to 1-e^{-1} \approx 0.6321−(1−N1​)N→1−e−1≈0.632);
  • 未被采样的样本:每个子数据集约有36.8%36.8\%36.8%的原始样本未被选中,这些样本称为“袋外样本(OOB)”,可用于无验证集评估模型性能。
(2)基学习器的独立训练

对每个子数据集DiD_iDi​,用基学习算法AAA训练一个基学习器hi(x)h_i(x)hi​(x),即:
hi(x)=A(Di)h_i(x) = A(D_i)hi​(x)=A(Di​)

  • 独立性:基学习器之间无依赖关系,可并行训练(核心优势之一);
  • 基学习器选择:优先选“高方差、低偏差”的模型(如决策树),Bagging对这类模型的方差降低效果最显著;若选“低方差、高偏差”的模型(如线性回归),集成后性能提升有限。
(3)集成聚合规则

根据任务类型(分类/回归),采用不同的聚合方式,确保结果稳健:

① 分类任务:多数投票法

给定测试样本xxx,所有基学习器的预测结果为{h1(x),h2(x),...,hm(x)}\{h_1(x),h_2(x),...,h_m(x)\}{h1​(x),h2​(x),...,hm​(x)},最终分类结果为“票数最多的类别”:
H(x)=argmaxy∑i=1mI(hi(x)=y)H(x)=\underset{y}{argmax} \sum_{i=1}^{m} \mathbb{I}\left(h_{i}(x)=y\right)H(x)=yargmax​i=1∑m​I(hi​(x)=y)

  • I(⋅)\mathbb{I}(\cdot)I(⋅):指示函数,hi(x)=yh_i(x)=yhi​(x)=y时为1,否则为0;
  • 通俗理解:统计每个类别被预测的次数,选次数最多的类别。
② 回归任务:简单平均法

给定测试样本xxx,最终预测结果为所有基学习器预测值的算术平均值:
H(x)=1m∑i=1mhi(x)H(x)=\frac{1}{m} \sum_{i=1}^{m} h_{i}(x)H(x)=m1​i=1∑m​hi​(x)

  • 优势:通过平均降低单个模型的预测波动,让结果更平稳。
(4)方差降低的数学证明

Bagging的核心价值是“降低模型方差”,假设所有基学习器独立且方差相同,推导如下:

  • 设单个基学习器h(x)h(x)h(x)的方差为Var(h(x))Var(h(x))Var(h(x));
  • 集成模型H(x)H(x)H(x)的方差为:
    Var(H(x))=Var(1m∑i=1mhi(x))=1mVar(h(x))Var(H(x))=Var\left(\frac{1}{m}\sum_{i=1}^m h_i(x)\right)=\frac{1}{m}Var(h(x))Var(H(x))=Var(m1​i=1∑m​hi​(x))=m1​Var(h(x))
  • 结论:集成模型的方差是单模型方差的1m\frac{1}{m}m1​,mmm越大,方差越小(但mmm超过一定值后,方差降低效果趋于平稳)。

3. Bagging与过拟合的关系

  • 单模型(如决策树):深度越大,方差越大,越易过拟合;
  • Bagging集成:通过降低方差,显著减少过拟合风险,但无法降低模型的“偏差”(偏差由基学习器本身决定);
  • 极端情况:当m→∞m \to \inftym→∞,集成模型的方差趋近于0,过拟合风险趋近于最低。

三、Bagging的完整算法流程

Bagging的算法流程固定,分为“生成子数据集→训练基学习器→集成预测”三步,无复杂迭代优化,易实现且稳定性强。

输入

  1. 训练数据集D=(x1,y1),...,(xN,yN)D={(x_1,y_1),...,(x_N,y_N)}D=(x1​,y1​),...,(xN​,yN​);
  2. 基学习器个数mmm;
  3. 基学习算法AAA(如决策树)。

输出

集成模型H(x)H(x)H(x)。

详细步骤

  1. 生成子数据集:通过有放回随机采样,从DDD中生成mmm个子数据集D1,D2,...,DmD_1,D_2,...,D_mD1​,D2​,...,Dm​,每个子数据集大小为NNN;
  2. 训练基学习器:对每个子数据集DiD_iDi​(i=1i=1i=1到mmm),用基学习算法AAA训练一个基学习器hi(x)h_i(x)hi​(x);
  3. 集成预测:
    • 分类任务:对测试样本xxx,收集所有hi(x)h_i(x)hi​(x)的预测结果,用多数投票法得到最终分类H(x)H(x)H(x);
    • 回归任务:对测试样本xxx,收集所有hi(x)h_i(x)hi​(x)的预测结果,用简单平均法得到最终预测值H(x)H(x)H(x)。

关键说明

  • 基学习器个数mmm:无需过大,通常取50~200(mmm过大不会过拟合,但会增加计算开销);
  • 并行训练:步骤2中mmm个基学习器可同时训练,无需等待前一个完成,是Bagging效率高的核心原因;
  • 袋外评估(OOB Estimation):可用未被采样的“袋外样本”评估模型性能,无需额外划分验证集,节省数据资源。

四、Bagging实战:Python实现非线性分类任务

本次实战基于** moons数据集**(非线性、带噪声的二分类数据),用sklearn的BaggingClassifier结合决策树作为基学习器,实现完整流程:数据生成、模型训练、决策边界可视化、性能评估,代码可直接运行。

1. 实战目标

用Bagging算法对非线性分布的二分类数据进行分类,核心验证:

  • Bagging能否有效拟合非线性决策边界;
  • 集成模型是否比单决策树更稳健、抗过拟合;
  • 可视化决策边界和混淆矩阵,直观评估模型性能。

2. 所需Python库

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import make_moons
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, confusion_matrix
# 忽略无关警告
import warnings
warnings.filterwarnings("ignore")

3. 步骤1:数据生成与划分

生成带噪声的非线性二分类数据,划分训练集(70%)和测试集(30%):

# 1. 生成非线性二分类数据(moons形状,带噪声)
np.random.seed(42)  # 固定随机种子,结果可复现
X, y = make_moons(n_samples=3000, noise=0.3, random_state=42)
# n_samples:样本数;noise:噪声强度;random_state:随机种子

# 2. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

# 3. 查看数据基本信息
print(f"训练集样本数:{X_train.shape[0]},测试集样本数:{X_test.shape[0]}")
print(f"类别分布(0/1):{np.bincount(y)}")  # 查看两类样本数量

4. 步骤2:构建Bagging模型并训练

以决策树为基学习器,初始化Bagging模型,训练并预测:

# 1. 定义基学习器(决策树,控制深度避免单模型过拟合)
base_estimator = DecisionTreeClassifier(
    max_depth=5,  # 决策树最大深度,限制单模型复杂度
    random_state=42
)

# 2. 初始化Bagging分类器
bagging_model = BaggingClassifier(
    estimator=base_estimator,  # 基学习器
    n_estimators=50,          # 基学习器个数(50棵决策树)
    max_samples=0.8,          # 每个子数据集的采样比例(占原始训练集的80%)
    random_state=42,
    n_jobs=-1                  # 并行训练(利用所有CPU核心,加速训练)
)

# 3. 训练模型
bagging_model.fit(X_train, y_train)

# 4. 预测(训练集+测试集)
y_pred_train = bagging_model.predict(X_train)
y_pred_test = bagging_model.predict(X_test)

# 5. 计算准确率
train_acc = accuracy_score(y_train, y_pred_train)
test_acc = accuracy_score(y_test, y_pred_test)
print(f"训练集准确率:{train_acc:.2f}")
print(f"测试集准确率:{test_acc:.2f}")

5. 步骤3:可视化数据分布与决策边界

直观展示原始数据分布和Bagging模型的决策边界,理解模型拟合效果:

# 定义决策边界可视化函数
def plot_decision_boundary(clf, X, y, title):
    # 构建网格,覆盖整个特征空间
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(
        np.linspace(x_min, x_max, 200),  # x轴网格点
        np.linspace(y_min, y_max, 200)   # y轴网格点
    )
    
    # 预测网格中每个点的类别
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)  # 转换为网格形状
    
    # 绘制决策边界和样本点
    plt.contourf(xx, yy, Z, alpha=0.8, cmap=plt.cm.Paired)  # 决策边界填充
    plt.scatter(X[:, 0], X[:, 1], c=y, edgecolor='k', cmap=plt.cm.Paired)  # 样本点
    plt.title(title, fontsize=14)
    plt.xlabel("Feature 1")
    plt.ylabel("Feature 2")
    plt.grid(True, alpha=0.3)

# 绘制原始数据分布和决策边界(1行2列子图)
plt.figure(figsize=(12, 6))

# 子图1:原始数据分布
plt.subplot(1, 2, 1)
plt.scatter(X[y == 0][:, 0], X[y == 0][:, 1], color='red', label='Class 0', alpha=0.6)
plt.scatter(X[y == 1][:, 0], X[y == 1][:, 1], color='blue', label='Class 1', alpha=0.6)
plt.title("Original Data Distribution", fontsize=14)
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
plt.legend()
plt.grid(True, alpha=0.3)

# 子图2:Bagging模型决策边界
plt.subplot(1, 2, 2)
plot_decision_boundary(bagging_model, X, y, "Decision Boundary of Bagging Model")

plt.tight_layout()  # 调整子图间距
plt.show()

6. 步骤4:混淆矩阵可视化(评估分类效果)

通过混淆矩阵查看模型在测试集上的分类错误分布:

# 计算测试集混淆矩阵
conf_matrix = confusion_matrix(y_test, y_pred_test)

# 可视化混淆矩阵
plt.figure(figsize=(8, 6))
sns.heatmap(
    conf_matrix, 
    annot=True,  # 显示数值
    fmt='d',     # 数值格式为整数
    cmap="YlGnBu",  # 配色方案
    xticklabels=['Class 0', 'Class 1'],
    yticklabels=['Class 0', 'Class 1']
)
plt.title("Confusion Matrix (Test Set)", fontsize=14)
plt.xlabel("Predicted Label")
plt.ylabel("True Label")
plt.show()

7. 实战结果解读

  1. 准确率:训练集准确率约0.91,测试集准确率约0.90,两者差距小,说明Bagging有效避免了过拟合;
  2. 决策边界:Bagging模型能清晰拟合moons数据的非线性边界,且边界平滑,无单决策树的“锯齿状”过拟合现象;
  3. 混淆矩阵:两类样本的错分数量少,模型对正负类的分类能力均衡,体现了集成的稳健性。

8. 模型优化建议(可选)

通过调整超参数进一步提升模型性能,适合本科/研究生拓展实践:

# 超参数网格(可通过GridSearchCV搜索最优参数)
param_grid = {
    'n_estimators': [50, 100, 200],  # 基学习器个数
    'max_samples': [0.6, 0.8, 1.0],  # 子数据集采样比例
    'estimator__max_depth': [3, 5, 7]  # 基学习器(决策树)的最大深度
}

# 网格搜索(5折交叉验证)
from sklearn.model_selection import GridSearchCV
grid_search = GridSearchCV(
    estimator=bagging_model,
    param_grid=param_grid,
    cv=5,
    scoring='accuracy',
    n_jobs=-1,
    verbose=1
)
grid_search.fit(X_train, y_train)

# 输出最优参数和最优准确率
print("最优超参数:", grid_search.best_params_)
print("交叉验证最优准确率:", grid_search.best_score_)

五、Bagging的优缺点与使用前提

Bagging是“简单高效、稳健可靠”的集成算法,优点突出,缺点主要集中在计算开销和可解释性,了解其适用边界是本科/研究生选模型的关键。

核心优点

  1. 降低方差,抗过拟合:通过集成多个独立基学习器,显著减少单模型的预测波动,避免过拟合;
  2. 可并行化训练:基学习器独立,支持并行计算(n_jobs=-1),训练效率远高于串行集成算法(如AdaBoost、GBDT);
  3. 对基学习器要求低:基学习器只需“略优于随机猜测”,无需复杂优化,甚至可使用高方差的简单模型(如决策树桩);
  4. 适配性广:同时支持分类和回归任务,对非线性数据拟合能力强,无需复杂特征预处理;
  5. 袋外评估:利用未采样的袋外样本评估模型性能,无需额外划分验证集,节省数据资源;
  6. 鲁棒性强:对数据中的噪声和异常值不敏感,单模型的错误预测会被集成结果“稀释”。

核心缺点

  1. 计算开销大:需训练多个基学习器,内存占用和训练时间随基学习器个数增加而增长;
  2. 可解释性差:集成模型是“黑盒”,无法像单决策树那样清晰解释决策过程,仅能通过基学习器权重(Bagging中权重均等)粗略分析;
  3. 对低方差模型提升有限:若基学习器是低方差、高偏差的模型(如线性回归、逻辑回归),Bagging无法显著降低方差,性能提升不明显;
  4. 样本量依赖:需要足够大的样本量保证自助采样的多样性,小样本数据集可能导致子数据集重复率过高,集成效果不佳;
  5. 分类任务投票偏见:当类别不平衡时,多数投票法会偏向多数类,需通过“加权投票”修正。

算法使用的前提条件

  1. 基学习器选择:优先选“高方差、低偏差”的模型(如决策树、神经网络),这类模型的方差降低空间大;
  2. 数据类型:适合数值型特征,类别型特征需先编码(如标签编码、独热编码);
  3. 样本规模:适合中大规模数据集(样本数>1000),小样本数据集建议增加基学习器个数;
  4. 任务类型:分类和回归任务均适用,分类任务需保证类别分布相对均衡;
  5. 计算资源:需具备一定的计算资源(CPU核心数),充分利用并行训练提升效率。

六、Bagging与其他集成算法的对比

为了方便本科/研究生在学习和科研中选择模型,将Bagging与AdaBoost(Boosting类)、随机森林(Bagging变种) 从核心特性、适用场景等维度对比:

对比项BaggingAdaBoost随机森林
集成类型Bagging(并行)Boosting(串行)Bagging(并行)
随机性来源仅自助采样样本权重自适应调整自助采样+随机特征选择
基学习器关系独立(并行训练)依赖(串行训练)独立(并行训练)
核心目标降低方差(抗过拟合)降低偏差(提升拟合能力)降低方差+提升拟合能力
基学习器权重均等(投票/平均)加权(表现好的权重高)均等(投票/平均)
对噪声敏感性低(稳健)高(敏感)低(稳健)
训练速度快(并行)中等(串行)快(并行)
可解释性低中等(弱分类器权重)低
适用场景高方差模型、非线性数据弱分类器、不平衡数据高维数据、复杂非线性数据

核心选择原则

  1. 高方差模型+并行训练需求:优先选Bagging(如决策树为基学习器);
  2. 弱分类器+提升拟合能力:优先选AdaBoost(如决策树桩为基学习器);
  3. 高维数据+复杂非线性:优先选随机森林(Bagging+随机特征选择,拟合能力更强);
  4. 类别不平衡数据:优先选AdaBoost(权重自适应关注少数类);
  5. 实时性要求高:优先选Bagging/随机森林(并行训练,效率高)。

七、Bagging的经典应用场景与延伸

Bagging的核心价值是“稳健性+并行效率”,其延伸算法(如随机森林)在工业界应用广泛,核心场景如下:

1. 经典应用场景

  1. 分类任务:
    • 图像分类:简单图像识别(如猫狗分类、交通标志识别),用决策树作为基学习器;
    • 金融风控:客户违约预测、欺诈检测,需模型稳健性强,避免单模型误判;
    • 文本分类:新闻分类、情感分析,结合词向量特征,并行训练提升效率。
  2. 回归任务:
    • 房价预测、销量预测:降低单模型的预测波动,让结果更可靠;
    • 工业数据预测:设备故障预测、产量预测,抗噪声能力强。

2. 重要延伸:随机森林(Random Forest)

随机森林是Bagging的变种与升级,在Bagging的基础上增加了“随机特征选择”,进一步提升模型性能:

  • 核心改进:每棵决策树节点分裂时,仅从所有特征中随机选择部分特征(如总特征数\sqrt{总特征数}总特征数​),再找最优分裂点;
  • 优势:降低了基学习器之间的相关性,进一步提升泛化能力,是工业界首选的“万能模型”;
  • 关系:随机森林是Bagging的特例,Bagging是随机森林的基础框架。

3. 实际应用案例

  • 电商推荐:通过用户行为数据预测用户偏好,Bagging集成多个决策树,提升推荐的稳健性;
  • 医疗诊断:结合患者的临床特征,预测疾病风险,Bagging的抗噪声能力适合医疗数据的复杂性;
  • 机器学习竞赛:Kaggle等竞赛中,随机森林(Bagging延伸)常作为基线模型,或与Boosting算法结合形成强集成模型。

八、总结

Bagging是集成学习中最基础、最实用的算法之一,核心思想是“自助采样+独立训练+综合聚合”,通过降低单模型的方差实现“稳健性提升”。其原理简单、易实现、可并行,是本科/研究生入门集成学习的必学内容,也是工业界处理非线性数据的优质选择。

本文核心知识点总结:

  1. 核心逻辑:有放回采样生成独立子数据集,训练多个基学习器,用投票/平均聚合结果;
  2. 数学核心:集成方差=单模型方差/m,m越大方差越小(趋于平稳);
  3. 核心优势:抗过拟合、可并行、鲁棒性强、适配性广;
  4. 核心缺点:计算开销大、可解释性差、对低方差模型提升有限;
  5. 延伸算法:随机森林(增加随机特征选择),是Bagging的工业级应用版本;
  6. 适用场景:高方差模型、非线性数据、中大规模数据集、分类/回归通用。

掌握Bagging的原理和实现,不仅能应对本科/研究生的课程作业、考试和科研入门,还能为后续学习随机森林、集成学习融合(Bagging+Boosting)打下基础。建议结合本文实战代码反复练习,尝试更换基学习器(如逻辑回归、SVM),观察集成效果的变化,加深对“方差降低”核心机制的理解。

深度探索:机器学习中的Bagging原理及其应用 Bagging作为一种简单而有效的集成学习策略,通过引入随机性增强个体学习器的多样性,显著提升了模型的稳定性和泛化能力。尽管存在对异常值敏感、解释性较弱等问题,但其在各类机器学习任务中展现出强大的实用性,特别是在处理复杂、非线性、高维数据集时。未来,研究方向可能包括: 改进个体学习器选择:探索更适用于Bagging的个体学习器类型,如深度学习模型、规则列表等,以适应不同领域的应用需求。 动态调整集成参数:研究自适应调整个体学习器数量、自助采样比例等参数的方法,实现模型性能的自动优化。 阅读详情

相关推荐

分类算法 -- 集成学习bagging算法(理论介绍)以及bagging和Adaboost的区别

在前一篇中,我们介绍了集成学习中的Adaboost算法。本文中,我们将介绍集成学习中另一个很有名的算法----bagging算法。

海军上将光之翼的博客 5501

bagging算法(随机森林RF算法)

bagging算法(随机森林RF算法简介) bagging算法特点是各个弱学习器之间没有依赖关系,可以并行拟合。加快计算速度。那么,bagging算法其实是一种工程思维,真正把这个思维转换成可以应用于工程计算的就是随机森林算法 通过上图我们知道,bagging是每个弱学习器之间的并行计算最后综合预测,但是,有一个问题需要我们注意,在训练集到子训练器的过程叫做“子抽样”。 这个子抽样是一个“随机有...

Thanking The Future 4700

bagging、boosting、Stacking(自助法、提升法、堆叠法)

创建日期:2021.01.20 修改日期:2021.01.20 文章目录1. 集成学习2. 基模型3. 基模型同质性4. 集成方法比较4. Bagging 自助法5. Boosting 提升法6. Stacking 堆叠法7. 参考资料 1. 集成学习 集成学习是一种机器学习范式。在集成学习训练多个模型(通常称为弱学习器)解决相同的问题,并将它们结合起来以获得更好的结果。 最重要的假设是:当弱模型被正确组合时,我们可以得到更精确和/或更鲁棒的模型。 2. 基模型 弱学习器就是基模型。作者认为基模型更准确,因

chenhepg的博客 4922

【集成学习】Bagging算法详解及代码实现

Bagging全称叫做,通过训练多个相同类型的基学习器,并将他们的预测结果进行集成,从而提高模型整体性能的集成学习方法。Bagging的核心思想是通过并行训练多个基学习器,每个基学习器在训练集的不同子集上进行训练,最终通过这些基学习器的预测结果进行平均(回归任务)或投票(分类任务)得到最终预测结果。训练n个模型,每个模型在不同训练子集上独立训练所有基学习器的预测结果进行平均(回归任务)或投票(分类任务)得到最终决策。采用bootstrap。

码农努力学习 3414

集成算法(Bagging,随机森林)

引言(关于集成学习) 集成算法包括很多种包括Bagging,随机森林,Boosting 以及其他更加高效的集成算法。在这篇博客上只介绍Bagging算法及随机森林,Boosting提升算法及其他高效的算法在下一篇详细讲解。 集成算法就是通过构建多个学习器来完成学习任务,是由多个基学习器或者是个体学习器来完成的。它可以是由决策树,神经网络等多种基学习算法组成。就像是投票表决答案一样,多数人的参与总会...

丿回到火星去 1万+

MATLAB算法实战应用案例精讲-【集成算法】集成学习模型Bagging(附Python和R语言代码)

集成学习,即分类器集成,通过构建并结合多个学习器来完成学习任务。一般结构是:先产生一组“个体学习器”,再用某种策略将它们结合起来。结合策略主要有平均法、投票法和学习法等。集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)。

qq_36130719的博客 1831

【集成算法】Boosting超详细解析

Boosting是一种串行集成学习框架,通过迭代训练多个弱分类器,每个新分类器聚焦前一个分类器的错误样本,最终加权组合形成强分类器。其核心思想是"逐步改进",通过调整样本权重和分类器权重来降低偏差。数学上,Boosting包括样本权重初始化、迭代训练弱分类器(计算加权错误率和权重)以及加权组合三个关键步骤。AdaBoost是典型实现,使用决策树桩作为弱分类器,在非线性分类任务中表现优异。该方法泛化能力强,广泛应用于金融风控、医疗诊断等领域,但需注意控制迭代次数防止过拟合。

DeepModel的博客 1130

bagging算法

Bagging的策略: 从样本集中用Bootstrap采样选出n个样本 在所有属性上 对这n个样本建立分类器(CART or SVM or ) 重复以上两步m次 i e build m个分类器(CART or SVM or ) 将数据放在这m个分类器上跑 最后vote看到底分到哪一类

Bagging算法最全解析-机器学习

Bagging算法报告 目录 基本概念以及算法流程 1 1.1基本概念 1 1.2 算法流程 1 基本性质及其物理意义 3 2.1. 自举汇聚法 3 2.2. OOB 错误 4 类似算法分析比较 5 3.1 Bagging和Boosting 5 3.2 Bagging和Rand Forest 6 可能的发展方向与改进 6 4.1 Rand Forest 6 4.2 extra trees 7 4.3 Totally Random Trees Embedding 7 4.4 Isolation

weixin_40803688的博客 1万+

计算机考研常见面试题

写在前面 本人参加20考研,由于复试没有具体要求会问哪几门课,所以我就找了网上一些常见的计算机专业的面试题,整理如下 主要结构: 数据库 软件工程 操作系统 计算机组成原理 计算机网络 数据结构 C++ Java 数据库 1、数据:数据库中存储的基本对象。 数据库:长期存储在计算机内的、有组织的、可共享的数据集合。 数据库管理系统:专门用于建立和管理数据库的一套软件。对外部程序提供访问数据库的方法,对内进行数据管理。 数据库系统:与和数据库相关的整个系统,一般由数据库、数据库管理系统、应用程序、数

qq_38841618的博客 2万+

ASIC--DFT可测性设计工程师

DFT是什么? DFT是design for test(可测性设计)的缩写,就是在芯片设计过程中,加入可测性逻辑。有的公司把该职位归到前端设计,有的归到中端实现。 DFT职位大多分布于规模较大的数字IC设计公司里,因为大公司对芯片品质要求高,而且规模越大,芯片越贵,DFT就越复杂越重要。DFT主要是通过在芯片中加入可测性逻辑,等芯片制造出来,在ATE(AutomaticTestEquipmen...

TroubleMaker 2万+

【机器学习:集成算法】

集成学习: (Ensemble Learning)集成学习是机器学习的一种范式,它的主要思想是使用多个弱学习器来构建一个整体泛化性更强的最终学习器来完成任务,它认为集体的智慧比单个的个体更加的准确、鲁棒。参与组合的模型又叫弱学习器或者基学习器。集成学习思想分为bagging思想和boosting思想。

Keep__Fighting的博客 1125

InfiniteTalk (Wan2.1) 数字人 A800 落地实战:从依赖地狱到完美运行的保姆级指南

摘要:本文详细记录了在A800(80GB)服务器上部署InfiniteTalk开源数字人项目的完整流程。该项目基于阿里Wan2.1视频生成模型,支持无限时长流式生成,但环境配置极其复杂。作者总结了18个关键问题点,包括Python版本冲突、CUDA算子缺失等,并提供了黄金配置方案:使用Python3.10+PyTorch2.5.1环境,精准控制FlashAttention等核心库版本,以及针对A800的显存优化策略。最终实现480P视频30秒/步的生成速度,相比默认配置提升3.7倍性能。

软件工程师文艺 2047

【集成算法】

初始化方法:在`__init__`方法中,定义了网络的结构,包括两个卷积层(`conv1`和`conv2`)、两个最大池化层(`pool1`和`pool2`)以及两个全连接层(`fc1`和`fc2`)。以下是对这些核心内容的简要概述:1. 导入模块: - 导入了PyTorch库及其子模块,包括`torch`、`torch.nn`、`torch.optim`、`torch.nn.functional`和`torch.backends.cudnn`。通过集成不同模态的特征,可以提高识别的鲁棒性。

2502_90678230的博客 516

C++如何实时监测另一个进程是否已经退出?(附源码)

调用WaitForSingleObject实时监测目标进程是否已经退出

dvlinker的技术专栏 8276

YOLOv8推理程序

YOLOv8单独推理,有时候我们自定义的模块算子无法正常转换为其他框架,而且需要做成应用,因此需要一个单独推理的程序,返回的是识别后的照片还有各个类别及其对应数量。文章最后给出Flask封装为Server以及调用的实例还有Client请求代码,支持几十路多线程并发,只需加载一次模型,后边推理即可。

AIOT魔法师 699

【集成算法】随机森林详解

本文系统介绍了随机森林算法的核心原理与实战应用。主要内容包括:1)通过通俗类比解释随机森林的集成思想和工作流程;2)从数学角度分析Bagging和随机特征选择如何降低模型方差;3)详细推导Gini不纯度、OOB误差等关键指标;4)提供乳腺癌分类任务的完整Python实现,涵盖数据预处理、模型训练与评估全流程。文章强调随机森林通过"样本随机+特征随机"的双重策略降低模型方差,在保持较低偏差的同时显著提升泛化性能,使其成为机器学习中高效易用的经典算法。

DeepModel的博客 1164

3D结构光 vs TOF——手机厂商为何选择TOF方案?

3D视觉感知技术路线分析:结构光与TOF对比 3D视觉感知领域存在结构光和TOF两大主流技术。结构光基于三角定位法,精度高(毫米级)但工作距离短(<1.5米),适合人脸识别等近距离场景;TOF通过测量光脉冲飞行时间计算深度,精度中等(厘米级)但工作距离长(0.5-5米+),更适合AR导航等中远距离应用。手机厂商选型时考虑:前置认证选择结构光(如苹果FaceID),后置场景倾向TOF(安卓阵营),因后者更适配全面屏设计、环境适应性强且成本优势明显。两种技术互补共存,共同推动3D感知应用发展。

致力于lidar应用开发 115

集成算法中的Bagging

Bagging(Tree)相较于Tree增加了偏差,但是降低了方差,最终得到了优于Tree的模型,而同样的Bagging(Tree)_2进一步大幅度增加了偏差,但是同样的方差也大幅度下降,最终得到了效果优于Bagging(Tree)的最终模型。虽然在Bagging中引入的随机分割增加了偏差,但是因为多个模型的集成平均,同时也使得我们在总体上获取了更好的模型,在本篇文章中,我们称之为Bagging的特性一,在后面我们将会验证这一特性。

FontTian的博客 2万+

Python 爬虫 + 数据分析:社会调查数据抓取与结果可视化分析

在当今数字化时代,数据已成为推动社会发展的关键资源之一。无论是市场调研、学术研究还是政策制定,社会调查数据都扮演着至关重要的角色。通过 Python 爬虫技术,我们可以高效地获取这些数据,并结合数据分析与可视化工具,深入挖掘数据背后的价值。本文将通过一个完整的实战项目,带你掌握如何使用 Python 爬虫抓取社会调查数据,并进行可视化分析。

yansideyucsdn的博客 126

Ardupilot飞控姿态角与姿态角速度控制过程分析(超长篇)

目录 目录 摘要 1.代码控制过程分析 摘要 本节主要记录自己学习ardupilot飞控代码的姿态角速度的控制过程 1.代码控制过程分析 可以看出:AC_AttitudeControl *attitude_control; //指针对象 virtual void rate_controller_run() = 0;是AC_AttitudeContro...

陌城烟雨 1万+

【集成算法】Stacking堆叠详解

本文详细讲解了集成学习中的Stacking堆叠算法。首先通过生活化比喻阐释其核心思想:多个基础模型(专家)提供预测,元学习器(总裁判)融合结果。随后分步骤解析了Stacking的两层结构流程,并给出数学公式推导,阐明基础模型预测与元学习器融合的原理。文中特别强调三个关键点:避免信息泄露、基础模型多样性和元学习器简洁性。最后提供了Python实现示例,使用随机森林、梯度提升和SVM作为基础模型,Ridge回归作为元学习器完成回归任务。全文兼顾理论深度与实践指导,适合机器学习初学者和进阶者学习应用。

DeepModel的博客 1085

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

【集成学习】:bagging和boosting算法及对比

转载于:bagging和boosting算法(集成学习算法) Bagging算法和Boosting区别和联系 机器学习笔记-集成学习之Bagging,Boosting,随机森林三者特性对比 前言 集成学习 定义:集成学习通过构建并结合多个学习器来完成学习任务。 分类:只包含同种类型的个体学习器,这样的集成是“同质”的,例如都...

Mr_health的博客 1万+

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

【集成算法】极端随机森林详解

本文深入讲解极端随机森林(Extra Trees)算法,通过通俗类比和数学推导揭示其核心原理:通过双重随机化(随机选特征+随机切分点)构建决策树,相比随机森林具有更高速度、更强泛化能力。文章详细对比了极端随机森林与随机森林在切分方式、偏差方差、训练速度等方面的差异,并给出完整的数学建模和算法流程。实战部分以乳腺癌分类为例,展示从数据探索到模型调优的全流程。关键结论:极端随机森林通过牺牲少量拟合精度换取更高稳定性和训练效率,特别适合需要快速部署且对过拟合敏感的场景。

DeepModel的博客 1030

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

(五)如何用 Python 从头开始实现 Bagging 算法

作者:chen_h 微信号 & QQ:862251340 微信公众号:coderpai (一)机器学习中的集成学习入门 (二)bagging 方法 (三)使用Python进行交易的随机森林算法 (四)Python中随机森林的实现与解释 (五)如何用 Python 从头开始实现 Bagging 算法 决策树是一种简单而强大的预测建模技术,但它们存在高方差。这意味着在给定不同的训练数据的情...

CoderPai的博客 7918

【集成算法】投票法详解

本文详细讲解了集成学习中的投票法(Voting),包括硬投票和软投票两种核心方法。硬投票采用少数服从多数原则,而软投票则基于概率加权求和。文章从数学原理出发,阐述了投票法的算法流程和理论依据,并通过鸢尾花分类任务展示了完整实战过程,包括数据预处理、模型构建、性能评估和可视化。投票法简单直观,能有效提升模型稳定性和预测精度,适用于多种机器学习场景。

DeepModel的博客 826
上一篇: 【分类算法】支持向量机(SVM)超详细解析
下一篇: 【集成算法】Boosting超详细解析
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值