【集成算法】Stacking堆叠详解

机器学习——模型融合:Stacking算法 Stacking算法是一种强大的模型融合技术,通过组合多个基本分类器的预测结果来提高整体的预测性能。它可以灵活地选择不同的初级学习器和次级学习器,并且可以提高模型的泛化能力和鲁棒性。然而,Stacking算法也有一些缺点,例如训练时间较长,对初级学习器的选择和参数调优要求较高等。在实际应用中,需要根据具体的问题和数据集来选择合适的Stacking方法,并进行适当的调优工作。 阅读详情

集成算法之Stacking堆叠详解(原理+公式+实战+对比)

本文面向本科、研究生阶段的同学,用通俗易懂的语言讲解集成学习中Stacking(堆叠) 算法的核心原理、数学推导、完整执行流程,结合回归任务实战实现堆叠模型,并对比Stacking与Bagging、Boosting、Blending的差异,明确各类场景的算法选型思路,内容从入门到进阶,可直接用于课程设计、竞赛和项目开发。

一、Stacking堆叠:通俗理解核心概念

Stacking是集成学习中一种分层式的模型融合方法,核心思路可以用**「多专家献策,总裁判决策」** 来概括,和我们日常做决策的逻辑高度相似。

举个生活中的例子:要预测明天的天气,你不会只听一个天气预报员的意见,而是找3个不同的预报员(不同方法):

  • 预报员A:根据过去一周的天气规律判断;
  • 预报员B:分析温度、湿度、气压等气象数据;
  • 预报员C:参考卫星云图和降水概率模型。

他们的预测结果可能不一致,这时你请来一位总裁判,他会根据每个预报员的历史预测准确率,综合所有人的结果,得出最终的天气结论。

对应到Stacking算法中:

  • 基础模型(Base Models):就是各个“预报员”,可以是不同类型的机器学习模型(决策树、随机森林、SVM、神经网络等),各自对数据做预测;
  • 元学习器(Meta Learner):就是“总裁判”,把基础模型的预测结果当作新的特征数据,学习如何加权/融合这些结果,得到最终的最优预测;
  • 核心价值:让不同模型的优势互补,单个模型擅长处理某类数据模式,融合后能覆盖更多数据特征,提升预测精度并减少过拟合。

二、Stacking的基本流程

Stacking的核心是两层学习结构,第一层训练基础模型做预测,第二层训练元学习器融合预测结果,步骤清晰且固定,本科生也能轻松理解:

第一层:基础模型层(专家献策)

  1. 选择多个不同类型的基础模型(如随机森林+梯度提升+SVM),用同一份训练集分别训练这些模型;
  2. 训练完成后,每个基础模型对训练集/测试集独立输出预测结果,这些结果会作为第二层的输入特征。

第二层:元学习器层(总裁判决策)

  1. 收集第一层所有基础模型的预测结果,将其拼接成新的特征矩阵;
  2. 用这份新特征矩阵作为输入,原始的目标变量作为标签,训练一个元学习器(如线性回归、Ridge、XGBoost等);
  3. 元学习器的核心任务是学习最优的融合策略,比如给预测准确率高的基础模型分配更高的权重,最终输出融合后的预测结果。

一句话总结:Stacking不是直接用模型预测结果,而是让模型学习“如何融合其他模型的预测结果”。

三、Stacking原理详解(公式+推导,适合本科/研究生)

这部分从问题设定、两层结构、公式推导展开,公式做简化解释,重点理解核心逻辑,无需死记硬背,结合流程看更易理解。

3.1 问题设定

针对经典的监督学习问题,定义基础数据集和学习目标:

  • 训练集:D=(xi,yi)i=1ND={(x_{i}, y_{i})}_{i=1}^{N}D=(xi​,yi​)i=1N​,其中xix_{i}xi​是样本的输入特征,yiy_{i}yi​是样本的真实标签(目标变量);
  • 学习目标:找到一个映射函数f:X→Yf: X \to Yf:X→Y,使得给定新样本x∗x^*x∗时,能准确预测其标签y∗y^*y∗;
  • Stacking的核心:不直接学习单个映射函数f(x)f(x)f(x),而是通过多个基础模型的组合来学习最终预测。

3.2 两层Stacking的数学表达

Stacking的分层结构可以用简单的公式表示,核心是基础模型的输出作为元学习器的输入:

第一层:基础模型的独立预测

假设我们选择了MMM个基础模型f1,f2,...,fMf_1, f_2, ..., f_Mf1​,f2​,...,fM​,每个模型对样本xxx的预测结果为:
y^m=fm(x)(m=1,2,...,M)\hat{y}_{m}=f_{m}(x) \quad (m=1,2,...,M)y^​m​=fm​(x)(m=1,2,...,M)
所有基础模型对训练集的预测结果会形成一个预测值矩阵Y^\hat{Y}Y^,每行对应一个样本,每列对应一个基础模型的预测值:
Y^=[y^1,1y^2,1...y^M,1y^1,2y^2,2...y^M,2⋮⋮⋱⋮y^1,Ny^2,N...y^M,N]\hat{Y}=\left[\begin{array}{cccc}\hat{y}_{1,1} & \hat{y}_{2,1} & ... & \hat{y}_{M, 1} \\ \hat{y}_{1,2} & \hat{y}_{2,2} & ... & \hat{y}_{M, 2} \\ \vdots & \vdots & \ddots & \vdots \\ \hat{y}_{1, N} & \hat{y}_{2, N} & ... & \hat{y}_{M, N}\end{array}\right]Y^=​y^​1,1​y^​1,2​⋮y^​1,N​​y^​2,1​y^​2,2​⋮y^​2,N​​......⋱...​y^​M,1​y^​M,2​⋮y^​M,N​​​
其中y^m,i\hat{y}_{m,i}y^​m,i​表示第mmm个基础模型对第iii个样本的预测值。

第二层:元学习器的融合预测

元学习器g(⋅)g(\cdot)g(⋅)以第一层的预测值矩阵Y^\hat{Y}Y^为新输入特征,原始标签yiy_iyi​为目标,学习融合策略,最终预测值为:
y^=g(y^1,y^2,...,y^M)\hat{y}=g\left(\hat{y}_{1}, \hat{y}_{2}, ..., \hat{y}_{M}\right)y^​=g(y^​1​,y^​2​,...,y^​M​)
整合后,Stacking的最终预测函数可以表示为:
y^=g(f1(x),f2(x),...,fM(x))\hat{y}=g\left(f_{1}(x), f_{2}(x), ..., f_{M}(x)\right)y^​=g(f1​(x),f2​(x),...,fM​(x))
这就是Stacking的核心数学表达式,本质是嵌套的函数映射。

3.3 两层模型的训练公式推导

Stacking的训练过程分为两步,分别最小化基础模型和元学习器的损失函数,实现分步优化:

第一步:训练基础模型

每个基础模型fmf_mfm​的训练目标是最小化自身的预测损失,找到最优模型参数θm\theta_mθm​:
min⁡θm∑i=1NL(yi,fm(xi;θm))\min _{\theta_{m}} \sum_{i=1}^{N} L\left(y_{i}, f_{m}\left(x_{i} ; \theta_{m}\right)\right)θm​min​i=1∑N​L(yi​,fm​(xi​;θm​))
其中:

  • L(y,y^)L(y, \hat{y})L(y,y^​)是损失函数(回归用MSE均方误差,分类用交叉熵损失);
  • θm\theta_mθm​是第mmm个基础模型的参数(如随机森林的树数、SVM的核函数参数)。
第二步:训练元学习器

元学习器ggg的输入是基础模型的预测值y^1,i,y^2,i,...,y^M,i\hat{y}_{1,i},\hat{y}_{2,i},...,\hat{y}_{M,i}y^​1,i​,y^​2,i​,...,y^​M,i​,训练目标是最小化融合后的预测损失,找到最优参数θg\theta_gθg​:
min⁡θg∑i=1NL(yi,g(y^1,i,y^2,i,...,y^M,i;θg))\min _{\theta_{g}} \sum_{i=1}^{N} L\left(y_{i}, g\left(\hat{y}_{1, i}, \hat{y}_{2, i}, ..., \hat{y}_{M, i} ; \theta_{g}\right)\right)θg​min​i=1∑N​L(yi​,g(y^​1,i​,y^​2,i​,...,y^​M,i​;θg​))

最常用的元学习器:线性回归/岭回归
对于回归任务,元学习器通常选择简单的线性模型(避免过拟合),比如岭回归(Ridge),其预测公式为:
y^=β0+∑m=1Mβmy^m\hat{y}=\beta_{0}+\sum_{m=1}^{M} \beta_{m} \hat{y}_{m}y^​=β0​+m=1∑M​βm​y^​m​
其中β0\beta_0β0​是偏置项,βm\beta_mβm​是第mmm个基础模型的权重系数,元学习器的训练目标就是通过最小化均方误差找到最优权重:
min⁡β∑i=1N(yi−β0−∑m=1Mβmy^m,i)2\min _{\beta} \sum_{i=1}^{N}\left(y_{i}-\beta_{0}-\sum_{m=1}^{M} \beta_{m} \hat{y}_{m, i}\right)^{2}βmin​i=1∑N​(yi​−β0​−m=1∑M​βm​y^​m,i​)2

元学习器的选择技巧
  • 回归任务:优先选线性回归、Ridge、Lasso(简单不易过拟合);
  • 分类任务:优先选逻辑回归;
  • 数据模式复杂、计算资源充足:可选XGBoost、随机森林(复杂元学习器);
  • 核心原则:元学习器不宜过于复杂,否则会对基础模型的预测结果过拟合,失去融合的意义。

3.4 Stacking的完整算法流程

整合上述原理,给出Stacking标准化的输入、训练阶段、预测阶段,可直接对应代码实现,步骤清晰无歧义:

输入
  1. 训练集D=(xi,yi)i=1ND={(x_{i}, y_{i})}_{i=1}^{N}D=(xi​,yi​)i=1N​,测试集D∗=(xi∗,yi∗)i=1TD^*={(x_{i}^*, y_{i}^*)}_{i=1}^{T}D∗=(xi∗​,yi∗​)i=1T​;
  2. MMM个不同的基础学习器f1,f2,...,fMf_1, f_2, ..., f_Mf1​,f2​,...,fM​;
  3. 1个元学习器ggg(如Ridge、逻辑回归)。
训练阶段
  1. 第一层:训练基础模型

    • 用训练集DDD分别训练MMM个基础模型:fm←Train(X,Y)f_{m} \leftarrow Train(X, Y)fm​←Train(X,Y);
    • 用训练好的基础模型对训练集DDD做预测,生成预测值矩阵Y^=(f1(X),f2(X),...,fM(X))\hat{Y}=(f_{1}(X), f_{2}(X), ..., f_{M}(X))Y^=(f1​(X),f2​(X),...,fM​(X))。
  2. 第二层:训练元学习器

    • 以预测值矩阵Y^\hat{Y}Y^为输入,原始标签YYY为目标,训练元学习器:g←Train(Y^,Y)g \leftarrow Train(\hat{Y}, Y)g←Train(Y^,Y)。
预测阶段
  1. 用训练好的MMM个基础模型,对新样本x∗x^*x∗分别做预测:y^m∗=fm(x∗)(∀m∈{1,...,M})\hat{y}_{m}^{*}=f_{m}\left(x^{*}\right) \quad (\forall m \in\{1, ..., M\})y^​m∗​=fm​(x∗)(∀m∈{1,...,M});
  2. 把基础模型的预测结果y^1∗,y^2∗,...,y^M∗\hat{y}_{1}^*,\hat{y}_{2}^*,...,\hat{y}_{M}^*y^​1∗​,y^​2∗​,...,y^​M∗​输入元学习器,得到最终预测:y^∗=g(y^1∗,y^2∗,...,y^M∗)\hat{y}^{*}=g\left(\hat{y}_{1}^{*}, \hat{y}_{2}^{*}, ..., \hat{y}_{M}^{*}\right)y^​∗=g(y^​1∗​,y^​2∗​,...,y^​M∗​)。

3.5 Stacking的3个关键注意点(避坑核心)

Stacking的实现不难,但如果忽略以下3点,很容易导致过拟合、效果下降,这也是本科/研究生做实验时最容易踩的坑:

  1. 严格避免信息泄露

    • 核心问题:不能用训练基础模型的同一批数据,直接生成元学习器的训练数据(会导致元学习器记住训练集噪音);
    • 解决方法:用K折交叉验证生成基础模型的预测值,确保元学习器的训练数据是“未见过”的验证集数据。
  2. 基础模型要保证多样性

    • 核心要求:基础模型必须是不同类型、不同原理的模型(如随机森林+SVM+神经网络),而非同类型模型的简单重复(如多个随机森林);
    • 原因:不同模型捕捉数据的不同特征,多样性越高,融合后的互补效果越好;同类型模型的预测结果高度相似,融合后无提升。
  3. 元学习器宜简不宜繁

    • 核心原则:优先选择简单的线性模型作为元学习器,仅在数据模式极复杂、计算资源充足时,才考虑复杂模型;
    • 原因:元学习器的作用是“融合”而非“重新学习”,复杂模型会对基础模型的预测结果过拟合,反而降低泛化能力。

四、Stacking实战:回归任务完整实现(Python代码可直接运行)

以合成回归数据集为例,实现Stacking堆叠模型的全流程:选择3个不同的基础模型(随机森林+梯度提升+SVM),用Ridge岭回归作为元学习器并做超参数调优,最后通过可视化分析模型效果,代码注释详细,本科生可直接复现。

4.1 环境准备

需要的Python库(均为机器学习常用库,提前安装):

pip install numpy matplotlib seaborn scikit-learn

4.2 完整实战代码

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 数据集生成
from sklearn.datasets import make_regression
# 基础模型与Stacking封装
from sklearn.ensemble import RandomForestRegressor, GradientBoostingRegressor, StackingRegressor
from sklearn.svm import SVR
# 元学习器与调参
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split, GridSearchCV
# 模型评估指标
from sklearn.metrics import mean_squared_error

# 设置随机种子,保证实验可复现(本科/研究生实验必备)
np.random.seed(42)

# ---------------------- 1. 生成回归数据集并划分 ----------------------
# 生成合成数据:1000个样本,20个特征,噪声0.1
X, y = make_regression(n_samples=1000, n_features=20, noise=0.1, random_state=42)
# 划分训练集(80%)和测试集(20%)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
print(f"训练集样本数:{X_train.shape[0]},测试集样本数:{X_test.shape[0]}")

# ---------------------- 2. 定义基础模型(保证多样性) ----------------------
# 选择3个不同类型的基础模型:随机森林+梯度提升+SVM
base_models = [
    ('rf', RandomForestRegressor(n_estimators=100, random_state=42)),  # 树模型
    ('gbr', GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, random_state=42)),  # 提升树
    ('svr', SVR(C=1.0, epsilon=0.1))  # 核方法模型
]

# ---------------------- 3. 元学习器超参数调优(Ridge岭回归) ----------------------
# 定义元学习器:Ridge回归
ridge = Ridge()
# 定义待调参范围:alpha是正则化系数,越大正则化越强
param_grid = {'alpha': [0.1, 1.0, 10.0, 50.0, 100.0]}
# 5折交叉验证调参,评估指标为负均方误差(sklearn默认越大越好)
grid_search = GridSearchCV(ridge, param_grid, cv=5, scoring='neg_mean_squared_error', random_state=42)

# 用基础模型的训练集预测结果,训练调参器
base_preds = [model.fit(X_train, y_train).predict(X_train) for _, model in base_models]
grid_search.fit(np.column_stack(base_preds), y_train)
# 输出最优参数
best_alpha = grid_search.best_params_['alpha']
print(f"元学习器Ridge的最优alpha:{best_alpha}")
# 构建调优后的元学习器
optimized_ridge = Ridge(alpha=best_alpha)

# ---------------------- 4. 构建并训练Stacking堆叠模型 ----------------------
# 封装Stacking模型:基础模型+调优后的元学习器,5折交叉验证避免信息泄露
optimized_stacking_model = StackingRegressor(
    estimators=base_models,  # 第一层基础模型
    final_estimator=optimized_ridge,  # 第二层元学习器
    cv=5  # 5折交叉验证生成基础模型的预测值,核心避坑
)
# 训练Stacking模型(一键训练,sklearn已封装分层逻辑)
optimized_stacking_model.fit(X_train, y_train)

# ---------------------- 5. 模型预测与评估 ----------------------
# 对测试集做预测
y_pred = optimized_stacking_model.predict(X_test)
# 计算测试集均方误差(MSE越小,模型效果越好)
mse = mean_squared_error(y_test, y_pred)
print(f"Stacking模型测试集MSE:{mse:.4f}")

# 计算残差(真实值-预测值,用于分析模型拟合效果)
residuals = y_test - y_pred

# ---------------------- 6. 模型效果可视化(本科/研究生实验必备) ----------------------
# 6.1 真实值vs预测值散点图(越接近对角线,拟合效果越好)
plt.figure(figsize=(10, 6))
plt.scatter(y_test, y_pred, color='tab:blue', alpha=0.7, edgecolor='k', label='Predicted vs True')
plt.xlabel('True Values', fontsize=14)
plt.ylabel('Predicted Values', fontsize=14)
plt.title('Stacking Model: True vs Predicted Values', fontsize=16)
plt.legend()
plt.grid(True, linestyle='--', alpha=0.5)
plt.tight_layout()
plt.show()

# 6.2 残差直方图(残差服从正态分布,说明模型无系统误差)
plt.figure(figsize=(10, 6))
sns.histplot(residuals, kde=True, color='tab:orange', bins=30)
plt.xlabel('Residuals (True - Predicted)', fontsize=14)
plt.ylabel('Frequency', fontsize=14)
plt.title('Stacking Model: Histogram of Residuals', fontsize=16)
plt.grid(True, linestyle='--', alpha=0.5)
plt.tight_layout()
plt.show()

4.3 实战结果分析与关键步骤解读

  1. 数据集生成:用make_regression生成合成回归数据,避免了真实数据的预处理步骤,专注于Stacking模型本身,适合新手入门;
  2. 基础模型选择:严格遵循多样性原则,选择了树模型(随机森林)、提升树(GradientBoosting)、核方法(SVR)三种不同原理的模型,保证融合效果;
  3. 元学习器调优:用GridSearchCV对Ridge回归的正则化系数alpha做5折交叉验证调优,平衡拟合效果和过拟合;
  4. 核心避坑:在StackingRegressor中设置cv=5,通过交叉验证生成基础模型的预测值,彻底避免信息泄露;
  5. 可视化分析:
    • 散点图:预测值与真实值几乎重合在对角线,说明模型拟合效果极好;
    • 残差直方图:残差服从正态分布且均值接近0,说明模型无系统误差,泛化能力强。

拓展:如果要做分类任务,只需将基础模型换成分类模型(如RandomForestClassifier、SVC),元学习器换成逻辑回归(LogisticRegression),评估指标换成准确率、F1值、AUC即可,核心流程完全一致。

五、Stacking堆叠算法的优缺点分析

结合原理和实战,总结Stacking的核心优缺点,帮助本科/研究生理解其适用场景和局限性,避免盲目使用:

优点

  1. 模型优势互补,预测精度高:融合不同类型模型的优点,覆盖更多数据模式,比单个模型或同类型模型融合的精度更高,是Kaggle竞赛等追求极致精度任务的常用技巧;
  2. 有效减少过拟合:不同模型的错误类型不同,融合后可以互相弥补缺陷,降低单一模型对训练集噪音的过拟合风险;
  3. 灵活性极强:基础模型和元学习器都可以自由搭配,支持几乎所有机器学习模型(传统模型+浅层神经网络),适用于回归、分类、排序等各类监督学习任务;
  4. 支持超参数调优:基础模型和元学习器均可独立调优,通过交叉验证进一步提升模型的鲁棒性和泛化能力。

缺点

  1. 计算成本高,训练耗时:需要训练多个基础模型+1个元学习器,相比单个模型,训练时间和内存开销大幅增加,尤其在大数据集上更为明显;
  2. 可解释性差:分层式的融合结构导致模型的决策过程难以解释,无法像线性回归、决策树那样给出明确的特征权重或决策路径,不适合对可解释性要求高的场景;
  3. 依赖基础模型的表现:如果基础模型本身的预测精度很低,Stacking不仅无法提升效果,还可能因“融合错误结果”导致精度进一步下降;
  4. 存在信息泄露风险:如果未正确使用交叉验证生成基础模型的预测值,极易发生信息泄露,导致元学习器过拟合,模型在测试集上表现极差;
  5. 调参复杂度高:需要分别对每个基础模型和元学习器做超参数调优,调参工作量远大于单个模型。

六、Stacking与其他集成算法的对比(表格清晰版)

集成学习的核心方法有Stacking、Bagging、Boosting,还有Stacking的轻量变体Blending,本科/研究生极易混淆,以下从核心方法、模型多样性、计算开销、过拟合风险等维度做详细对比,一目了然:

特性Stacking(堆叠)Bagging(如随机森林)Boosting(如XGBoost)Blending(混合)
核心方法分层融合,元学习器学习如何组合基础模型预测样本随机采样,训练同类型模型,平均/投票预测串行训练,后一个模型修正前一个模型的错误简化版Stacking,用独立验证集训练元学习器
基础模型多样性要求高,必须不同类型模型(树+SVM+神经网络)低,仅用同类型模型(如多个决策树)低,仅用同类型弱模型(如多个决策树)中等,可使用不同类型模型,但数量通常较少
是否需要元学习器是,必须额外的元学习器融合结果否,直接平均/投票,无需额外模型否,加权迭代学习,无需额外模型是,但通常用简单的线性模型
计算开销高,多模型训练+元学习器训练适中,模型可并行训练(无依赖)较高,模型串行训练(后一个依赖前一个)较低,仅用少量基础模型+简单元学习器
过拟合风险低,交叉验证可有效避免,适合高方差问题低,随机采样降低过拟合,天生适合高方差问题高,学习率不当易过拟合,需正则化/早停低,独立验证集训练,过拟合风险极低
模型可解释性低,分层结构难以解释决策过程中等,可分析单棵树的决策路径/特征重要性低,加权迭代过程难以解释中等,比Stacking简单,易分析融合策略
代表算法自定义Stacking、sklearn.StackingRegressor随机森林、BaggingClassifierXGBoost、LightGBM、AdaBoost自定义轻量融合模型

关键差异总结

  1. Stacking vs Bagging:Stacking是模型融合,Bagging是样本融合;
  2. Stacking vs Boosting:Stacking是并行式融合(基础模型独立训练),Boosting是串行式提升(模型依次训练,互相依赖);
  3. Stacking vs Blending:Blending是Stacking的简化版,用独立的验证集代替交叉验证,实现更简单,计算成本更低,但泛化能力略差。

七、算法选型:何时选Stacking,何时选其他集成算法?

结合数据规模、计算资源、任务要求(精度/可解释性),给出明确的选型建议,本科/研究生做课程设计、竞赛,或工业界做项目时可直接参考,避免盲目选择:

优先选择Stacking的场景

  1. 追求极致的预测精度:如Kaggle竞赛、金融风险预测、精准营销等,对精度要求远高于可解释性,且计算资源充足;
  2. 数据模式复杂、异质性高:单一模型无法捕捉数据的全部特征,需要不同类型模型互补(如高维特征+非线性关系);
  3. 计算资源充足、数据量较大:能支撑多个基础模型的训练和调参,且大数据集能降低Stacking的过拟合风险;
  4. 无强可解释性要求:业务场景不要求解释模型的决策过程,仅关注预测结果的准确性。

优先选择其他集成算法的场景

  1. 计算资源有限,追求训练效率→选Bagging(随机森林):随机森林可并行训练,调参简单,训练速度快,且过拟合风险低;
  2. 数据量中等,想快速得到高精度模型→选Boosting(XGBoost/LightGBM):提升树的预测精度接近Stacking,且训练和调参成本远低于Stacking;
  3. 对模型可解释性有要求→选随机森林/决策树:可分析特征重要性、决策路径,比Stacking/Boosting更易解释;
  4. 数据量较小,担心过拟合→选Blending:轻量版Stacking,用独立验证集训练,实现简单,过拟合风险极低;
  5. 工程落地要求高→选XGBoost/LightGBM:工业界落地成熟,有高效的工程实现,而Stacking的多模型部署成本较高。

八、总结

Stacking作为集成学习中的高阶融合方法,核心价值是通过分层融合实现不同模型的优势互补,达到极致的预测精度,是本科/研究生必须掌握的集成学习算法之一,也是机器学习竞赛中的“提分神器”。

核心学习要点

  1. 理解分层逻辑:Stacking的核心是两层学习结构,基础模型做预测,元学习器学融合,这是与Bagging/Boosting的本质区别;
  2. 牢记避坑原则:避免信息泄露、保证基础模型多样性、元学习器宜简不宜繁,这是实现Stacking的关键;
  3. 掌握实战技巧:利用sklearn的StackingRegressor/StackingClassifier可快速实现Stacking,重点关注交叉验证和超参数调优;
  4. 明确选型思路:Stacking不是“万能算法”,仅适用于精度优先、计算资源充足、无强可解释性要求的场景,否则优先选择XGBoost、随机森林等更高效的算法。

拓展学习方向

  1. 多层Stacking:在基础模型层和元学习器层之间增加中间层,实现更复杂的融合,适合极复杂的数据模式;
  2. 与深度学习结合:将深度学习模型(如CNN、MLP)作为基础模型,与传统机器学习模型融合,提升非结构化数据(图像、文本)的预测精度;
  3. 模型融合的其他方法:如加权平均、投票法、堆叠法的组合,根据业务场景定制融合策略。

本文的原理推导和实战代码均做了简化和详细解释,适合本科/研究生入门和进阶,大家可以直接运行代码,替换基础模型、元学习器和数据集,适配自己的课程设计、竞赛和项目需求。

集成学习之Stacking 一、Stacking思想和主要步骤 Stacking可以理解成升级版的Blending,关键在于它使用了“Cross-validation”对训练集进行处理。 首先我们会得到两组数据:训练集和测试集。将训练集分成5份:train1,train2,train3,train4,train5。 选定基模型。这里假定我们选择了xgboost, lightgbm 和 randomforest 这三种作为基模型。比如xgboost模型部分:依次用train1,train2,train3,train4,train 阅读详情

相关推荐

数据挖掘竞赛利器-Stacking和Blending方式

一.Stacking思想简介 1.Stacking的思想是一种有层次的融合模型,比如我们将用不同特征训练出来的三个GBDT模型进行融合时,我们会将三个GBDT作为基层模型,在其上在训练一个次学习器(通常为线性模型LR),用于组织利用基学习器的答案,也就是将基层模型的答案作为输入,让次学习器学习组织给基层模型的答案分配权重。 2.下图是个简单的例子,A、B是学习器,C、D、E是进行答案再组织的次...

马飞飞的博客 4万+

【机器学习】集成学习——Stacking模型融合(理论+图解)

如果需要完整代码可以关注下方公众号,后台回复“代码”即可获取,阿光期待着您的光临~ 文章目录一、引言二、Stacking集成模型1.Stacking原理2.实现代码 2021人工智能领域新星创作者,带你从入门到精通,该博客每天更新,逐渐完善机器学习各个知识体系的文章,帮助大家更高效学习。 一、引言 对于单个模型来说很难拟合复杂的数据,而且对于单模型来说,模型的抗干扰能力较低,所以我们希望可以集成多个模型,结合多个模型的优缺点提高模型的泛化能力。 针对于集成学习一般有两种方式,第一种为Boosti.

优快云 精品推荐 4万+

bagging、boosting、Stacking(自助法、提升法、堆叠法)

创建日期:2021.01.20 修改日期:2021.01.20 文章目录1. 集成学习2. 基模型3. 基模型同质性4. 集成方法比较4. Bagging 自助法5. Boosting 提升法6. Stacking 堆叠法7. 参考资料 1. 集成学习 集成学习是一种机器学习范式。在集成学习训练多个模型(通常称为弱学习器)解决相同的问题,并将它们结合起来以获得更好的结果。 最重要的假设是:当弱模型被正确组合时,我们可以得到更精确和/或更鲁棒的模型。 2. 基模型 弱学习器就是基模型。作者认为基模型更准确,因

chenhepg的博客 4922

集成学习之Stacking(堆栈)方法

集成学习是监督式学习的一种。主流的方法有Bagging、Boosting和Stacking。本文主要对Stacking进行讲解分析。Bagging是采取投票或平均的方式来处理N个基模型的输出,而Stacking方法是训练一个模型用于组合之前的基模型。具体过程是将之前训练基模型的输出构造为一个训练集,以此作为输入来训练一个模型,以获得最终的输出。...

Iron_lyk Blog 1万+

stacking模型融合

模型融合 模型融合的方法 简单加权融合: 回归(分类概率):算术平均融合(Arithmetic mean),几何平均融合(Geometric mean); 分类:投票(Voting) 综合:排序融合(Rank averaging),log融合 stacking/blending: 构建多层模型,并利用预测结果再拟合预测。 boosting/bagging(在xgboost,Ad...

芒果冰麦 1万+

03_集成学习(Ensemble Learning)里的堆叠(Stacking)

集成学习(Ensemble Learning)里的堆叠 堆叠是我们将要学习的第二种集成学习技术。与投票一起,它属于非生成方法类,因为它们都使用经过单独训练的分类器作为基础学习器。元学习是广义的机器学习术语。它具有多种含义,但通常需要将元数据用于特定问题才能解决。它的应用范围从更有效地解决问题到设计全新的学习算法,这是一个正在发展的研究领域。堆叠是元学习的一种形式。主要思想是,我们使用基础学习器来生成问题数据集的元数据,然后使用另一个称为元学习器的学习器来处理元数据。基础学习器被认为是0级学习器,而元学习器被

oyww710的博客 5599

【机器学习之模型融合】Stacking堆叠法

Stacking堆叠法原理透析与应用

学习记录,厚积薄发 3万+

模型融合(集成算法) - 堆叠法 Stacking

参考: https://www.cnblogs.com/jiaxin359/p/8559029.html https://www.jianshu.com/p/7fc9aa03ec11 文章目录前言一、概念理解二、执行步骤三、使用mlxtend库实现Stacking方法3.1 基于类别或者概率3.2 基于特征 前言   将个体学习器结合在一起的时候使用的方法叫做结合策略。对于分类问题,我们可以使用投票法来选择输出最多的类。对于回归问题,我们可以将分类器输出的结果求平均值。   上面说的投票法和平均法都是很

weixin_50304531的博客 5593

【机器学习大杀器】Stacking堆叠模型

Kaglle比赛中使用Stacking模型是非常常见的大杀器,这是为什么呢?

向往有那么一天梦幻的步态识别落地,开花❀! 3124

C9300L Stacking堆叠

根据基础架构的物理设置,可能需要不同的堆叠电缆。每个Cisco Catalyst SW最多支持两个用于数据堆叠的堆栈,电缆表1和2列出了Catalyst 9300型号的可用堆叠电缆。单独的设备运行没有问题,但是在没有插入堆叠模块的时候,插入堆叠线缆,可能会出现设备会疯狂运转,也无法识别堆叠线缆,设备无法启动。这里的以C9300L为例,如下是C9300L使用的Stackwise-320的堆叠线。,他先将所有的设备按1-2,2-3,以及1-3的方式连接成环。设备堆叠的组件,除了设备之外,需要堆叠模块和堆叠线!

剪刀石头布 989

堆叠泛化(Stacking Generalization)

Stacking是一种通用的通过训练学习器来结合个体学习器的方法,堆叠泛化是一种在集成学习中对数据从纵向进行划分的技术,一般称为SG技术,其一般用于最小化一个或多个泛化器的泛化误差率。 基本思想为:数据划分的纵向上有两层学习器,把Level 0的Base-learner学习器的输出,作为Level 1学习器的输入,Level 1的学习器又被称为Meta-learner或者Generalizer。 Stacking Generalization首次由Wolpert1于1992年提出,并且他认为这类似于对交叉验

weixin_42494367的博客 2946

模型整合之模型堆叠——详细理解Stacking model

详解Stacking 模型融合的基本原理(内附代码、论文资源网页)

zzoo2200的博客 7558

MATLAB算法实战应用案例精讲-【集成算法】集成学习模型stacking(附Python和R语言代码)

​ 模型堆叠是一种数据科学基础方法,它依赖于多个模型的结果,即将多个弱学习器的结果进行组织,往往胜过单一的强模型。过去几年中大多数主要 kaggle 比赛的获胜者在最终获奖模型中都使用了模型堆叠。​ 堆叠模型类比于现实世界的例子,就比如商业团队,科学实验,或者体育团队。如果团队中的所有成员都非常擅长完成同样的任务,那么团队就会摧毁任何需要这个任务的挑战。Stacking也被称为叠加泛化,是David H. Wolpert在1992年提出的集成技术的一种形式,目的是通过使用不同的泛化器来减少错误。

qq_36130719的博客 2999

堆叠泛化(Stacking)

文章摘要: 堆叠泛化(Stacking)是一种集成学习方法,通过训练一个元学习器智能组合多个基础模型的预测结果,提升模型性能。其核心是两层结构:第一层由多样化的基学习器生成初步预测,第二层由元学习器优化组合这些预测。Stacking采用K折交叉验证防止数据泄露,训练流程复杂但效果显著。相比简化的Blending方法,Stacking数据利用率更高、过拟合风险更低,但计算成本更大。适用于追求高精度的场景,如Kaggle竞赛,而Blending更适合大规模数据或快速建模需求。

彩云回的博客 1557

一文搞懂:什么是Stacking堆叠?手把手带你搭建堆叠模型,附有python源码和数据集。

Stacking 通过整合多个基学习器的预测结果,结合元学习器的学习能力,能够显著提升模型的预测性能。它不仅能提高预测的准确性,还能减少过拟合风险,适用于多种复杂的机器学习任务。然而,Stacking 也存在训练时间长、计算开销大的问题,因此在使用时需要根据具体情况权衡。# 忽略所有警告# 对需要转换的列进行对数转换# 为了避免对数运算中的负值或零,加上常数1,确保数据不为零。

专注技术的博主 3096

语言 拉丁超立方抽样_医学统计与R语言:间断时间序列分析(Interrupted time series regression)...

微信公众号:医学统计与R语言如果你觉得对你有帮助,欢迎转发Interrupted time series (ITS) analysis is a valuable study design for evaluating the effectiveness of population-level health interventions that have been implemented...

weixin_29300805的博客 3706

【机器学习】集成学习之Stacking(堆叠泛化)

Stacking(有时候也称之为stacked generalization,堆叠泛化)是指训练一个模型用于组合 (combine)其他各个模型。即首先我们先训练多个不同的模型,然后再以之前训练的各个模型的输出为输入来训练一个模型,以得到一个最终的输出。如果可以选用任意一个组合算法,那么理论上,Stacking可以表示前面提到的各种Ensemble方法。然而,实际中,我们通常使用单层logistic回归作为组合模型。

ueke1的博客 4万+

高精地图语义分割标注

什么是语义分割?语义分割与目标检测的区别?语义分割的关键应用场景有哪些?高精地图语义分割标注的难点?

weixin_52509513的博客 1652

【集成算法】

初始化方法:在`__init__`方法中,定义了网络的结构,包括两个卷积层(`conv1`和`conv2`)、两个最大池化层(`pool1`和`pool2`)以及两个全连接层(`fc1`和`fc2`)。以下是对这些核心内容的简要概述:1. 导入模块: - 导入了PyTorch库及其子模块,包括`torch`、`torch.nn`、`torch.optim`、`torch.nn.functional`和`torch.backends.cudnn`。通过集成不同模态的特征,可以提高识别的鲁棒性。

2502_90678230的博客 516

R语言笔记三:矩阵、数组、列表和数据框

1.矩阵        矩阵是二维的,需要有行和列。向量是一维的。        在R软件中,矩阵是有维数的向量,这里的矩阵元素可以是数值型、字符型或者逻辑型,但是每个元素必须拥有相同的模式,这个和向量一致。 (1)创建矩阵: m <- matrix(1:20,4,5) 行数和列数的分配必须满足分配条件。若分配的行列过大,分配的元素不足够,则报错。 m <-

weixin_44384631的博客 6211

线性代数——(期末突击)行列式(上)-行列式计算、行列式的性质

简单解释一下:4213原本的顺序应为1234,对于‘4’而言,‘2’、‘1’、‘3’都应该排在它的前面,所以此处记逆序数为3;对于‘2’而言,‘1’应该排在它的前面,而‘3’排在它之后 是合理的,所以此处只有一个逆序数;最后看‘1’,其后面的‘3’排在后面显然也是合理的,故而4213的逆序数为4.一般我们使用这个性质来计算四阶行列式,也就是将其变换成三角行列式,再计算对角线的值;以主对角线为分界线的就为正三角,反之则为反三角行列式。若行列式某一行(列)为0,则该行列式=0.将和的那一行分开,其余行。

li13437542099的博客 1万+

【多层堆叠集成模型(Stacking Ensemble)详解】

堆叠集成(Stacking,简称Stacking)是一种通过训练多个不同的基学习器(Base Learners),然后再将这些基学习器的预测结果作为新特征,交给一个新的学习器(称为元学习器,Meta Learner)进行训练的集成方法。堆叠集成可以看作是一个层叠结构,其中每一层包含一个或多个模型。

专注技术的博主 2363

阻抗匹配与史密斯(Smith)圆图

在找到点B和B'后,我们就能够测量A'到B和B'到D的弧长,前者就是C的归一化电纳值,后者为L的归一化电抗值。当然,表面上看新的点好像是一个不同的阻抗,实际上Z和1/Y表示的是同一个元件(这个新值在圆图上呈现为一个不同的点,而且反射系数也不相同,依次类推)。出现这种情况的原因是我们的图形本身是一个阻抗图,而新的点代表的是一个导纳。这个方程是在复平面(Γr, Γi)上、圆的参数方程(x - a)² + (y - b)² = R²,它以[r/(r + 1), 0]为圆心,半径为1/(1 + r)。

qq_55759599的博客 3963
上一篇: 【集成算法】XGBoost超详细解析
下一篇: 【集成算法】极端随机森林详解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值