MATLAB算法实战应用案例精讲-【集成算法】集成学习模型stacking（附Python和R语言代码）

目录

前言

几个高频面试题目

1.哪种集成技术更优？什么情况下选择哪种集成技术呢？

2.stacking与其他集成算法之间的对比

算法原理

什么是集成学习

集成学习的条件

为什么要进行集成学习

算法思想

 集成学习堆叠法（stacking）

堆叠法（Stacking）

多层堆叠法（Multi-levels Stacking）

Stacking中的模型选择

Stacking中的过拟合问题

stacking的算法过程

stacking在scikit-learn中的应用

分类问题

逻辑回归（StackingClassifier--LogisticRegression）

线性回归（StackingRegressor--LinearRegression）

回归问题

EnsembelVoteClassifier

应用案例

1.波士顿房价预测

伪代码

英文版 

中文版

​编辑

 优缺点

 集成算法的应用

1 在时间序列上的应用

2 在医疗健康上的应用

3 在入侵检测系统中的应用

代码实现

Python

三种集成方法对比

 Stacking集成代码

R语言

前言

​ 模型堆叠是一种数据科学基础方法，它依赖于多个模型的结果，即将多个弱学习器的结果进行组织，往往胜过单一的强模型。过去几年中大多数主要 kaggle 比赛的获胜者在最终获奖模型中都使用了模型堆叠。

​ 堆叠模型类比于现实世界的例子，就比如商业团队，科学实验，或者体育团队。如果团队中的所有成员都非常擅长完成同样的任务，那么团队就会摧毁任何需要这个任务的挑战。

Stacking也被称为叠加泛化，是David H. Wolpert在1992年提出的集成技术的一种形式，目的是通过使用不同的泛化器来减少错误。

叠加模型利用来自多个基础模型的预测来构建元模型，用于生成最终的预测。堆叠模型由多层组成，其中每一层由几个机器学习模型组成，这些模型的预测用于训练下一层模型。

在叠加过程中，将数据分为训练集和测试集两部分。训练集会被进一步划分为k-fold。基础模型在k-1部分进行训练，在kᵗʰ部分进行预测。这个过程被反复迭代，直到每一折都被预测出来。然后将基本模型拟合到整个数据集，并计算性能。这个过程也适用于其他基本模型。

来自训练集的预测被用作构建第二层或元模型的特征。这个第二级模型用于预测测试集。