本文探讨了Stacking模型融合的核心原理，强调了第一层模型的差异化和准确性重要性，以及如何避免过拟合。Stacking并非层数越多越好，通常两层已足够，过多可能导致过拟合。第一层模型数量较多有利于特征学习，但需关注模型性能，移除表现较差的模型。当Stacking效果不佳时，可能是因为数据集过小、模型准确性不足、基分类器数量少或信息捕捉不全。解决方案包括选用合适的数据集、优化模型、增加基分类器多样性或在第二层加入原始数据。
关于模型融合的原理以及模型融合的各种方法的文章帖子太多太多，不得不说千篇一律，然而模型融合怎么总感觉是‘别人家的模型融合’，自己模型融合效果没有提升反而下降了呢？我们说说被称为kaggle后期杀手锏的Stacking。
一、简单说下Stacking最核心的两个点，推荐以下文章了解stacking其他内容。
1、我们知道Bagging是一种集成框架，它的基学习器追求的是“弱而不同”。bagging中的学习器往往是决策树，主要就是看中了决策树的不稳定性(instability)。过于准确的基学习器会使得bagging的集成失去意义。
Stacking也可以认为是一种集成框架，不过有别于Bagging的是，Stacking是集百家之长，即集多个不同模型的长处而产生更好的结果。即要求各个基分类器满足：差异化(diversity)要大、准确性(accuracy)要高
同样是集成模型，为什么两者的基学习器恰恰相反呢？
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
