Datawhale 零基础入门数据挖掘二手车预测task05

Detail 零基础入门数据挖掘 (心跳信号分类) 学习反馈TASK4

使用语言：python

Tas1 – Task5

Task5模型融合

• 简单加权融合:
  • 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；
  • 分类：投票（Voting)
  • 综合：排序融合(Rank averaging)，log融合

• stacking/blending:

  • 构建多层模型，并利用预测结果再拟合预测。

• boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）:

  • 多树的提升方法

本次的重点：理解并运用stacking，融合方法与案例的实际运用

方法：LR、Ridge、LASSO、GBDT、XGBoost
常见的两种：LGB和XGBoost


模型融合的本质之一是提分和提升模型鲁棒性。
通常会关注三个层面的融合；

• 1）结果层面的融合，这种是最常见的融合方法：比如根据结果的得分进行加权融合，还可以做Log，exp处理等。在做结果融合的时候，有一个很重要的条件是模型结果的得分要比较近似，然后结果的差异要比较大，这样的结果融合往往有比较好的效果提升。

• 2）特征层面的融合，准确说可以叫分割，很多时候如果我们用同种模型训练，可以把特征进行切分给不同的模型，然后在后面进行模型或者结果融合有时也能产生比较好的效果。

• 3）模型层面的融合，模型层面的融合可能就涉及模型的堆叠和设计，比如加Staking层，部分模型的结果作为特征输入等，这些就需要多实验和思考了，基于模型层面的融合最好不同模型类型要有一定的差异，用同种模型不同的参数的收益一般是比较小的。

补充上一次的模型调参结果

• 贪心调参

• 贝叶斯调参
  

• 网格调参
  - 提高准确率