weixin_46714700的博客

Stacking stacking：stacking是一种分层模型集成框架。以两层为例，第一层由多个基学习器组成，其输入为原始训练集，第二层的模型则是以第一层基学习器的输出作为特征加入训练集进行再训练，从而得到完整的stacking模型。stacking的方法在各大数据挖掘比赛上都很风靡，模型融合之后能够小幅度的提高模型的预测准确度。 利用多个模型进行训练，再用各个模型进行融合，在运用在比赛中，可以提高分数 为什么做stacking之后，准确率反而降低了？ 1、数据集小 2、代码问题 3、某个模型表现差，影

Boosting 1、Adaboost的基本思路 Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器） 2、Adaboost与GBDT的联系与区别 3、Boosting与Bagging的区别，以及如何提升模型的精度 4、使用基本分类模型和Boosting提升的模型，并画出他们的决策边界 5、尝试使用XGboost模型完成一个具体的分类任务，并进行调参 ...

Bagging 什么是bootstraps 自助采样(bootstrap)，是有放回的从数据集中进行采样，意味着同样的一个样本可能被多次进行采样 　　（1） 采用重抽样技术从原始样本中抽取一定数量（自己给定）的样本，此过程允许重复抽样。 　　（2） 根据抽出的样本计算给定的统计量T。 　　（3） 重复上述N次（一般大于1000），得到N个统计量T。 　　（4） 计算上述N个统计量T的样本方差，得到统计量的方差。 bootstraps与bagging的联系 bagging是指从训练集从进行子抽样组成每个基模型