模型集成

集成模型可以提高算法的准确性和鲁棒性

bootstrapping

• bootstrap方法是指的随机抽样和替换，即重采样，是的模型可以理解重采样中存在的偏差方差和特征

bagging

• bagging生成一个预测器的多个版本，并使用这些版本获得一个聚合预测器。
  
• 当进行分类时，多个模型进行投票。当进行回归分析时，多个模型进行平均。各个模型的权重相同
• bagging的重点是获得一个方差较低的集成模型

boosting

• boosting使模型之间富有衔接性，而不是像bagging使各个模型之间相互独立。
• boosting同样需要bootstrapping，每个模型都规定了下一个模型关注的特性。
• 
• boost会追踪样本，对于分类错误较多的样本会赋予更重的权重，加以更多次数的迭代训练
• boosting和stackIng的重点是生成一个偏置较小的集成模型（方差也会相应降低）

stacking

• 与以上两种方法不同的是：stacking通常考虑的是异质学习器；并且，stacking学习用元模型组合基础模型，而以上两种方法根据确定性算法组合弱学习器
• 例子：对于某个分类问题，将KNN，SVM，logit回归作为弱学习器，将神经网络作为元模型，将三个弱学习器的输出作为元模型的输入，进行最终的预测
• 当需要拟合由L个弱学习器组成的stacking模型时的步骤：

1. 训练数据分为两组
2. 用第一组数据拟合L个弱学习器
3. 用L个弱学习器对第二组数据进行预测
4. 使用弱模型的输出作为元模型的输入拟合元模型

• 缺点：只有一半的数据可以训练基础模型，另一半要用于训练元模型（解决方法：K折交叉训练）