weixin_44427495的博客

集成学习模型的常见算法有Bagging算法和Boosting算法两种。随机森林模型是Bagging算法的典型代表，AdaBoost模型和GBDT模型则是Boosting算法的典型代表。AdaBoost算法(Adaptive Boosting)以一种高度自适应的方式按顺序训练弱学习器。针对分类问题：AdaBoost算法根据前一次的分类效果调整数据的权重，在上一个弱学习器中分类错误的样本的权重会在下一个弱学习器中增加，分类正确的样本的权重则相应减少，并且在每一轮迭代时会向模型加入一个新的弱学习器。不断重复调整

如何衡量实际值与预测值的接近程度？数学上，通过两者差值的平方和（又称为残差平方和）来衡量。机器学习领域，残差平方和又称为回归模型的损失函数。针对离散型变量（即分类问题分析），常用0-1损失函数和指数损失函数；针对连续型变量（即回归问题分析），常用L1范数损失函数和L2范数损失函数。损失函数越小，代表模型拟合效果越好。损失函数如下：风险函数可以认为是平均意义下的损失，又称为期望损失。N为样本总数，yi为样本i的实际值，f为i的预测值。但损失函数也并非越小越好，若损失函数过小，容易出现过拟合。为了