算法基础-提升

https://blog.youkuaiyun.com/On_theway10/article/details/83576715




argmin(x)思想：在m-1个分类器的基础上，再加一个分类器fx，并与真实值做比较，看哪一个fx使得损失函数最小，就把该分类器fx加到原来的m-1个分类器当中。

提升算法的步骤

梯度下降中的学习率γ是人工给的，这里的γ可以算出来，γ是自适应的
问题：1.初始常函数f0x怎么给定？
2.怎么用残差，x 来拟合基函数

xgboost

只用一阶导数需要γ学习率，

目标函数求解后能够得到叶子结点的值，此时只需关注子树如何划分

这里的增益为损失函数的变化量，选择按该阈值划分后，使得损失函数减少最大的那个阈值划分

Adaboost

对于预测错误的样本，增加他的权值，预测正确的样本，减少他的权值

em为误差率，误差率越小，am越大，误差率越大，am越小，am有2个用处，1个是作为分类器的权值，误差越小的，权值越大，第二个是用来计算样本的权值

zm是为了归一化;
权值的更新是wm+1乘以 exp（*）,如果分类分错了，yG(x)<0，am>0,则-amG(x)>0,所以exp(x)>1,
相当于权值乘以一个大于1的数，即分类如果分错了，增加权值；同理如果分对了，exp(x)<1，权值会变小。