GBDT分类任务中的残差计算原理
GBDT在分类任务中的残差计算基于负梯度方向，对于二元分类，使用二项式偏差损失函数，残差为y与经过logistic函数得到的概率预测值pred之间的差值。在多类别分类中，通过转换为多个二元分类问题来计算。分类器内部实际上使用的是回归树。
大家都知道，对于回归任务，GBDT的loss=(y-pred)^2，因此残差residual=2*(y-pred)很容易理解。
那么，GBDT做分类任务时，残差是怎样的呢？？？
Gradient Boosting attempts to solve this minimization problem numerically via steepest descent，
The steepest descent direction is the negative gradient of the loss function evaluated at the current model 
，
which can be calculated for any differentiable loss function。
The algorithms for regression and classification only differ in the concrete loss function used.
下面以分类的deviance为例：http://scikit-learn.org/stable/modules/ensemble.html#loss-functions
Classification
- Binomial deviance (
'deviance'): The negative binomial log-likelihood loss function for binary classification (provides probability estimates). - The initial model is given by the log odds-ratio.
0）
最低0.47元/天 解锁文章
扫一扫
7499
到【灌水乐园】发言
