本文详细介绍了梯度提升分类树中交叉熵损失函数的推导过程，从基本的交叉熵公式出发，结合sigmoid函数，逐步化简得到最终形式。通过这个推导，展示了损失函数如何与决策树的输出相结合，为理解梯度提升算法的内在工作机制提供了清晰的数学基础。
梯度提升分类树损失函数化简过程
损失函数：
-
定义交叉熵为函数 ψ ( y , F ( x ) ) \psi(y,F(x)) ψ(y,F(x))
-
ψ ( y , F ( x ) ) = − y l n ( p ) − ( 1 − y ) l n ( 1 − p ) \psi(y,F(x)) = -yln(p) - (1-y)ln(1-p) ψ(y,F(x))=−yln(p)−(1−y)ln(1−p)
- 其中 p = 1 1 + e x p ( − F ( x ) ) p = \frac{1}{1 + exp(-F(x))} p=1+exp(−F(x))1 ，即sigmoid函数
- F ( x ) F(x) F(x) 表示决策回归树 DecisionTreeRegressor F(x) 表示每一轮决策树的value，即负梯度
推导过程
将 p = 1 1 + e x p ( − F ( x ) ) p = \frac{1}{1 + exp(-F(x))} p=1+exp(−F(x))1 带入上面损失方程
ψ ( y , F ( x ) ) = − y l n ( p ) − ( 1 − y ) l n ( 1 − p ) = − y l n 1 1 + e x p ( − F ( x ) ) − ( 1 − y ) l n ( 1 − 1 1 + e x p ( − F ( x ) ) ) = − y l n ( 1 + e x p ( − F ( x ) ) ) − 1 − ( 1 − y ) l n e x p ( − F ( x ) ) 1 + e x p ( − F ( x ) ) = y l n ( 1 + e x p ( − F ( x ) ) ) − ( 1 − y ) ( − F ( x ) − l n ( 1 + e x p ( − F ( x ) ) ) ) = y l n ( 1 + e x p ( − F ( x ) ) ) + ( 1 − y ) ( F ( x ) + l n ( 1 + e x p ( − F ( x ) ) ) ) = F (
最低0.47元/天 解锁文章
扫一扫
1542
到【灌水乐园】发言
