weixin_45424997的博客

、

为什么GBDT二分类的初始化第一个弱学习器 F0(x)=log[P(Y=1∣x)/(1−P(Y=1∣x))]F_0(x)=log[P(Y=1|x) /(1-P(Y=1|x))]F0​(x)=log[P(Y=1∣x)/(1−P(Y=1∣x))]P(Y=1|x)为训练样本中y=1的比例 ...

恰逢最近在学习提升树（boosting tree）算法，参考了李航统计学习方法（第二版），但仍觉有一些疑惑，遂上网看了很多资料但仍感觉有些细节不清楚，主要原因是网上的公式符号使用自成一体，且一些结论缺少具体推理，于是以李航统计学习书上的公式表达为基础，记录一些思考。 一：采用平方误差损失函数时损失函数的负梯度就是提升树的残差 首先在书8.4节，167页，当损失函数为负梯度时： 其中 分别代表真...