回归树,Gradient Boosting和GBDT

本文介绍了GBDT(Gradient Boosting Decision Tree)的主要组成部分,包括回归树(Regression Decision Tree)和Gradient Boosting。回归树是通过决策树进行分段的线性函数,而Gradient Boosting是一种优化残差的Boosting方法,尤其适用于平方损失函数。文中还讨论了Gradient Boosting的优点,如避免过拟合,并引用了李航的《统计学习方法》等相关资料。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一开始听到GBDT的时候,表示完全没听过,所以查了查相关资料研究一下,发现李航的《统计学习方法》里面就有讲,只不过没有叫GBDT这个名字就是了。

GBDT主要知识点分为两个,一个是回归树(DT,Regression Decision Tree),Gradient Boosting(GB)

Regression Decision Tree回归树

对于回归树和决策树来说,一般都是放到一块去说的,统一叫做CART方法(Classification And Regression Tree)。
但是之前只是对决策树比较熟,对回归树平时用的太少了, 之前对回归树感觉只是知道概念,但是不知道具体的一些细节。看了一些文章觉得也没写的太明吧,于是干脆去看源码。很多细节顿时一目了然。参考资料如下:
《机器学习实战》笔记之九——树回归
《机器学习实战》第九章回归树错误
下面列出了几个细节:

  1. 叶子结点里面储存的是一个线性回归的方程参数。所以回归树本质上相当于一个分段的线性函数,如何分段呢,就是通过决策树去分段。这种方法其实已经不叫回归树了,叫模型树【或者叫树回归】。回归树特制的情况下,是指叶子结点的值是一个点【这个点是叶子节点中所有点的均值】。模型树的可解释性是它优于回归树的特点之一。模型树也具有更高的预测准确度。利用树生成算法对数据进行切分,且每份切分数据都能很容易被线性模型所表示。
  2. 在递归建树的过程中,选择最优切分特征和最优切分点位,是依次遍历所有特征,然后再遍历所有的点在这个特征上的取值,找到一个最优的切分点。

以上这两个是我之前不是很理解的小细节,看了源码之后感觉好了很多。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值