CART 分类和回归树

Starry memory

已于 2022-05-01 10:36:04 修改

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习算法数据挖掘

于 2021-01-08 11:21:39 首次发布

本文链接：https://blog.youkuaiyun.com/doswynkfsw/article/details/112347192

机器学习专栏收录该内容

22 篇文章

订阅专栏

CART算法既能用于构建分类树也能构建回归树。在回归树中，通过最小化平方误差来寻找最优切分点；在分类树中，基尼指数是选择特征和分割点的主要依据。对于离散特征，直接按区域计算，而对于连续特征，需要排序后选取最佳切分点。最后，通过组合多个区域的平均值来预测结果。CART在处理连续和离散特征时有不同的策略，确保了模型的适用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

CART(Classification And Regression Tree)可以做分类树也可以做回归树。注意特征可以是不同的类别，标签也可以是不同的类别。

回归树

求最优的数据切分点，首先要对单列特征排一个序，然后依据排序好的特征和标签选择最优的切分点。如果为多特征时，会对特征做一个选择，依据的标准是最小化的下列式子的值，与特征没有关系，仅仅与lable是有关系的。CART是分类树时用GINI（基尼指数）值作为节点分裂依据。 $j$ 表示的应该是第 $j$ 个特征
$\min _{j, s}\left[\min _{c_{1}} \sum_{x_{i} \in R_{1}(j, s)}\left(y_{i}-c_{1}\right)^{2}+\min _{c_{2} } \sum_{x_{i} \in R_{2}(j, s)}\left(y_{i}-c_{2}\right)^{2}\right]$
$j$ 是与 $x$ 有关系的，表示为 $x^{(j)}$ , $s$ 是切分点。
最后的树为：
$f(x)=∑m=1Mc^mI(x∈R) f(x)=\sum_{m=1}^{M} \hat{c}_{m} I(x \in R)$
$M$ 表示划分的区域数， $I$ 表示如果在某一个区域则为1，不在则为0。上述为回归树，分类树需要考虑基尼指数等。

上述考虑了特征是连续的，如果特征是离散的的那么需要考虑什么问题呢？
答：可以按照离散的特征进行分区域计算。

CART分类树

分类树需要考虑基尼指数，通过基尼指数，我们可以选择最优特征和最优分割点。

在这里插入图片描述

上述考虑了特征是离散的，如果特征是连续的那么需要考虑什么问题呢？
答：使用CART分类树，哪个类别就当做是哪一类。

参考资料

https://www.cnblogs.com/limingqi/p/12421960.html
https://www.cnblogs.com/keye/p/10564914.html
https://www.cnblogs.com/keye/p/10564914.html
https://blog.youkuaiyun.com/qq_40006058/article/details/80530358