决策树学习笔记

决策树学习笔记

决策树的输入可以是离散值和连续值，输出可以使离散值（分类树）和连续值（回归树）。

回归树

参考： https://blog.youkuaiyun.com/weixin_40604987/article/details/79296427

每次分隔的时候用一个特征的超平面将样本空间一分为二，使得每一个叶子的节点在不相交的空间。假如我们有n个特征，每个特征有si(i∈(1,n))个取值，那我们遍历所有特征，尝试该特征所有取值，对空间进行划分，直到取到特征j的取值s，使得损失函数最小，这样就得到了一个划分点。假设将输入空间划分为M个单元：R1,R2,…,Rm 那么每个区域的输出值就是：cm=ave(yi|xi∈Rm)也就是该区域内所有点y值的平均数。描述该过程的公式如下：

这样做产生的效果是划分的每一个空间有内的点在划分特征的空间上都很紧凑。
划分后每一个节点的输出值是平均值。