决策树划分与剪枝

1、决策树划分选择

决策树学习的关键——如何选择最优划分属性。我们所期望的是,随着划分过程的不断进行,希望决策树的分支结点所包含的的样本尽可能属于同一类别,即结点的“纯度”要尽可能的高。

1.1 信息增益

要说信息增益,我们先来了解一下信息熵。

“信息熵“是度量样本集合纯度最常用的一种指标。假设当前样本集合D中第k类样本所占的比例为p_k(k=1,2,......,n)

则D的信息熵定义为:

                                Ent(D)=-\sum _{k=1}^{n}p_klog_2{p_k}   

 

Ent(D)的值越小,则D的纯的越高。

假定离散属性a有V个可能的取值\{a^1,a^2,...,a^V\},若使用a来对样本集D进行划分,则会产生V个分支结点,其中第v个分支节点包含了D中所有在属性a上取值为a^v的样本,记为D^v,考虑到不同的分支结点所包含的样本数不同,给分支结点赋予权重|D^v|/|D|,即样本数越多的分支节点的影响越大,于是用属性a对样本集D进行划分所获得的“信息增益”为

                               Gain(D,a)=Ent(D)-\sum _{v=1}^{V}\frac{|D^v|}{|D|}Ent(D^v)

一般而言,信息增益越大,意味着使用a来进行划分所获得的”纯度提升”越大,因此,我们可以用信息增益来进行决策树的划分属性选择,ID3决策树算法就是以信息增益为准则来选择划分属性。

例子:机器学习P76

1.2 信息增益率

实际上,信息增益准则对可取值数目较多的属性有所偏好(例如“编号”,每个分支仅包含一个样本,这些分支节点的纯度已达到最大,然而这样的决策树没有意义,不具有泛化能力,无法对新样本进行有效预测),所以为了减少这种偏好可能带来的不利影响,我们不再依据信息增益来选择最优划分属性,而是选择信息增益率。

信息增益率定义为:

                                     Gain\_Ratio(D,a)=\frac{Gain(D,a)}{IV(a)}

其中                             

                                       IV(a)=-\sum _{v=1}^{V}\frac{|D^v|}{|D|}log_2\frac{|D^v|}{|D|}         称为属性a的“固有值”,属性a的可能取值数目越多(即V越大),则IV(a)的值越大。

此时我们需要注意的是:增益率准则对可取值数目较少的属性有所偏好,因此,C4.5算法并不是直接选择增益率最大的候选划分属性,而是先从候选划分属性中找出信息增益高于平均水平的属性,再从中选择增益率最高的。

1.3

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值