连续与缺失值
决策树给我们的印象更多是处理离散属性,但是在实际的任务中也会遇到连续属性,或者属性中有缺失值的情况,那么我们对于这种数据我们如何进行处理。
1. 连续值处理
因为连续属性的可取值数目不再有限,因此,不能直接根据连续属性的可取值来对结点进行划分,否则,这样的决策树毫无泛化能力。所以,我们将连续属性进行离散化。最简单的策略是采用“二分法”,C4.5决策树算法中也是使用的这种机制。
给定样本集D和连续属性a,假定a在D上出现了n个不同的取值,我们将这些值从小到大进行排序,记为,然后使用二分法进行划分。首先我们选择
作为我们当前划分的阈值,将在属性a上值小于等于
的样本分为一类,大于
的分为另外一类,这样就产生了分支,然后再计算这样划分之后的信息增益;接下来重新选择