决策树

最新推荐文章于 2021-02-20 22:33:49 发布

原创最新推荐文章于 2021-02-20 22:33:49 发布 · 258 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #决策树

机器学习专栏收录该内容

1 篇文章

订阅专栏

决策树是一种常用的机器学习算法，用于分类任务。它通过选择最佳特征进行递归划分，生成树形模型。常见算法包括ID3、C4.5和CART，分别使用信息增益、信息增益比和基尼指数作为特征选择标准。决策树的学习过程涉及特征选择、生成和剪枝，以防止过拟合。预剪枝和后剪枝是两种常用的剪枝策略，用于提高决策树的泛化能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

决策树

决策树(decision tree)亦称“判定树”是一类常见的机器学习方法。以二分类任务为例，我们希望从给定训练集学得一个用以对新示例进行分类。比如根据书上的西瓜各种特征来最终得到这个瓜是不是好瓜。决策树的分类算法是基于实例的归纳学习算法。能从给定的一些完全无序的训练样本中，提炼出树形的分类模型。决策树的生成是一个递归的过程。树的非叶子节点记录了使用哪一个特征进行判断；叶子节点给出了最后的判断。决策树是一种监督学习

决策树的学习过程主要是：

特征选择：选择哪个特征作为当前节点的判断依据
决策树生成：以递归的方式生成树
剪枝：解决“过拟合”的主要手段，主要有“预剪枝”和“后剪枝”

常见的决策树算法分为ID3、 C4.5、CART算法，ID3算法主要是根据“信息增益“来选择特征的；C4.5算法是根据”信息增益比“来选择特征；而CART算法则是根据”基尼指数“来选择特征。

特征选择

信息增益

“信息熵”是度量样本集合纯度最常用的一种指标。假定当前样本集合D中第k类样本所占的比例为pk(k=1,2,…)，信息熵的定义为：

Ent(D)的值越小，D的纯度越高。由此得到“信息增益”的公式：

信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。

ID3算法就是通过获得各个特征的“信息增益”的值，选择其中最大的作为当前非叶子节点的判断依据。

增益率

信息增益准则对可取值数目较多的属性有所偏好，为了减少这种偏好可能带来的不利影响。C4.5算法使用“增益率”来划分最优属性。增益率定义:

IV(a)成为属性a的“固有值”，a的可能取值数目越多，则IV(a)的值通常会越大。注意：C4.5算法并不是直接选择增益率最大的属性作为候选划分属性，而是：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

基尼指数

CART算法使用“基尼指数”来选择划分属性，并且选择基尼指数最小的那个属作为最优划分属性。数据集D的纯度可用基尼值来度量：

Gini(D)的意义是：从数据集D中随机抽取两个样本，其类别标记不一致的概率，因此，Gini(D)越小，数据集(D)纯度越高。

决策树生成(ID3)

这里使用书上的那个西瓜例子

数据集

def data_set():
    dataSet = [['青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '是'],
               ['乌黑', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', '是'],
               ['乌黑', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '是'],
               ['青绿', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', '是'],
               ['浅白', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '是'],
               ['青绿', '稍蜷', '浊响', '清晰', '稍凹', '软粘', '是'],
               ['乌黑', '稍蜷', '浊响', '稍糊', '稍凹', '软粘', '是'],
               ['乌黑', '稍蜷', '浊响', '清晰', '稍凹', '硬滑', '是'],
               ['乌黑', '稍蜷', '沉闷', '稍糊', '稍凹', '硬滑', '不是'],
               ['青绿', '硬挺', '清脆', '清晰', '平坦', '软粘', '不是'],
               ['浅白', '硬挺', '清脆', '模糊', '平坦', '硬滑', '不是'],
               ['浅白', '蜷缩', '浊响', '模糊', '平坦', '软粘', '不是'],
               ['青绿', '稍蜷', '浊响', '稍糊', '凹陷', '硬滑', '不是'],
               ['浅白', '稍蜷', '沉闷', '稍糊', '凹陷', '硬滑', '不是'],
               ['乌黑', '稍蜷', '浊响', '清晰', '稍凹', '软粘', '不是'],
               ['浅白', '蜷缩', '浊响', '模糊', '平坦', '硬滑', '不是'],
               ['青绿', '蜷缩', '沉闷', '稍糊', '稍凹', '硬滑', '不是']]
    labels = ['色泽', '根蒂', '敲声', '纹理', '脐部', '触感', '是否好瓜']

    return dataSet, labels


#计算信息熵
def cal_entro(dataSet):
    num = len(dataSet)
    labels = {}

    #计算同一属性不同类别的个数
    for row in dataSet:
        label = row[-1]
        if label not in labels.keys():
            labels[label] = 0
        labels[label] += 1

    Ent = 0.0
    #计算信息熵
    for key in labels:
        prob = float(labels[key]) / num
        Ent -= prob * log(prob, 2)

    return Ent

#返回第i个特征的值为value的全部数据集
def split_dataSet(dataSet, i, value):
    ret_dataSet = []
    for row in dataSet:
        if row[i] == value:
            re_row = row[:i]
            re_row.extend(row[i+1:])
            ret_dataSet.append(re_row)

    return ret_dataSet

#选择最佳的特征
def choose_best_feature(dataSet):
    baseEnt = cal_entro(dataSet)
    bestFeature = -1
    bestGain = 0.0

    num = len(dataSet[0]) - 1
    for i in range(num):
        eveEnt = 0.0
        # 按历遍历数据集，选取一个特征的全部取值
        featList = [example[i] for example in dataSet]
        uniqueVals = set(featList)

        for value in uniqueVals:
            sub_dataSet = split_dataSet(dataSet, i, value)
            prob = len(sub_dataSet) / float(len(dataSet))
            eveEnt += prob * cal_entro(sub_dataSet)

        #信息增益
        infoEnt = baseEnt - eveEnt
        if infoEnt > bestGain:
            bestFeature = i
            bestGain = infoEnt

    return bestFeature

#
def majorityCnt(classList):
    count = {}
    for value in classList:
        if value not in count.keys():
            count[value] = 0
        count[value] += 1

    sorted(count.items(), key=operator.itemgetter(1), reverse=True)

    return count[0][0]

#建立决策树
def create_tree(dataSet, labels):
    copylabels = labels[:]
    classList = [example[-1] for example in dataSet]
    #如果只有一种类别，则停止划分
    if classList.count(classList[0]) == len(classList):
        return classList[0]
    #没有特征了
    if dataSet[0] == 1:
        return majorityCnt(classList)

    bestFeature = choose_best_feature(dataSet)
    bestLabel = copylabels[bestFeature] #最佳特征
    tree = {bestLabel:{}}
    del copylabels[bestFeature]

    featList = [example[bestFeature] for example in dataSet]
    uniquelVals = set(featList)

    for value in uniquelVals:
        copy2labels = copylabels[:]
        tree[bestLabel][value] = create_tree(split_dataSet(dataSet, bestFeature, value), copy2labels)

    return tree

#使用决策树来测试用例进行预测
def classify(tree, labels, testData):
    key = list(tree.keys())[0]
    dict = tree[key]
    featIndex = labels.index(key)
    for key in dict:
        if key == testData[featIndex]:
            if type(dict[key]).__name__ == 'dict':
                classLabel = classify(dict[key], labels, testData)
            else:
                classLabel = dict[key]

    return classLabel

if __name__ == '__main__':
    dataSet, labels = data_set()
    myTree = create_tree(dataSet, labels)
    print(myTree)
    treePlotter.createPlot(myTree)

    testData = ['浅白', '蜷缩', '清脆', '清晰', '平坦', '硬滑']
    result = classify(myTree, labels, testData)
    print(result)

通过该算法最后生成一棵决策树，这是一棵训练好了的树，可以带入实例进行验证

不过与树上的决策树不同的是：书上色泽有一个纯白分支，但是训练集中没有满足{清晰、稍蜷、纯白、......}的例子，所以上面的代码中训练不出来有该特征的分支。

剪枝

剪枝（pruning）是决策树学习算法对付“过拟合”的主要手段。决策树剪枝的基本策略有“预剪枝”(prepruning)和“后剪枝”(postpruning)

预剪枝：决策树生成过程中，对每个节点在划分之前进行估计。若当前节点的划分不能带来决策树泛化性能提升，则停止划分并将当前节点作为叶节点标记。

编号	色泽	根蒂	敲声	纹理	脐部	触感	好瓜
4	青绿	蜷缩	沉闷	清晰	凹陷	硬滑	是
5	浅白	蜷缩	浊响	清晰	凹陷	硬滑	是
8	乌黑	稍蜷	浊响	清晰	稍凹	硬滑	是
9	乌黑	稍蜷	沉闷	稍糊	稍凹	硬滑	否
11	浅白	硬挺	清脆	模糊	平坦	硬滑	否
12	浅白	蜷缩	浊响	模糊	平坦	软粘	否
13	青绿	稍蜷	浊响	稍糊	凹陷	硬滑	否