Python机器学习实战（二）--决策树

Python机器学习实战（二）--决策树

 

         决策树是处理分类问题的一个非常直观的算法，决策树是一个类似流程图的树结构，树中的每个内部节点是一个特征的测试，每个分支是一个特性输出，每一个叶子节点是数据所属的一个类型。如下图结构（图片来源网络，仅供学习参考）

 

 

图中橙色节点即为数据类型：见，不见。

绿色节点表示对数据的某一特征进行测试，即对年龄，长相，收入，公务员几个特征进行测试。

每一个分支即表示了特征的具体值，即年龄值<=30或>30。

 

	年龄是否大于30	长相是否丑	收入（高：1，中：0，低：-1）	是否公务员	选择见面还是不见面
1	1	1	0	1	0
2	1	0	1	0	0
3	0	1	-1	0	0
4	0	0	1	0	1
5	0	1	0	1	0
6	0	0	0	1	1
7	0	0	0	0	0

 

以上是一个训练集示例。可以对应创建一个简单数据集。

 

决策树算法通过训练集确定一个最优的决策树。

 

 

 

 

下面介绍如何构造决策树：

决策树的构造流程如下面伪代码所示

CreateBranch():

检测数据集中每一子项是否属于同一分类：

         Ifture return 类标签

         Else

                   继续划分数据集

                   创造分支节点

                            For每个划分的子集

                                     调用函数CreateBranch并增加结果到分支节点

                   Return分支节点

 

即判断数据子集是否分类完成，否的话，对每个数据子集继续进行划分。

这里显然可以看到一个问题：对一个数据集分割时，应该选择哪一个特性进行划分？

 

 

下面介绍选择最优划分特性的方法：

依据信息论的理论基础，划分数据集的大原则是：将无序的数据变得更加有序。

那么如何度量是否有序，即通过计算数据信息的香农熵。

熵定义为信息的期望值，对一个数据集的每一个类型x的信息定义为：

L(x) = - log p(x)

P(x)为特征值为x的概率。

熵值即为所有类别的信息期望值：

H = -sum( p(x)*log p(x) )

即对每一个特征值计算- p(x) * L(x) ，然后求和。

 

下面代码给出了计算一个数据集的香农熵

 

def calcShannonEnt(dataSet):            #计算香农熵 dataSet为数据集
    numEntries = len (dataSet)          #计算特征数
    labelCounts = {}                    #创建一个类型：类型值的字典
    for featVet in dataSet:
        currentlabel = featVet[-1]      #选取类型值
        labelCounts[currentlabel] = labelCounts.get(currentlabel,0)+1
    shannonEnt = 0.0                    #初始化香农熵
    for key in labelCounts:             #对每个类型计算
        prob = float(labelCounts[key])/numEntries
        shannonEnt -= prob*log(prob,2)
    return shannonEnt

 

 

知道了划分的标准，下面就可以给出选择最好划分集的方式：

先给出一个划分函数，该函数对输入的指定数据集，划分特征，特征值，返回对应的数据子集，同时返回的数据子集中已删除输入特征这一信息。

代码如下：

def splitDataSet(dataSet,axis,value):           #分割数据集dataSet，返回第axis个特征值为value，同时删除该特征的数据
    retDataSet = []
    for featVet in dataSet:
        if featVet[axis] == value:              #判断第axis个特征是否为value
            reducedFeatVec = featVet[:axis]
            reducedFeatVec.extend(featVet[axis+1:])         #删除第axis个特征
            retDataSet.append(reducedFeatVec)               #将选择处理过的数据加入结果
    return retDataSet

 

 

最好划分函数，该函数对输入数据集返回一个最好特征的索引值，基本思想即遍历每一个特征，比较划分后的香农熵，选出最小值即可。

代码如下：

 

def chooseBestFeatureToSplit(dataSet):          #从dataSet数据集中选择最优的特性，返回特征的索引
    numFeatures = len(dataSet[0])-1             #计算特征数
    baseEntropy = calcShannonEnt(dataSet)       #计算初始数据香农熵
    bestInfoGain = 0.0                          #熵能减小的最大值
    bestFeature = -1                            #初始化最优特征索引为-1
    for i in range(numFeatures):                #对每一个特征计算分割后的香农熵
        newEntropy = 0.0
        for example in dataSet:
            featList = [example[i]]             #第i个特征的所有值的列表
        uniqueVals = set(featList)              #用集合表示第i个特征值的集合
        for value in uniqueVals:    
            subDataSet = splitDataSet(dataSet,i,value)
            prob = float(len(subDataSet))/len(dataSet)
            newEntropy += prob * calcShannonEnt(subDataSet)
        infoGain = baseEntropy - newEntropy
        if (infoGain > bestInfoGain):
            bestInfoGain = infoGain
            bestFeature = i   
    return bestFeature

 

 

 

 

另外针对对所有特征进行划分完后，数据依然不是同一个类别时，我们可以选择返回类别数最多的类别，如下面的函数所示：

 

def majorityCnt(classList):
    classCount = collections.defaultdic(int)
    for vote in classList:
        classCount[vote] += 1
    sortedclassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=Ture)
    return sortedclassCount[0][0]
    

 

 

接下来给出构造树的函数，函数输入参数为数据集和标签列表，标签列表包括数据集中所有特征的标签。函数返回一个字典树。

代码如下：

 

def createTree(dataSet,labels):
    classList = [example[-1] for example in dataSet]
    if classList.count(classList[0]) == len(classList):
        return classList[0]
    if len(dataSet[0]) == 1:
        return majorityCnt(classList)
    bestFeature = chooseBestFeatureToSplit(dataSet)
    bestFeatureLabel = labels[bestFeature]
    myTree = {bestFeatureLabel:{}}
    del(labels[bestFeature])
    featureValues = [example[bestFeature] for example in dataSet]
    uniqueValues = set(featureValues)
    for value in uniqueValues:
        subLabels = labels[:]
        myTree[bestFeatureLabel][value] = createTree(splitDataSet(dataSet,bestFeature,value),subLabels)
    return myTree

 

 

以上就是构建一个决策树的过程

 

下面给出一个简单的测试，利用该决策树对数据进行分类

输入参数为决策树，特征标签列表，待分类数据，返回类别

函数中由决策树确定每次划分特征，可以通过对特征标签列表用index方法返回索引，进行确定数据中该特征的值。

代码如下：

def classify(inputTree,featLabels,testVec):
    firstStr = inputTree.keys()[0]
    secondDict = inputTree[firstStr]
    featIndex = featLabels.index(firstStr)
    key = testVec[featIndex]
    valueOfFeat = secondDict[key]
    if isinstance(valueOfFeat, dict): 
        classLabel = classify(valueOfFeat, featLabels, testVec)
    else: classLabel = valueOfFeat
    return classLabel

以上为决策树的一些主要内容