机器学习实战笔记(三)：决策树算法的Python实现

SherryChu1026

于 2016-03-17 15:35:23 发布

阅读量1.5k

点赞数

分类专栏：机器学习实战笔记文章标签： numpy python 人工智能机器学习算法

本文链接：https://blog.youkuaiyun.com/sinat_33397120/article/details/50914273

版权

本文介绍了决策树算法在Python中的实现，重点讨论了算法的优点，如计算复杂度低、结果易理解，以及对数据缺失的不敏感性。同时提到了过度匹配的风险。内容还涉及了ID3算法在划分数据中的应用，并深入讲解了信息熵的概念，它是衡量数据无序度的对数函数，用于指导数据集的最佳分类方式。通过计算信息熵的最大值来确定最优的特征划分。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from math import log
import operator

def createDataSet():
    dataSet = [[1, 1, 'yes'],
               [1, 1, 'yes'],
               [1, 0, 'no'],
               [0, 1, 'no'],
               [0, 1, 'no']]                          #创建数据集
    labels = ['no surfacing','flippers']            #分类属性
    return dataSet, labels

def calcShannonEnt(dataSet):
    numEntries = len(dataSet)                    #求样本矩阵的长度
    labelCounts = {}
    for featVec in dataSet:                        #遍历dataSet中的每一行
        currentLabel = featVec[-1]               #每行中最后一个数表示数据的类标签
        if currentLabel not in labelCounts.keys(): 
              labelCounts[currentLabel] = 0       #如果标签数据中没有该标签，则添加该标签
        labelCounts[currentLabel] += 1           #如果有，则标签数加1
    shannonEnt = 0.0
    for key in labelCounts:                         #遍历标签数组
        prob = float(labelCounts[key])/numEntries   #标签数除以样本矩阵的长度，即概率
        shannonEnt -= prob * log(prob,2)         #以2为底求对数
    return shannonEnt

‘’‘
计算所有属性值得信息增益，并计算最佳划分方法
传入的参数，dataSet是样本矩阵，axis是第axis的位置，value是该位置的值
例：tree.splitDataSet(dataSet,1,1)：求dataSet中第2个位置是1的数组
’‘’    
def splitDataSet

最低0.47元/天解锁文章