西瓜书课后习题4.4 基尼指数未剪枝预剪枝后剪枝

最新推荐文章于 2023-07-29 21:53:08 发布

你呀你呀_

最新推荐文章于 2023-07-29 21:53:08 发布

阅读量2.6k

点赞数 2

分类专栏：机器学习文章标签：决策树基尼指数预剪枝后剪枝

本文链接：https://blog.youkuaiyun.com/weixin_41056428/article/details/84073374

版权

本文探讨了使用西瓜书中的2.0数据集，通过基尼指数来构建决策树。详细分析了未剪枝、预剪枝和后剪枝三种策略在决策树构建过程中的应用，并提供了相关数据集的下载链接和参考文章。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import operator
import csv
import numpy as np


def readDataset(filename):
    '''
    读取数据
    :param filename: 数据文件名，CSV格式
    :return:  以列表形式返回数据列表和特征列表
    '''
    with open(filename) as f:
        reader = csv.reader(f)
        header_row = next(reader)
        labels = header_row[1:7]
        dataset = []
        for line in reader:
            tempVect = line[1:]
            dataset.append(tempVect)

    trainIndex = [1, 2, 3, 6, 7, 10, 14, 15, 16, 17]
    trainDataset = []
    testDataset = []
    for i in range(1, 18):
        if (i in trainIndex):
            trainDataset.append(dataset[i - 1])
        else:
            testDataset.append(dataset[i - 1])
    trainDataset.append(dataset[3])  # 为保持和书中结果相同，训练集中增加第四条数据
    return dataset, labels, trainDataset, testDataset


def Gini(dataset):
    '''
    计算gini基尼值
    :param dataset:  输入数据集
    :return:  返回基尼值gini
    '''
    numdata = len(dataset)
    labels = {}
    for featVec in dataset:
        label = featVec[-1]
        if label not in labels.keys():
            labels[label] = 0
        labels[label] += 1
    gini = 1
    for lab in labels.keys():
        prop = float(labels[lab]) / numdata
        gini -= prop ** 2
    return gini


def splitDataset(dataset, axis, value):
    '''
    对某个特征进行划分后的数据集
    :param dataset: 数据集
    :param axis: 划分属性的下标
    :param value: 划分属性值
    :return: 返回剩余数据集
    '''
    restDataset = []
    for featVec in dataset:
        if featVec[axis] == value:
            restFeatVec = featVec[:axis]
            restFeatVec.extend(featVec[axis + 1:])
            restDataset.append(re