ID3算法的python实现

菜小白—NLP

于 2019-05-10 16:16:32 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/ACM_hades/article/details/90074215

本文介绍了如何在MNIST数据集上使用Python实现ID3决策树算法。数据集包含28×28像素的二值化图像，共有784个特征和10个类别。采用了预剪枝策略进行模型简化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据集

数据集：MNIST数据，图片大小是28×28的，10个类别，使用数据的原始特征，所有每个样本有28×28=784个特征。
图片中的每个元素值都经过二值化
剪枝使用的是预剪枝。

代码

import cv2
import time
import logging
import numpy as np
import pandas as pd
from collections import Counter
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score


# 二值化
def binaryzation(img):
    for i in range(len(img)):
        img_1 = img[i]  # 图片二值化
        cv_img = img_1.astype(np.uint8)  # 将图片的0-255取值变为0-1
        cv2.threshold(cv_img, 50, 1, cv2.THRESH_BINARY_INV, cv_img)
        img[i] = cv_img

# 树节点类
class Tree(object):
    def __init__(self, node_type, Class=None, feature=None):
        self.node_type = node_type
        self.Child = {
   
   }
        self.Class = Class
        self.feature = feature

    def add_tree(self, val, tree):
        self.Child[val] = tree

    def predict(self, features):
        if self.node_type == 'leaf':
            return self.<