机器学习笔记十二：分类与回归树CART

CART决策树在机器学习中的应用

最新推荐文章于 2025-08-27 15:48:34 发布

原创

最新推荐文章于 2025-08-27 15:48:34 发布 · 1.1w 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #CART #决策树

这篇博客主要介绍了如何实现分类与回归树（CART）算法，内容包括数据集的读取、CART核心模块的详细讲解，以及如何找到最佳划分特征和阈值。作者使用了机器学习实战中的数据集，并提供了测试代码验证CART回归的效果。

更新时间:2017.11.18
简化语言,更加通俗

这里写图片描述

Ⅲ.实现

实现部分采用的数据集是机器学习实战中的数据集.代码则是按照自己的理解重新改写了一遍.

读取数据模块:data.py

import numpy as np
def loadData(filename):
    dataSet=np.loadtxt(fname=filename,dtype=np.float32)
    return dataSet

用numpy内置的读取txt文件的函数就行,方便快捷.这里就不多讲了.

CART核心模块:CART.py

import numpy as np
import matplotlib.pyplot as plt

#split dataSet trough featureIndex and value
def splitDataSet(dataset,featureIndex,value):
    subDataSet0=dataset[dataset[:,featureIndex]<=value,:]
    subDataSet1=dataset[dataset[:,featureIndex]>value,:]
    return subDataSet0,subDataSet1