CART之回归树构建

原文链接:https://cethik.vip/2016/09/21/machineCAST/

一、概念

CART全称叫Classification and Regression Tree。首先要强调的是CART假设决策树是二叉树,内部结点特征的取值只有“是”和“否”,左分支是取值为“是”的分支,有分支则相反。这样的决策树等价于递归地二分每个特征。


二、CART生成

决策树的生成就是递归地构建二叉决策树的过程,对回归树用平方误差最小化准则,对分类树用基尼指数最小化准则,进行特征选择,生成二叉树。

三、回归树的生成最小二叉回归树生成算法:

1、选择最优切分变量j与切分点s,求解:

遍历变量j,对固定的切分变量j扫描切分点s,选择使上式取得最小值的对(j,s)。其中Rm是被划分的输入空间,Cm空间Rm对应的输出值。

2、用选定的对(j,s)划分区域并决定相应的输出值:


3、继续对两个子区域调用步骤1,直至满足停止条件。
4、将输入空间划分为M个区域R1,R2,...Rm生成决策树:
四、示例

上面的东西有点难以理解,下面举个例子来说明。

训练数据见下表,x的取值范围为区间[0.5,10.5],y的取值范围为区间[5.0,10.0],学习这个回归问题的最小二叉回归树。

xi
1 2 3 4 5 6 7 8 9 10
yi
5.56 5.70 5.91 6.40 6.80 7.05 8.90 8.70 9.00 9.05

求解训练数据的切分点s:

容易求得在R1R2内部使得平方损失误差达到最小值的c1c2为:


这里N1N2R1R2的样本点数。

求训练数据的切分点,根据所给数据,考虑如下切分点:

1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5。

对各切分点,不难求出相应的R1、R2、c1、c2

例如,当s=1.5时,R1={1}R2={2,3,...,10}c1=5.56c2=7.50,则


现将sm(s)的计算结果列表如下:


s 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5 9.5
m(s) 15.72 12.07 8.36 5.78 3.91 1.93 8.01 11.73 15.74

由上表可知,当x=6.5的时候达到最小值,此时R1={1,2,...,6}R2={7,8,9,10}c1=6.24c2=8.9,所以回归树T1(x)为:


f1(x)拟合训练数据的残差见下表,表中r2i=yi-f1(xi),i=1,2,...,10

xi
1 2 3 4 5 6 7 8 9 10
yi
-0.68 -0.54 -0.33 0.16 0.56 0.81 -0.01 -0.21 0.09 0.14


2步求T2(x)方法与求T1(x)一样,只是拟合的数据是上表的残差,可以得到:

继续求得

可以用拟合训练数据的平方损失误差等来作为结束条件。此时


假设此时已经满足误差要求,那么f(x)=f6(x)即为所求的回归树。


### 使用CART算法构建决策树回归模型 CART(Classification and Regression Trees)是一种经典的决策树算法,可以用于解决分类和回归问题。在回归任务中,CART通过递归分裂数据集,以最小化每个节点的不纯度来构建一棵二叉树。以下是如何使用CART算法构建决策树回归模型的具体步骤。 #### 1. 数据准备 首先需要准备好训练数据,包括特征和目标变量。通常将数据划分为训练集和测试集,以便评估模型性能。 ```python from sklearn.model_selection import train_test_split import pandas as pd # 假设加载一个CSV文件作为示例数据 data = pd.read_csv('your_data.csv') # 分离特征和目标变量 X = data.drop('target_column', axis=1) # 特征 y = data['target_column'] # 目标变量 # 将数据划分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) ``` #### 2. 构建CART回归模型 使用Scikit-learn库中的`DecisionTreeRegressor`类,可以轻松地实现CART回归模型。该类默认使用均方误差(MSE)作为分裂准则。 ```python from sklearn.tree import DecisionTreeRegressor # 创建决策树回归模型实例 model = DecisionTreeRegressor(random_state=42) # 拟合训练数据 model.fit(X_train, y_train) ``` #### 3. 模型评估 训练完成后,可以通过测试集评估模型性能。常用的回归评估指标包括均方误差(MSE)和决定系数(R²)。 ```python from sklearn.metrics import mean_squared_error, r2_score # 在测试集上进行预测 y_pred = model.predict(X_test) # 计算均方误差 mse = mean_squared_error(y_test, y_pred) print(f"Mean Squared Error: {mse}") # 计算R²得分 r2 = r2_score(y_test, y_pred) print(f"R^2 Score: {r2}") ``` #### 4. 模型保存与加载 训练好的模型可以保存到磁盘,以便后续直接加载并使用。 ```python from joblib import dump, load # 保存模型 dump(model, 'cart_regression_model.joblib') # 加载模型 loaded_model = load('cart_regression_model.joblib') ``` #### 5. 进行预测 加载模型后,可以使用它对新数据进行预测。 ```python # 示例预测对象 jack = { 'Feature1': [value1], 'Feature2': [value2], ... } # 转换为DataFrame格式 df_predict = pd.DataFrame(jack) # 进行预测 prediction = loaded_model.predict(df_predict) print(prediction) ``` #### 6. 参数调优 可以通过调整超参数来优化模型性能,例如设置最大深度、最小样本分割数等。 ```python # 创建带有自定义参数的决策树回归模型 model = DecisionTreeRegressor(max_depth=5, min_samples_split=10, random_state=42) # 再次拟合数据 model.fit(X_train, y_train) ``` #### 7. 树结构可视化 如果希望直观查看决策树的结构,可以使用`plot_tree`函数进行可视化。 ```python from sklearn.tree import plot_tree import matplotlib.pyplot as plt plt.figure(figsize=(20,10)) plot_tree(model, feature_names=X.columns, filled=True, fontsize=10) plt.show() ``` ###
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值