决策树回归

算法介绍

决策树是一种常用于分类和回归的机器学习算法。在回归问题中，决策树用于预测连续值的输出，如价格或温度等。回归决策树是一种用于回归问题的决策树模型。与分类决策树（输出离散标签）不同，回归决策树的目标是预测一个连续的数值。回归决策树的工作原理与分类树相似，但在决定分支如何划分时，它们寻求最小化的是目标变量的方差或均方误差（MSE），而不是不纯度（如基尼不纯度或熵）。

回归决策树是决策树算法在回归问题上的应用，用于预测连续值而不是类别标签。与分类决策树类似，回归决策树通过递归地将数据集分割成越来越小的子集来构建树结构，但不同的是，它在每个叶节点上预测的是一个数值（目标变量的平均值或中位数等）而非类别。通过选择最佳特征和切分点来递归分割数据集，直至满足某个停止条件，如达到树的最大深度或节点中的最小样本数。在每个叶节点上，它会预测一个数值，通常是该节点所有样本目标值的平均值。构建过程中会考虑减少目标变量（如房价）的总方差，而选择特征和切分点。为避免过拟合，可以采用剪枝技术，包括预剪枝和后剪枝。

数据描述

sklearn（Scikit-learn）库中，糖尿病数据集（Diabetes Dataset）是一个用于回归分析的标准数据集，包含了442个病人的10个基线变量，目标变量是一年后疾病进展的量化度量。这些基线变量包括年龄、性别、体质指数、平均血压和六个血清测量值。Python 的 scikit-learn 库中，可以直接加载并使用这个数据集。

年龄 (age)

性别 (sex)

体质指数 (bmi)

平均血压 (bp)

S1 (总血清胆固醇)

S2 (低密度脂蛋白胆固醇)

S3 (高密度脂蛋白胆固醇)

S4 (总胆固醇 / 高密度脂蛋白胆固醇)

S5 (血清甲状腺素水平的对数)

S6 (一年后的血糖水平)

预处理步骤

加载数据集：使用load_diabetes函数从sklearn中加载糖尿病数据集。

数据集分割：使用train_test_split函数将数据集分割为训练集和测试集，其中80%的数据用于训练，20%的数据用于测试。

定义参数网格：使用字典param_dist定义了决策树模型的参数网格。这些参数包括决策树划分标准(criterion)、最大深度(max_depth)、内部节点再划分所需的最小样本数(min_samples_split)、叶子节点最少样本数(min_samples_leaf)和特征划分时考虑的最大特征数(max_features)。

创建决策树回归模型：使用DecisionTreeRegressor类创建了一个决策树回归模型。

随机搜索参数调优：使用RandomizedSearchCV进行随机搜索交叉验证，以找到最佳参数组合。这个过程将根据参数网格中的分布进行随机搜索，搜索次数由n_iter参数确定。

最优参数选择：通过best_params_属性获取到了最佳参数组合。

重新训练模型：使用最佳参数重新训练了决策树回归模型。

预测测试集结果：使用训练好的模型对测试集进行预测。

模型实现

from sklearn.datasets import load_diabetes

from sklearn.model_selection import train_test_split

from sklearn.tree import DecisionTreeRegressor, plot_tree

<