5、机器学习模型：决策树与广义相加模型解析

机器学习模型：决策树与广义相加模型解析

1. 线性回归的局限性

线性回归模型具有高度的透明度和易解释性，然而其预测能力欠佳，尤其是在输入特征与目标之间的关系为非线性的情况下。例如，对于一个非线性数据集，如果使用线性回归模型进行拟合，会得到一条直线拟合结果，无法准确捕捉数据中的非线性关系，这种情况被称为欠拟合，模型具有高偏差。

2. 决策树

2.1 决策树概述

决策树是一种强大的机器学习算法，可用于建模复杂的非线性关系，适用于回归和分类任务。它的预测能力相对线性回归更高，并且具有较高的可解释性。其基本思想是在数据中找到最优分割点，以最佳预测输出或目标变量。

2.2 CART算法

常用的确定最优分割的算法是分类与回归树（CART）算法。该算法首先选择一个特征和该特征的阈值，然后根据这个特征和阈值将数据集分割成两个子集：
- 子集1：特征值小于或等于阈值的样本。
- 子集2：特征值大于阈值的样本。

算法会选择使成本函数或准则最小化的特征和阈值。对于回归任务，该准则通常是均方误差（MSE）；对于分类任务，通常是基尼不纯度或熵。算法会递归地继续分割数据，直到准则进一步降低或达到最大深度。

2.3 决策树模型训练代码

在Python中，可以使用Scikit - Learn包训练决策树模型。以下是训练决策树回归器的代码示例：

from sklearn.tree import DecisionTreeRegressor 
dt_model = DecisionT