【机器学习】决策树

一. 决策树算法简介

决策树（Decision Tree）用于分类和回归任务。它通过构建树状模型来进行决策。

决策树算法的基本思想是基于数据特征进行递归分裂。每个内部节点代表一个特征上的测试，每个分支代表测试的结果，而每个叶节点代表一个类别（在分类树中）或一个具体的数值（在回归树中）。

决策树算法的优点包括：模型易于理解和解释，不需要对数据进行太多预处理，可以处理数值型和类别型数据。

不过，决策树也有限制，比如容易过拟合，尤其是当树变得很复杂时。为了解决这个问题，通常需要剪枝或者通过集成方法（如随机森林）来提高模型的泛化能力。

二. 决策树构建步骤

1. 选择最佳分裂特征：通过计算每个特征的信息增益（IG）或基尼不纯度（Gini Impurity），选择最能提高决策树准确度的特征。
2. 决定分裂点：根据选定的特征确定最佳分裂点。
3. 构建节点：创建决策树的节点，将数据集分裂为子集。
4. 递归构建树：对每个子集重复步骤1到3，直到满足停止条件（如达到最大深度、节点中的样本数小于最小分裂样本数等）。

三. 特征说明

3.1 信息增益（Information Gain, IG）

信息增益是决策树算法中用于选择数据集分裂特征的一种方法。它基于熵（entropy），熵是度量数据集纯净度的一个指标，用于度量数据集中的混乱程度。信息增益则是指在知道某特征之后带来的熵的减少（即纯净度的增加）。

在构建决策树时，算法会计算每个特征的信息增益，并选择信息增益最大的特征作为节点分裂的特征。具体来说，信息增益定义为父节点的熵与加权平均后子节点熵的差值。

给定一个数据集(D)，其熵可以表示为：

$$Entropy(D)=-\sum _{k=1}^K{p}_k{\log }_2(p_k)$$

其中，(K)是类别的数量，(p_k)是属于第(k)类的样本所占的比例。信息增益则计算为：

I G ( D , A ) = E n t r o p y ( D ) − ∑ v ∈ V a l u