14、决策树与逻辑回归模型相关知识解析

决策树与逻辑回归模型相关知识解析

1. 决策树基础概述

决策树是一种用于分类和回归的模型，它以树状结构表示基于特征对实例进行分类。决策树可以转化为一系列的“如果 - 那么”规则，也可看作是在特征空间划分上定义的类的条件概率分布。

决策树学习的目标是构建一个既能很好地拟合训练数据，又具有较低复杂度的决策树。然而，从所有可能的决策树中直接选择最优决策树是一个NP完全问题，因此实际中通常使用启发式方法来学习次优决策树。决策树学习算法主要包括特征选择、树生成和树剪枝三个部分，常见的算法有ID3、C4.5和CART。

1.1 特征选择准则

• 信息增益（ID3） ：样本集D对特征A的信息增益计算公式为 $g(D, A) = H(D) - H(D|A)$。其中，$H(D)$ 是数据集D的熵，计算公式为 $H(D) = -\sum_{k = 1}^{K}\frac{|C_{k}|}{|D|}\log_{2}\frac{|C_{k}|}{|D|}$；$H(D|A)$ 是数据集D对特征A的条件熵，计算公式为 $H(D|A) = \sum_{i = 1}^{n}\frac{|D_{i}|}{|D|}H(D_{i})$。这里，$D_{i}$ 是D中特征A取第i个值的样本子集，$C_{k}$ 是D中属于第k类的样本子集，n是特征A取值的个数，K是类的个数。
• 信息增益比（C4.5） ：样本集D对特征A的信息增益比计算公式为 $g_{R}(D, A) = \frac{g(D, A)}{H_{A}(D)}$，其中 $g(D, A)$ 是信息增益，$H_{A}(D)$ 是D关于特