本文总结了决策树模型，包括分类决策树的基本思想、特征选择方法如信息增益、信息增益比和基尼指数，以及决策树的剪枝策略——预剪枝和后剪枝，探讨了它们的优缺点和适用场景。
1 决策树定义
决策树分为分类决策树和回归决策树。分类决策树应用范围比较广，其核心思想就是在一个数据集上找到一个最优的特征，然后从这个特征的选值中找到一个最优的候选值，根据这个最优候选值将数据集划分为两个子数据集，然后递归上述操作，直到满足指定条件为止。以下主要介绍分类决策树。
决策树的生成过程主要包括三步：特征选择，决策树生成以及决策树剪枝。
2 决策树的特征选择和生成方法
决策树的特征选择方法：信息增益最大化准则，信息增益比最大化准则，基尼指数最小化准则。
2.1 信息增益最大化准则（ID3算法）
2.2 信息增益比最大化准则（C4.5算法）
2.3 基尼指数最小化准则（CART算法）
3 决策树的剪枝
最低0.47元/天 解锁文章
扫一扫
907
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
