决策树算法：用户分层：

最新推荐文章于 2024-06-01 21:42:30 发布

每天都要被自己菜醒

最新推荐文章于 2024-06-01 21:42:30 发布

阅读量2.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： python 决策树机器学习

本文链接：https://blog.youkuaiyun.com/qq_45531594/article/details/108929371

本文详细介绍了决策树的概念、应用场景，包括分类树和回归树。阐述了决策树的构建原理，如熵、信息增益、信息增益率、基尼指数和最小方差。通过实例探讨了如何确定分支，并讨论了剪枝的重要性。同时，文章提供了使用Python进行决策树建模的步骤，包括模型建立、剪枝和结果输出。最后，提到了SHAP值在解释决策树预测中的作用，帮助理解特征对模型的影响方向。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.决策树概念及应用场景

决策树概念
决策树是一种以树型结构形式表达的预测分析模型，一般一棵决策树包含一个根节点、若干个内部节点和叶节点；叶节点对应决策结果，其他每个节点对应于一个属性；每个节点包含的样本集合根据属性测试被划分到子节点中；根节点包含样本全集，从根节点到每个叶节点的路径对应了一个判定测试序列。
决策树种类有两种：分类树–对离散变量做决策树；回归树–对连续变量做决策树。决策树常常用来解决分类和回归问题，在实际工作中基本应用于给人群分类，最好的应用场景是要把人群分为互斥的两类，并找到两类人群的不同特征。

在这里插入图片描述

2.决策树原理

决策树主要分为两部分：创建决策树、使用决策树模型进行预测，如下图所示。

在这里插入图片描述

熵

在这里插入图片描述

信息增益

在这里插入图片描述

信息增益率

在这里插入图片描述

基尼指数

在这里插入图片描述

最小方差

在这里插入图片描述

3. 示例：

在这里插入图片描述
年龄

性别：

（3）收入

在这里插入图片描述

（4）婚姻

在这里插入图片描述

如何确定第一个分支

在这里插入图片描述

4.剪枝

在这里插入图片描述

5.Python做决策树步骤

1）建立树模型
2）剪枝
3）输出结果

以分类树为基准：
各个参数的意思

在这里插入图片描述

重要参数和剪枝

##6. SHAP

在这里插入图片描述

：决策树一般用于变量选择，决策树是后续学习随机森林的基础。
在这里插入图片描述

代码部分实操：

#获取数据
from sklearn.tree import DecisionTreeClassifier


import numpy as np 
import pandas as pd 
import matplotlib.

最低0.47元/天解锁文章

200万优质内容无限畅学