3.1 决策树的基本思想

最新推荐文章于 2025-07-01 11:11:30 发布
原创 最新推荐文章于 2025-07-01 11:11:30 发布 · 1.4w 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文介绍了决策树的基本思想，包括如何选择最优划分特征。通过计算信息熵来衡量数据集的不确定性，使用信息增益作为选择特征的标准。内容涵盖了ID3、C4.5和CART算法的不同选择标准，以及如何根据特征划分数据集和构建决策树的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

实例：销售调查例子（对潜在客户进行分类，给出销售人员指导意见）
销售调查表：
销售调查决策树：
上面仅是从定性的角度对潜在用户的判断，下面加上定量的判断：
 
决策树的 算法框架：
  • 决策树的主函数：各种决策树的主函数大同小异，本质上是个递归函数，该函数主要功能是根据某种规则生长出决策树的各个分支节点，并根据终止条件结束算法。
    • 输入需要分类的数据集和类别标签
    • 根据某种分类规则得到最优的划分特征，并创建特征的划分节点——计算最优特征子函数
    • 按照该特征的每个取值划分数据集为若干部分——划分数据集子函数
    • 根据划分子函数的计算结果构建出新的节点，作为树生长出的新分支
    • 检验是否符合递归终止条件
    • 将划分的新节点包含的数据集和类别标签作为输入，递归执行上述步骤
  • 计算最优特征子函数：不同标准导致不同类型的决策树，如ID3的最优特征选择标准是信息增益，C4.5是信息增益率，CART是节点方差的大小等等。算法逻辑上，一般选择最优特征需要遍历整个数据集
最低0.47元/天 解锁文章

200万优质内容无限畅学
cje
关注
专栏目录
决策树 (Decision Tree)
AI天才研究院
10-08 1260
决策树 (Decision Tree) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 决策树是一种广泛应用于机器学习、数据挖
决策树——（一）决策树的思想
空字符
12-26 3087
本篇文章主要先从宏观上介绍一下什么是决策树，以及决策树构建的核心思想。1. 引例关于什么是决策树（decision tree），我们先来看这么一个例子。假如我错过了看世界杯，赛后我问一个知道比赛结果的人“哪支球队是冠军”？他不愿意直接告诉我，而让我猜，并且每猜一次，他要收一元钱才肯告诉我是否猜对了，那么我要掏多少钱才能知道谁是冠军呢？我可以把球队编上号，从1到16，然后提问：“冠军球队在1-8号中吗
决策树基本思想
Steve Wang's blog
11-03 734
输入：训练集D={(x1,y1),(x2,y2),...,(x3,y3)}D=\{(x_1,y_1), (x_2, y_2),...,(x_3,y_3)\}D={(x1​,y1​),(x2​,y2​),...,(x3​,y3​)}，属性集A={a1,a2,...,an}A=\{a_1,a_2,...,a_n\}A={a1​,a2​,...,an​} 过程：抽象为函数TreeGenerate(D,A) 注：最优划分属性即为能把最多结点分为一类的属性 1. 生成根结点node 2. if D中样本全部属于.
【机器学习】决策树（Decision Tree）
Frost_Descent的博客
07-01 4287
决策树是一类预测模型，它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表某个可能的属性值，而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。
决策树算法的核心思想
热门推荐
qunnie_yi的博客
05-04 1万+
本文来自：公众号 自然语言处理与机器学习 作者：忆臻 一、算法思想决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别...
skelearn 决策树及参数详解(分类一)，实现红酒数据集分类
R18830287035的博客
04-11 7579
sklearn 中的决策树 1、sklearn中决策树的类都在”tree“这个模块之下。这个模块总共包含五个类： 2、sklearn建模的基本流程 这个流程中分类树对应的代码 from sklearn import tree #导入需要的模块 clf = tree.DecisionTreeClassifier() #实例化 clf = clf.fit(X_train,y_train) #用训练...
决策树算法_基本思想
一个学技术狮子的博客
04-13 4293
决策树学习的本质是从训练数据集上归纳出一组分类规则，通常采用启发式的方法，即局部最优。通常分为三个步骤：特征选择、决策树生成和决策树的修剪。 特征选择 ...
决策树原理整理
ttt123456uuu的博客
01-04 3705
一、决策树的基本思想 决策树（Decision Tree）是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。 决策树算法的核心是要解决两个问题： 1）如何从数据表中找出最佳节点和最佳分枝？ 2）如何让决策树停止生长，防止过拟合？ 1. 决策树模型的建树依据 （1）决策树模型的建树依据主要用到的是基尼系数概念。 基尼系数(gini)用于计算一个系统中的失序现象，即系统的混乱程度越高，基尼系数越高，建立决策树模型的目的就是降低系
决策树算法
m0_48272516的博客
05-22 2852
一、决策树原理 决策树是一种比较常用的分类算法，理解起来也相对容易。所谓决策树分类就是用决策条件构成的一个树状预测模型，通过这个模型，我们可以对未知类别的数据进行分类。 二、决策树的定义与核心思想 决策树又称为判定树，是运用于分类的一种树结构，其中的每个内部节点代表对某一属性的一次测试，每条边代表一个测试结果，叶节点代表某个类或类的分布。 决策树的决策过程需要从决策树的根节点开始，待测数据与决策树中的特征节点进行比较，并按照比较结果选择选择下一比较分支，直到叶子节点作为最终的决策结果。 三、决策树构造 决策
决策树分类基本原理加案列说明
A496608119的博客
03-24 3038
1.认识决策树 什么是决策树呢？ 决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一类分类学习方法。 决策树： shi'y
机器学习之决策树(Decision Tree)①——基本概念及思想
门前大橋下丶
08-17 5555
文章目录什么是决策树?李航《统计学习方法》中的介绍如何创建一颗决策树?特征选择启发式学习启发式构建决策树过程贪心指标与建树方法信息增益与决策树算法启发式学习的两个问题决策树的剪枝决策树模型优缺点 什么是决策树? 引例 现有训练集如下，请训练一个决策树模型，对未来的西瓜的优劣做预测。 先不谈建立决策树模型的算法，我们先看一下基于“信息增益”（后面讲）生成的决策树的样子 一棵决策树包含一个根节点、...
决策树之概念及思想
abq43525的博客
04-05 389
分类树 分类决策树的核心思想就是在一个数据集中找到一个最优特征，然后从这个特征的选值中找一个最优候选值(这段话稍后解释)，根据这个最优候选值将数据集分为两个子数据集，然后递归上述操作，直到满足指定条件为止。 1.最优特征怎么找？ 这个问题其实就是决策树的一个核心问题了。我们常用的方法是更具信息增益或者信息增益率来寻找最优特征，信息增益这东西怎么理解呢！ 搞清这个概念我们首先需要明...
决策树思想介绍
_ToDream
05-31 3534
分类决策树的核心思想：在数据集D中找到一个最优特征（如何找？），然后从这个特征的选值中找一个最优候选值（怎么找？一般的二分类问题不需要）根据这个候选属性，将数据集D分成若干个子数据集，然后递归上述操作，直到满足指定条件为止。 1）最优特征怎么找？信息增益、信息增益率和基尼系数 其中，信息增益和信息增益率和熵有关，熵可以用来表示系统的不确定性。决策树的思想就是利用数据存在的一些规则，不断降低数据...
决策树理论
gentelyang的博客
07-14 3235
一：思想：决策树使用样本的属性作为结点，决策树的跟结点一般是信息量最大的,然后递归的找到各个分支下子数据集中次大的决定性特征，直至子数据集中所有特征属于同一类，如何从这么多的特征中选择出有价值的，并且按照最好的顺序由根到叶选择。完成了这个我们也就可以递归构造一个决策树了。 二：决策树的学习过程，大致分为三步          1：特征选择是指从训练数据中众多的特征中选择一个特征作为当前
决策树的基本原理
Forward的博客
03-17 719
决策树 **定义：**对实例进行分类的树形结构，通过多层判断区别所属目标 **本质：**通过多层判断，从训练数据集中归纳出一组分类规则 优点 计算量小， 运算速度快 易于理解，可清晰查看各个属性的重要性 缺点 忽略属性间的相关行 样本类别分布不均匀时，容易影响模型表现 ID3: 利用信息熵原理选择信息增益最大的属性进行分类属性，递归的拓展决策树的分支，完成决策树的构造 信息熵：度量随机变量不确定的指标，熵越大，变量的不确定性就越大。假定当前样本集合D中第k类样本所占的比例为: p_x,则D的信息熵为
决策树 - 算法基本实现
hpuhjl的专栏
06-17 2023
# -*- coding: utf-8 -*- from math import log import operatordef createDataSet(): dataSet = [[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'],
决策树详解
刘伟的博客
12-24 2671
1.引例  首先来看一个例子，这个例子是关于相亲的： 相亲的时候，我们通过比较一个一个的条件，来判断到底去不去见相亲对象，这种通过树状结构的判断就是典型的决策树。2.决策树  决策树是一种树型结构，有节点和有向边组成。节点： 内部节点：表示某一个属性或特征 叶结点：代表一种类别有向边/分支： 代表一个测试输出基本思想：采用自顶向下的递归方法，以信息熵（或其他度量条件）为度量
《机器学习实战》第三章：决策树（1）基本概念
新的开始
05-05 2516
1. CH2-kNN（1） 2. CH2-kNN（2） 3. CH2-kNN（3） 4. CH3-决策树（1） 5. CH3-决策树（2） 6. CH3-决策树（3） 7. CH4-朴素贝叶斯（1） 8. CH4-朴素贝叶斯（2） 9. CH5-Logistic回归（1） 10. CH5-Logistic回归（2） ======== No More======== ...
机器学习算法/模型——决策树（1）基本理论和代码实例
Robin_Pi的博客
02-23 909
决策树1. 概念/术语2. 常用算法：分裂点选择依据ID3C4.5CART3. 决策树优化：剪枝3.1 剪枝原因（问题）3.2 剪枝方法 一棵决策树（Decision Tree）是一个树结构（可以是二叉树或非二叉树），每个非叶节点对应一个特征，该节点的每个分支代表这个特征的一个取值，而每个叶节点存放一个类别或一个回归函数。 决策树树模型由一组 if-then-else 规则构成。 决策树的构造算法...
随机森林回归算法原理报告 一、引言 在机器学习领域，回归分析是一种重要的技术，用于预测连续型变量的值。随机森林回归（Random Forest Regressor）作为集成学习领域的重要算法，巧妙地借助了 Bootstrap 聚合（Bagging）的力量，将多个决策树组合在一起，从而极大地提升了模型的性能和鲁棒性。它在众多实际应用场景中发挥着关键作用，如金融时序预测、工业设备故障预测等。本报告将详细阐述随机森林回归算法的原理，包括核心概念、数学推导以及相关公式。 二、核心概念 2.1 集成学习与随机森林 集成学习是一种通过组合多个弱学习器来构建一个强学习器的方法，其核心思想是“集思广益”，通过组合多个模型来提高预测的准确性和鲁棒性。随机森林是集成学习的一种具体实现，它通过构建多个决策树来进行回归预测。每棵决策树可以看作是一个独立的“预测专家”，它们各自从不同的角度对数据进行分析和预测。当把这些“专家”的意见综合起来时，就能够减少单个“专家”可能出现的偏差，使得最终的预测结果更加稳定可靠。 2.2 决策树基础 决策树是一种基于树结构进行决策的模型，每个内部节点表示一个特征上的测试，每个分支表示一个测试输出，每个叶节点表示一个类别或值。在回归问题中，决策树的叶节点通常表示一个数值，即预测值。决策树的构建过程是递归地选择最优特征进行划分，直到满足停止条件。常用的决策树算法有 ID3、C4.5 和 CART 等。在随机森林回归中，通常使用 CART 回归树作为基学习器。 三、随机森林回归的核心原理 3.1 Bootstrap 聚合（Bagging） Bootstrap 聚合是随机森林回归的基础。它通过对原始数据集进行有放回抽样的方式，生成 (B) 个子集。每一个子集都可以看作是原始数据集的一个“缩影”，但又包含了原始数据的部分特征和信息。基于这些子集，分别训练一棵决策树。最终的预测结果则是将这 (B) 棵树的预测结果进行平均，公式如下： [ hat{y} = \frac{1}{B} \sum_{b = 1}^{B} f_b(\mathbf{x}) ] 其中，(\hat{y}) 是最终的预测值，(f_b(\mathbf{x})) 是第 (b) 棵决策树对样本 (\mathbf{x}) 的预测值，(B) 是决策树的数量。 从偏差 - 方差分解的角度来看，Bagging 具有显著的方差减少效果，其公式为： [ \text{Var}(\hat{y}) = \frac{\text{Var}(f)}{B} + \rho \sigma^2 ] 在这个公式中，(\rho) 是树间相关系数，(\sigma^2) 是每棵树的方差。随着决策树数量 (B) 的增加，(\frac{\text{Var}(f)}{B}) 这一项会逐渐减小，从而降低了整体的方差。这就好比在一场比赛中，有多个评委打分，当评委数量足够多时，个别评委的偏差对最终平均分的影响就会变小。 3.2 特征随机性 除了 Bootstrap 聚合，特征随机性也是随机森林回归的关键特性。在每棵树进行分裂时，随机森林并不会考虑所有的特征，而是仅从所有特征中选择一个随机子集（通常 (m = \sqrt{p}) 或 (p/3)，(p) 为总特征数）。这样做的目的是进一步降低树与树之间的相关性。 假设我们有 10 个特征来预测某个目标变量，在构建第一棵树时，可能随机选择了其中的 3 个特征，如特征 1、特征 4 和特征 7。而在构建第二棵树时，又随机选择了另外 3 个不同的特征，如特征 3、特征 6 和特征 9。这样每棵树关注的特征组合不同，它们之间的相关性就会降低，从而使得整个模型能够学习到更丰富的信息，提高泛化能力。 四、随机森林回归的算法流程 4.1 样本抽取 从原始数据集中有放回地随机抽取多个样本，生成多个子数据集。样本抽取公式为： [ D^{(b)} = { (\mathbf{x}_i, y_i) \mid i \in S_b } ] 其中 (S_b) 是第 (b) 个子数据集的样本索引集合。 4.2 决策树构建 对于每个子数据集，使用决策树算法构建回归树。在每个节点分裂时，随机选择一部分特征，选择最佳特征进行分裂。特征选择公式为： [ \text{Split Feature} = \arg\min_{j \in \text{Random Subset}} \sum_{i = 1}^{m} \left( y_i - \hat{y}_i \right)^2 ] 其中： (j) 是特征索引。 (m) 是当前节点中的样本数。 (y_i) 是第 (i) 个样本的真实值。 (\hat{y}_i) 是根据特征 (j) 进行分裂后的预测值。 4.3 集成预测 所有树训练完成后，对新输入的数据点，分别使用每棵决策树进行预测，然后对所有预测结果进行平均，得到最终的预测值。最终预测公式为： [ \hat{y} = \frac{1}{B} \sum_{b = 1}^{B} \hat{y}^{(b)}(\mathbf{x}) ] 其中： (\hat{y}) 是输入样本 (\mathbf{x}) 的最终预测值。 (B) 是决策树的数量。 (\hat{y}^{(b)}(\mathbf{x})) 是第 (b) 棵树的预测值。 五、随机森林回归的优缺点 5.1 优点 高准确度：随机森林通过结合多棵决策树，显著提升了模型的预测准确度。 抗过拟合：由于引入了随机性，随机森林相比单棵决策树更加抗过拟合，能够更好地泛化到未见的数据。 能够处理高维数据：随机森林在特征维度较高的情况下仍然能够有效工作。 内置评估：随机森林利用袋外（OOB）样本进行无偏误差估计，无需再专门划分验证集，节省了数据。 5.2 缺点 计算复杂度高：由于随机森林需要训练多棵决策树，因此计算成本较高，尤其是在数据量大时。 模型解释性较差：随机森林的集成机制使得模型难以解释，不容易理解每个特征对预测结果的影响。 六、文献支持 [1] Breiman, L. (2001). Random forests. Machine learning, 45(1), 5 - 32. 该文献详细介绍了随机森林算法的原理和应用。 [2] Freund, Y., & Schapire, R. E. (1997). A decision - theoretic generalization of on - line learning and an application to boosting. Journal of computer and system sciences, 55(1), 119 - 139. 虽然主要介绍的是 Adaboost 算法，但对集成学习的思想有一定的阐述。 [3] Chawla, N. V., Bowyer, K. W., Hall, L. O., & Kegelmeyer, W. P. (2002). SMOTE: synthetic minority over - sampling technique. Journal of artificial intelligence research, 16, 321 - 357. 虽然与随机森林回归直接相关度不大，但对处理数据不平衡问题有一定的参考价值。 综上所述，随机森林回归算法通过 Bootstrap 聚合和特征随机性，将多个决策树组合在一起，有效降低了模型的方差，提高了模型的泛化能力。在实际应用中，需要根据数据的特点和问题的需求，合理选择模型的参数，以达到最佳的预测效果。显示所有公式
最新发布
07-03
该公式体现了 **Bagging 集成思想**：通过平均 $B$ 棵独立训练的决策树预测值，降低模型方差，提升泛化能力[^1]。 #### 二、双重随机性机制 随机森林的核心创新在于**双重随机性**： 1. **样本随机性（行采样）** ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值