机器学习笔记（三）：决策树

最新推荐文章于 2025-04-21 17:49:33 发布
原创 最新推荐文章于 2025-04-21 17:49:33 发布 · 216 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨ID3、C4.5、CART等决策树算法，解析决策树剪枝策略，包括前置剪枝和后置剪枝的优劣对比。同时，文章还介绍了决策树在分类与回归任务中的应用，并提供了决策树可视化的实现方法。

ID3、C4.5、CART分类树算法总结

决策树剪枝：

①前置剪枝：API自带前置剪枝，实践证明这种策略无法得到比较好的结果

②后置剪枝：

分类树和回归树

决策树可视化

【机器学习笔记】决策树剪枝
欢迎关注我的博客
07-24 1235
预剪枝：在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点。优点：1.降低了过拟合的风险。2.减少了决策树的训练时间开销和测试时间开销。缺点：1.有欠拟合的风险后剪枝：先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。优点：1.欠拟合风险很小。2.泛化性能往往优于预剪枝决策树。
机器学习笔记（2）-决策树
金融风控笔记
07-19 1602
（1）基尼值​Gini(D)反映了从数据集D中随机抽取两个样本，其类别标记不一致的概率，表示数据集整体的不确定性。Gini(D)越小，数据集D的纯度越高，不确定性越小。（2）基尼指数​表示经a分割后数据集D的不确定性。（3）基尼不纯度的减少量。
决策树
鲨鱼儿的博客
03-27 2836
一、决策树算法基础 1、决策树算法： NOTE: 决策树是一个贪心算法，每次选择划分数据的划分节点的时候，都是选择让损失函数变的更小的这个特征属性作为划 分节点，只考虑局部最优没有考虑全局最优。 在分类的时候，损失函数可以理解为信息熵；在回归的时候，损失函数可以理解为MSE。 只有基于决策树模型才能传入多个标签，其他的...
机器学习读书笔记：决策树
新兴IT民工的专栏
09-07 1万+
文章目录如何形成一颗决策树划分选择信息熵 & 信息增益基尼指数剪枝预剪枝后剪枝连续值 & 属性缺失处理连续值属性缺失多变量决策树 如何形成一颗决策树 ​ 决策树从结构上来说就是一颗树的数据结构。从根节点开始，每次根据样本中的某个属性就行判断进行分岔，直到叶节点获得分类： ​ 这个很好理解，书中提到了形成一棵决策树的一般算法： ​ 先理解一下这个递归函数的三个返回条件： 样本集DDD中的样本全部属于同一个类别。就算样本集合DDD中的属性有不同的取值，但是已经无法为当前的节点进行分岔了，
学习笔记：机器学习之决策树
qq_44635691的博客
07-10 875
学习笔记：机器学习之决策树
机器学习算法——决策树
2401_87863416的博客
04-21 5287
决策树（Decision Tree）是一种以树形结果展示决策规则和分类结果的模型。作为一种归纳算法模型，它可以从看似无序、杂乱的数据中提取出数据分类的规律，并用其进行新数据分类或预测。决策树可被用于解决分类和回归问题。例如：通过一个西瓜的多种特征，如其纹理、色泽、触感，等判断其是否是好瓜；或通过一天的天气情况，如是否晴天、风力大小、空气湿度等，判断这一天是否适合进行户外运动等。
机器学习笔记十一：决策树
谢小小XH
03-22 1931
决策树算法
Python机器学习日记8：决策树
大家好，欢迎来到鱼尾的博客！
11-02 1859
Python机器学习日记8：决策树一、书目与章节二、决策树1. 构造决策树 一、书目与章节 拜读的是这本《Python机器学习基础教程》，本文选自第2章“监督学习”第3节“监督学习算法中的决策树。 本书全部代码：https://github.com/amueller/introduction_to_ml_with_python 二、决策树 应用场景：分类和回归 本质：从一层层的if/else问题中进行学习，并得出结论 运行第五行代码的时候可能会报错，需要先安装库graphviz import mgle
Python3《机器学习实战》学习笔记（三）：决策树实战篇之为自己配个隐形眼镜
热门推荐
Jack-Cui
07-28 7万+
上篇文章讲述了机器学习决策树的原理，以及如何选择最优特征作为分类特征。本篇文章将在此基础上进行介绍。主要内容包括：决策树构建、决策树可视化、使用决策树进行分类预测、决策树的存储和读取、sklearn实战之预测隐形眼镜类型
传统机器学习笔记4——决策树
chase
10-23 1740
传统机器学习笔记4——决策树
【机器学习期末复习笔记】：快速了解机器学习的内容
最新发布
08-19
内容概要：本文档《机器学习.pdf》系统介绍了多种机器学习算法及其应用场景，涵盖KNN、决策树、朴素贝叶斯、逻辑回归、SVM、集成学习（如Adaboost）、聚类（如K-Means和DBSCAN）、PCA和SVD等。文档详细解释了各算法...
精选资源
机器学习-西瓜书学习笔记-第四章决策树及代码
08-13
1. 划分选择：决策树学习中，选择最优划分属性是关键。这涉及到如何度量样本集合的纯度，以及如何根据属性划分样本集合。 - 信息熵：信息熵是度量样本集合纯度的一种指标 - 信息增益：使用属性进行划分所获得的...
机器学习系列笔记十二: 决策树
ChanZany的博客
07-19 686
机器学习系列笔记十一: 决策树 文章目录机器学习系列笔记十一: 决策树Intro信息熵使用信息熵寻找最优划分基尼系数使用基尼系数寻找最佳划分基尼系数与信息熵的对比CART与决策树中的超参数决策树的超参数决策树解决回归问题决策树的局限性缺点改进措施总结参考致谢 Intro 以招聘机器学习算法工程师为例子，对于一个应聘者的信息输入，决策的流程可以一个树结构来表示： 通过多级判断产生多个判断条件作为根节点，多个结果作为叶子节点，这样的过程就叫做决策树。通常我们把决策树的深度定义为获取最终结果的最大所需判断数。在
【机器学习西瓜书学习笔记——决策树】
m0_51148715的博客
07-30 1317
决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。一棵决策树的生成过程主要分为以下3个部分：特征选择： 是指从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准标准，从而衍生出不同的决策树算法。决策树生成： 根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则停止决策树停止生长。 树结构来说，递归结构是最容易理解的方式。决策树剪枝： 决策树容易过拟合，一般来需要剪枝，缩小树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪
数据不平衡：下采样、上采样python代码实现
xiaoxy97的博客
09-29 2万+
一、下采样 所有数据存在DataFrame对象df中。数据分为两类：多数类别和少数类别，数据量相差大。数据预处理已将多数类别的Label标记为1，少数类别的Label标记为0。从多数类中随机抽取样本（抽取的样本数量与少数类别样本量一致）从而减少多数类别样本数据，使数据达到平衡的方式。 import numpy as np import pandas as pd def lower_sam...
梯度下降法python+numpy实现
xiaoxy97的博客
10-11 2856
批量梯度下降法(Batch Gradient Descent, BGD)：使用所有样本在当前点的梯度值来对变量参数进行更新操作。 随机梯度下降法(Stochastic Gradient Descent, SGD)：在更新变量参数的时候，选取一个样本的梯度值来更新参数。 小批量梯度下降法(Mini-batch Gradient Descent, MBGD)：集合BGD和SGD的特性，从原...
机器学习笔记（七）：SVM
xiaoxy97的博客
10-11 2026
一、前导 1、最优化问题 最优化问题一般是指对于某一个函数而言，求解在其指定作用域上的全局最小值问题，一般分为以下三种情况(备注：以下几种方式求出来的解都有可能是局部极小值，只有当函数是凸函数的时候，才可以得到全局最小值)： ①无约束问题：求解方式一般求解方式梯度下降法、牛顿法、坐标轴下降法等； ②等式约束条件：求解方式一般为拉格朗日乘子法 拉格朗日乘子法求解 ③不等式约...
机器学习笔记（六）：聚类算法
xiaoxy97的博客
10-03 1371
一、聚类算法总括 1.1  定义 对大量未标注的数据集按数据内部存在的数据特征划分为多个不同类别，使类别内数据比较相似，类别间数据相似度比较小。 1.2  和分类算法区别 分类算法：有监督学习 聚类算法：无监督学习 1.3  样本相似度度量 1.3.1  闵可夫斯基距离(Minkowski) a. p=1：曼哈顿距离 b. p=2：欧氏距离（常用） c. p为无穷大：切比雪...
机器学习标准化处理小技巧
xiaoxy97的博客
07-09 520
数据标准化 StandardScaler (基于特征矩阵的列，将属性值转换至服从正态分布) 标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下 常用与基于正态分布的算法，比如回归 数据归一化 MinMaxScaler （区间缩放，基于最大最小值，将数据转换到0,1区间上的） 提升模型收敛速度，提升模型精度 常见用于神经网络 Normalizer...
机器学习算法详解：从决策树到SVM
"这篇资源是关于传统机器学习算法的个人笔记，涵盖了k近邻、朴素贝叶斯、支持向量机（SVM）、感知机和逻辑回归等算法，重点介绍了它们的基本思想、优缺点和应用场景。" 1. **决策树**： 决策树是一种基于树形结构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值