算法梳理之决策树

最新推荐文章于 2024-10-29 07:36:59 发布
原创 最新推荐文章于 2024-10-29 07:36:59 发布 · 345 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了决策树算法的基础，包括信息熵、信息增益和基尼指数等概念。介绍了ID3、C4.5和CART三种决策树算法及其区别，如C4.5通过信息增益率克服信息增益的不足。接着，讨论了回归树的原理，以及决策树防止过拟合的策略，如Pruning（裁剪）。同时，阐述了模型评估方法，如保持方法、随机二次抽样、交叉验证和自助法。最后提到了Sklearn库中决策树的相关参数，如criterion、splitter、max_depth等。

1 信息论基础

决策树我们都知道它的样子，就像树一样一级一级的细分，正如西瓜树上的图示
在这里插入图片描述
在构造决策树时，遇到的第一个问题就是，当前数据集上哪个特征在划分数据分类时起决定作用。为了找到决定性的特征，划分出最好的结果，我们要评估每个特征。怎么来评估这些特征，这就需要先了解一些概念

熵(entropy)是表示随机变量不确定性的度量，熵越大，随机变量的不确定性越大。
熵定义为
在这里插入图片描述
条件熵：条件熵H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性。
在这里插入图片描述
信息增益：
信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少程度
在这里插入图片描述
基尼指数：
基尼指数Gini(D)表示集合D不确定性，基尼指数Gini(D，A=a)表示集合D经A=a分割后的不确定性(类似于熵)，基尼指数越小，样本的不确定性越小。
基尼指数定义为
在这里插入图片描述

2 不同分类算法

最低0.47元/天 解锁文章

200万优质内容无限畅学
15+3=18
关注
【算法梳理】决策树
m0_38019841的博客
01-08 622
目录 1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景 3. 回归树原理 4. 决策树防止过拟合手段 5. 模型评估 6. sklearn参数详解，Python绘制决策树 1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度） 熵（信息熵） 度量样本集合纯度最常用的指标。假设样本集合...
决策树算法梳理
pandawang830的博客
03-31 614
目录 1. 信息论基础 2.决策树原理及应用场景 3. 决策树防止过拟合手段 4. sklearn参数详解 1. 信息论基础 熵 一个随机变量的熵越大，意味着不确定性越大，那么也就是说，该随机变量包含的信息量越大。 由熵的定义，必然事件的熵是0，因为必然是事件是确定无疑的，并不含有不确定性，也就是说，必然事件不含有信息量。 联和熵 在互信息的讨论中，我们已经涉及到联合分...
5.决策树特征重要性判别算法python实现
Mr_W1997的博客
07-07 2338
特征重要性算法 项目链接： 信息增益法 公式 熵的定义： 属性 yyy 的熵，表示特征的不确定性： P(Y=yj)=pj,i=1,2,⋯ ,n P\left(Y=y_{j}\right)=p_{j}, \quad i=1,2, \cdots, n P(Y=yj​)=pj​,i=1,2,⋯,n H(Y)=−∑j=1npjlog⁡pj H(Y)=-\sum_{j=1...
机器学习——决策树（二）
qq_41566819的博客
12-26 1742
决策树描述的是通过一系列规则对数据进行分类的过程。决策树分为分类树和回树两种，分类树的对离散变量进行决策，回归树用于对连续变量进行决策。
决策树超参数max_depth（最大深度）详细解析
AI_dataloads的博客
09-13 1万+
总结起来，选择合适的max_depth值需要综合考虑模型性能、数据集大小和正则化技术。通过尝试不同的max_depth值并评估其性能，可以找到适合特定问题的最佳参数值。记住，决策树的max_depth参数是一个重要的调整参数，对模型性能有着显著影响。
常见分类算法的调参
COOKER的博客
10-29 2225
在上述代码中，可以通过修改学习率、网络层数和优化器等参数，并观察不同参数设置下模型在验证集上的准确率，来体会调参对模型性能的影响。实际应用中，还可以进一步调整其他参数，如隐藏层神经元数量、正则化参数、批大小等。）也可以按照决策树调参的方法进行调整，因为随机森林是由多个决策树组成的。调参是一个不断尝试和优化的过程，需要结合具体的数据和问题来进行。表示 5 折交叉验证，这样可以找到使模型在验证集上性能最好的。并且，随机森林中的决策树相关参数（如。
决策树模型学习笔记
TonCC的博客
08-25 1559
决策树基础学习笔记
决策树算法梳理（从原理到示例）
cuijiekun的博客
03-29 7053
决策树算法原理和实践
机器学习算法入门梳理——决策树的分类预测详解
weixin_45717457的博客
08-23 1207
基于决策树的分类预测 机器学习算法详解，day2 打卡！ 决策树概念 信息熵 基尼系数 剪枝 总结 1. 决策树的概念 决策树（decision tree）也是机器学习中的一个重要算法，但是我们可能平时在决策的时候就常常用到，比如以下天气和怎么出行的问题： 决策树是一种非参数学习算法，可以解决分类（包括多分类）问题，还可以解决回归问题。 如下的例子，用iris简单看一下决策树。 import numpy as np import pandas as pd import seaborn as sns
机器学习第五章之决策树模型
wangyutao12345的博客
08-13 4961
机器学习专题系列
决策树参数
12-01
决策树相关参数如下： - max_depth:树的最大深度,也就是说当树的深度到达max_depth的时候无论还有多少可以分支的特征,决策树都会停止运算. - min_samples_split: 分裂所需的最小数量的节点数.当叶节点的样本数量小于该参数后,则不再生成分支.该分支的标签分类以该分支下标签最多的类别为准 - min_samples_leaf; 一个分支所需要的最少样本数,如果在分支之后,某一个新增叶节点的特征样本数小于该超参数,则退回,不再进行剪枝.退回后的叶节点的标签以该叶节点中最多的标签你为准 - min_weight_fraction_leaf: 最小的权重系数 - max_leaf_nodes:最大叶节点数,None时无限制,取整数时,忽略max_depth
(DecisionTreeRegressor)决策树回归预测实例-max_depth 学习笔记
sanjianjixiang的博客
10-29 6527
import numpy as np from sklearn.tree import DecisionTreeRegressor import matplotlib.pyplot as plt %matplotlib inline n = 100 x = np.random.rand(n)*6 - 3 x.sort() y = np.sin(x) + np.random.rand(n) + 0...
python 决策树_机器学习(15): 决策树及Python实现
weixin_39579726的博客
12-07 191
点击“机器学习研习社”，“置顶”公众号重磅干货，第一时间送达回复【大礼包】送你机器学习资料与笔记回顾机器学习(1):数据预处理机器学习(2):简单线性回归分析机器学习(3):多元线性回归机器学习(4):逻辑回归机器学习(5):KNN机器学习(6):逻辑回归的数学原理机器学习(7):支持向量机机器学习(8):实现KNN机器学习(9):SVM的实现机器学习(10):朴素贝叶斯机器学习(11)...
DecisionTree决策树算法及参数详解+实例+graphviz生成决策树
机器学习算法
04-07 7万+
DecisionTree决策树算法及参数详解+实例+graphviz生成决策树 sklearn随机森林 sklearn集合算法库 sklearn-Bagging自助聚合算法 sklearn-Boosting正向激励算法 sklearn-ExtraTrees算法
【机器学习算法介绍】决策树
qq_42554780的博客
10-09 1218
文章目录1 摘要2 将决策树用于分类任务2.1 数据集的加载与模型训练2.2 决策树可视化工具的使用2.3 决策边界的绘制2.4 数学原理2.4.1 决策树分割的标准（度量不纯度的指标）2.4.2 三种分割标准的区别2.4.3 使用CART算法训练用于分类任务的决策树2.4.4 算法复杂度2.5 超参数2.5.1 常用超参数2.5.2 调参3 将决策树用于回归任务3.1 回归决策树的训练及拟合3.2 使用CART算法训练回归决策树 1 摘要 决策树可用于解决分类任务、回归任务甚至多输出任务。 决策树是随机
DecisionTree决策树参数详解
Amanda_python的博客
12-22 4995
1.max_depth: 指定遍历搜索的最大深度。int or None, optional (default=None) 一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间。常用来解决过拟合 2.min_sample_leaf: 叶子节点最少样本数。这个值限制叶子节点最少的样本数，若叶子节点数小于样本数，则会和兄弟节点一起被剪枝，样本量不大时，可不管这个值 3.max_leaf_nodes
scikit-learn决策树
changzoe的博客
09-13 736
1、scikit-learn决策树算法类库介绍 scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法，既可以做分类，又可以做回归。分类决策树的类对应的是DecisionTreeClassifier，而回归决策树的类对应的是DecisionTreeRegressor。两者的参数定义几乎完全相同，但是意义不全相同。下面就对DecisionTreeClassifier和...
决策树模型及案例（Python）
热门推荐
qq_42433311的博客
04-14 9万+
目录 1 决策树模型简介 2 Gini系数（CART决策树） 3信息熵、信息增益 4决策树模型代码实现 4.1分类决策树模型(DecisionTreeClassifier) 4.2回归决策树模型(DecisionTreeRegressor) 5案例：员工离职预测模型 5.1模型搭建 5.1.1数据读取与预处理 5.1.2提取特征变量和目标变量 5.1.3划分训练集与测试集 5.1.4模型搭建及训练 5.1.5代码汇总 5.2模型预测及评估 5.2.1直...
机器学习sklearn中决策树模型参数释义
随遇而安_小强的博客
07-07 2万+
''' scikit-learn中有两类决策树，它们均采用优化的CART决策树算法。 ''' from sklearn.tree import DecisionTreeRegressor ''' 回归决策树 ''' DecisionTreeRegressor(criterion="mse", splitter="best", ...
tika-parser-font-module-3.1.0.jar中文-英文对照文档.zip
最新发布
09-07
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值