一文速学数模-分类模型(二)决策树(Decision Tree）算法详解及python实现

已于 2023-02-20 16:31:22 修改
阅读量1.2w 收藏 126
点赞数 30
CC 4.0 BY-SA版权
分类专栏： 一文速学-数学建模常用模型 文章标签： 决策树 大数据 数据挖掘 python
于 2020-10-13 10:53:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/master_hunter/article/details/109022300
本文详细介绍了决策树的工作原理、特点、构造方法、信息增益概念以及Python实现步骤，帮助读者理解并掌握决策树在数据挖掘中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、决策树概述

二、工作原理及特点

三、决策树的构造

四、信息增益

五、决策树实现

1.构造数据集

2.计算熵值

3.按特征划分数据

4.选择最优划分算法

5.构造决策树

总结

 

一、决策树概述

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。

分类树（决策树）是一种十分常用的分类方法。他是一种监督学习，所谓监督学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。

机器学习中，决策树

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一文速学-XGBoost模型算法原理以及实现+贷款违约预测模型Python项目实战
master_hunter的博客
04-03 1万+
集成模型Boosting补完计划第三期了，之前我们已经详细描述了AdaBoost算法模型和GBDT原理以及实践。通过这两类算法就可以明白Boosting算法的核心思想以及基本的运行计算框架，余下几种Boosting算法都是在前者的算法之上改良得到，尤其是以GBDT算法为基础改进衍生出的三种Boosting算法：XGBoost、LightGBM、CatBoost。大家应该都对XGBoost算法模型熟悉但是对GBDT模型一无所知，看过之前GBDT的读者应该对GBDT模型有了一个很清楚的认知，对于理解XGBoos
机器学习强基计划2-2：一文详解ID3、C4.5、CART决策树算法+ Python实现
FRIGIDWINTER的博客
11-09 3187
决策树模拟人类在面临决策问题时的系列判断处理机制，基于树结构对属性分而治之学习。本文从相亲问题出发，通俗理解决策树，并详解ID3、C4.5、CART三种决策树模型，同时给出Python实现
决策树（DecisionTree）项目（python代码实现）
10-08
本压缩包包含： 1.本决策树（DecisionTree）项目python源代码文件； 2.项目用的数据（csv格式）； 3.一个普通文件，记录本项目的调试过程，用作实战参考
机器学习之决策树（Decision Tree）及其Python代码实现
热门推荐
HuangQinJian
02-10 3万+
决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。
【AI深究】决策树（Decision Tree）全网最详细全流程详解与案例（附Python代码演示）|数学原理、案例流程、代码演示及结果解读|ID3、C4.5、CART算法|工程启示、分类、回归决策树
最新发布
AI人工智能爱酱～你的AI学习好帮手～
06-23 1395
大家好，我是爱酱。本篇将会系统讲解决策树（Decision Tree）的定义、原理、数学推导、常见算法、代码实现与工程应用。内容适合初学者和进阶读者，配合公式和可视化示例。这期的文章会较简单，如果大家有兴趣可以到爱酱主页搜寻更多分类、回归等的算法！ 注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！
python机器学习之决策树（decision tree）
qq_51539256的博客
01-25 5846
决策树分类和回归
Python实现Decision Tree
BIG_Ribbit的博客
01-05 1734
前言 这篇文章是我用Python对Decision Tree的简单实现，不包含剪枝功能。另外，这个Decision Tree只适用于连续性特征值，离散型的以后有机会再补充。数据集为iris。 1. 导入所需包 import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split 2. 加载数据 iris = load
Python遇见机器学习 ---- 决策树 Decision Tree
如切如磋，如琢如磨
03-31 1563
综述 “独木难成林” 本文采用编译器：jupyter 决策树 (decision tree) 是一类常见的机器学习方法，顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面临决 策问题时一种很自然的处理机制。 例如，我们要对“是否录用他作为机器学习算法工程师？”这样的问题进行决策时，通常会进行一系列的判断或“子决策”：我们先看“他是否发表过顶会论文？”如果是“没有”，则再看...
一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战
2401_84166376的博客
04-28 1333
集成模型Boosting补完计划第三期了，之前我们已经详细描述了AdaBoost算法模型和GBDT原理以及实践。通过这两类算法就可以明白Boosting算法的核心思想以及基本的运行计算框架，余下几种Boosting算法都是在前者的算法之上改良得到，尤其是以GBDT算法为基础改进衍生出的三种Boosting算法：XGBoost、LightGBM、CatBoost。
一文上手决策树和随机森林和KNN-python
cuicuicuicuicuih的博客
05-05 1883
写在前面 我们在数据分析或者建模中经常会用到机器学习模型中的树模型或者近邻的方法，通过本文可以使你快速搭建出一个可以运行的效果还不错的模型，但是原理可以通过其他的博客自己补一下~ 写这篇文章也是想让自己记录一下，方便以后用的时候直接拿来用。我认为这里面最好用的还是当属可视化部分代码啦~毕竟学习之前也不知道可视化竟然这么方便！ 本文主要分为三个部分，分别是决策树的用法；KNN的用法；随机森林的用法。其实三者在sklearn里调包的话差别不大，细微差别。 适合像我一样的小白中的小白，可以大体了解一下~高手绕道
决策树(Decision Tree)算法 python简单实现
AlphaTao的博客
12-03 1525
1. 简介 决策数(Decision Tree)在机器学习中是比较常见的一种算法，属于监督学习中的一种。 算法流程如图： 具体算法可以详见下方参考 有空再做详解 参考：https://blog.youkuaiyun.com/zaishuiyifangxym/article/details/96630813 2.代码实现 """ Created on Thu Nov 28 14:01:04 2019 @au...
python实现决策树算法
03-30
通过python基础语言实现机器学习中基础算法-决策树。有助于初学机器学习的小白加深对机器学习的理解。
决策树算法python实现
05-25
python实现决策树，具体步骤参考博文：http://blog.youkuaiyun.com/Dream_angel_Z/article/details/45965463
Python机器学习--算法--决策树算法
寒江之雪，披蓑独钓的博客
08-30 2603
决策树算法 决策树算法类型: 决策树是一系列算法，而不是一个算法。 决策树包含了 ID3分类算法，C4.5分类算法，Cart分类树算法，Cart回归树算法。 决策树既可以做分类算法，也可以做回归算法。因此决策树既可以解决分类问题，也可以解决回归问题。 决策树的构成 决策树的基本组成部分包括：根节点，分节点，和叶子节点。 一般来讲，在决策树中，根节点和分节点使用方块表示，而叶子节点使用椭圆表示。 决策树的关键点在于如何取建立出一个树，如何建立出一个在可以达成目标的前提下深度最浅的树。 决策树中不同算法的介
python数据分析算法_python 数据分析算法（决策树）
weixin_39782433的博客
11-21 259
决策树基于时间的各个判断条件，由各个节点组成，类似一颗树从树的顶端，然后分支，再分支，每个节点由响的因素组成决策树有两个阶段，构造和剪枝构造： 构造的过程就是选择什么属性作为节点构造，通常有三种节点1. 根节点：就是树的最顶端，最开始那个节点 （选择哪些属性作为根节点）2. 内部节点： 就是树中间的那些节点　　　　（选择哪些属性作为子节点）3. 叶节点： 就是树最底部的节点，也就是决策的结果（什...
Python 机器学习 决策树(Decision Tree)
亮亮的专栏
08-08 228
机器学习使计算机从研究数据和统计数据中学习机器学习是向人工智能（AI）方向迈进的一步。机器学习是一个分析数据并学习预测结果的程序。本文主要介绍Python 机器学习 决策树(Decision Tree)。 原文地址：Python 机器学习 决策树(Decision Tree) ...
Python实现决策树算法
Wang_Jiankun的博客
07-16 1141
Python实现决策树算法 1、算法介绍 原理：决策树算法是根据特征对数据进行不断的细分，从而得到该样本的类别。构建决策树时，依次选取信息增益最大的特征进行划分。 信息熵： k表示类别，pk表示该类别的占比 信息增益： v表示该特征的特征值，Dv表示属于该特征值的数据子集 2、算法流程 3、Python代码实现及注释 import math # 创建数据集...
用python实现决策树算法
清舞 点滴
12-27 624
使用python实现决策树#coding=utf-8 ''' the feature's value is all discrete build a decision tree by ID3,CART,C4.5 respectively ''' import numpy as np import csv from math import log import json def find_val(li
[python for ML] Decision tree
艳艳博客
01-16 961
tree.pyfrom math import log# function to calculate entropy ## a data set with the last column being class label def calEntropy(dataset): # number of data set numData = len(dataset) # create
一文详解八种异常检测算法
02-06
### 关于八种异常检测算法的详细解释 #### 1. 监督异常检测 (Supervised Anomaly Detection) 监督异常检测依赖于已标注的数据集来区分正常和异常情况。通过这些标签，可以构建分类模型以预测新数据点的状态。常用的算法有逻辑回归、支持向量机和支持向量机变体如C-SVM、ν-SVM等，还有决策树及其集成版本随机森林。 ```python from sklearn.svm import SVC clf = SVC() clf.fit(X_train, y_train) predictions = clf.predict(X_test) ``` 这种类型的检测适用于拥有充足标记样本的情况[^2]。 #### 2. 无监督异常检测 (Unsupervised Anomaly Detection) 当缺乏足够的带标签数据时，则可采用无监督的方法来进行异常探测。这类方法利用了数据内在结构特性而不需额外的信息指导。典型代表包括k-means聚类、DBSCAN密度基空间聚类以及孤立森林(Isolation Forests)，后者特别适合处理高维稀疏数据。 ```python from sklearn.ensemble import IsolationForest iso_forest = IsolationForest(contamination=0.1) y_pred = iso_forest.fit_predict(X) ``` 此方式能够有效应对未知类别或难以获取标签的情形。 #### 3. 半监督异常检测 (Semi-Supervised Anomaly Detection) 介于两者之间的是半监督模式，在这里仅有部分实例被赋予真值指示其状态；其余大部分保持未定。此类场景下常见的策略涉及自编码器(autoencoders)与生成对抗网络(GANs)相结合的形式——即所谓的“深度置信网”。 ```python import tensorflow as tf autoencoder = tf.keras.models.Sequential([ ... ]) history = autoencoder.fit(x_train_noisy, x_train, epochs=epochs, batch_size=batch_size, shuffle=True, validation_data=(x_val_noisy, x_val)) ``` 这种方法充分利用有限数量的手动标注资源提升整体效果。 #### 4. 在线异常检测 (Online Anomaly Detection) 在线环境下的挑战在于必须即时响应不断流入的新观测值，并及时调整内部参数适应变化趋势。为此设计了一系列增量更新机制，比如Hoeffding Trees（霍夫丁树）、Adaptive Resonance Theory Networks（ART神经网络），它们能够在不影响现有知识的前提下逐步纳入最新信息源。 ```python from skmultiflow.trees.hoeffding_tree import HoeffdingTreeClassifier ht = HoeffdingTreeClassifier() for i in range(n_samples): ht.partial_fit([X[i]], [y[i]]) ``` 该方案非常适合动态背景下连续监控任务的需求。 #### 5. 基于距离/相似度测量的距离型异常检测(Distance-based Anomaly Detection) 基于欧几里得或其他形式的距离测度计算个体间差异程度作为判断依据之一。LOF局部离群因子(Local Outlier Factor)便是其中一员，它衡量目标对象相对于周围邻居位置偏离平均状况的程度。 ```python from pyod.models.lof import LOF detector = LOF() detector.fit(X) scores_pred = detector.decision_function(X_test) ``` 这种方式直观易懂且易于实现，但在维度灾难面前可能遭遇瓶颈[^1]。 #### 6. 统计学基础的概率型异常检测(Statistical-based Anomaly Detection) 运用经典统计理论框架内建立假设检验流程，例如格鲁布斯准则(Grubbs' test)用于单变量集合中寻找极端偏差成员。对于多元情形则存在马氏距离(Mahalanobis Distance)这样的工具可供选用。 ```python from scipy.stats import chi2 def mahalanobis(x=None, data=None, cov=None): """Compute the Mahalanobis distance.""" x_minus_mu = x - np.mean(data) inv_covmat = sp.linalg.inv(np.cov(data.T)) left_term = np.dot(x_minus_mu, inv_covmat) mahal_dist = np.dot(left_term, x_minus_mu.T) return math.sqrt(mahal_dist) ``` 上述过程严格遵循数理推导路径确保结论可靠性。 #### 7. 时间序列特定的时间序列异常检测(Time Series-specific Anomaly Detection) 考虑到顺序排列特点而专门定制化的解决方案，像ARIMA差分整合移动平均自回归模型(Autoregressive Integrated Moving Average Model)就专攻于此领域。近年来兴起的一些研究还探索了如何借助LSTM长短记忆单元(Long Short-Term Memory Units)捕捉长期依赖关系从而改善预报精度。 ```python model = Sequential() model.add(LSTM(units=50, return_sequences=True, input_shape=(X_train.shape[1],1))) model.compile(optimizer='adam', loss='mean_squared_error') model.fit(X_train, y_train, epochs=1, batch_size=1, verbose=2) ``` 这有助于更精准地把握随时间演变规律并提前预警潜在风险事件的发生可能性[^4]。 #### 8. 对抗性训练增强的异常检测(Adversarial Training-enhanced Anomaly Detection) 引入GAN架构理念创造一对相互对立又彼此促进的学习实体：一个是负责生成看似真实的伪造品的生成器(generator),另一个则是试图分辨真假混杂输入流判别器(discriminator). USAD就是这样一种创新性的尝试，旨在克服传统单一视角局限性的同时提高泛化能力。 ```python class Generator(tf.keras.Model): def __init__(self): super().__init__() ... class Discriminator(tf.keras.Model): def __init__(self): super().__init__() ... generator_optimizer = tf.keras.optimizers.Adam(1e-4) discriminator_optimizer = tf.keras.optimizers.Adam(1e-4) checkpoint_prefix = os.path.join(checkpoint_dir, "ckpt") checkpoint = tf.train.Checkpoint(generator_optimizer=generator_optimizer, discriminator_optimizer=discriminator_optimizer, generator=generator, discriminator=discriminator) ``` 如此这般既强化了系统的稳健性和灵活性，也为后续改进留下了广阔的空间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

fanstuck

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值