Python 机器学习 决策树 分类原理

Python决策树模型的基本原理和参数调优【附代码】 下图所示为一个典型的决策树模型:员工离职预测模型的简单演示。该决策树首先判断员工满意度是否小于5,答案为“是”则认为该员工会离职,答案为“否”则接着判断其收入是否小于10,000元,答案为“是”则认为该员工会离职,答案为“否”则认为该员工不会离职。这里。 阅读详情

决策树是机器学习中用于分类和回归的一种非常流行的模型。它模拟了人类决策过程的方式,通过一系列的问题来推导出最终的决策结果。在分类问题中,决策树通过从数据集中学习决策规则来预测目标变量的类别。在分类问题中,决策树通过从数据的特征中学习一系列规则来预测目标变量的类别。决策树的核心思想是基于特征对数据集进行分割,使得每个分割后的子集比原始数据集在目标变量上的分布更加纯净。过程可以看作是在特征空间中进行递归划分,最终得到的树状结构可以直观地展示出决策过程。

参考文档:Python 机器学习 决策树 分类原理-CJavaPy

1、决策树分类原理

决策树是一种常用的机器学习模型,可以用于分类和回归任务。决策树由一系列节点和边组成,每个节点代表一个特征,每个边代表一个特征的取值。决策树的分类原理是通过一系列的判断和条件分支,将样本划分为不同的类别。决策树在分类过程中通过从根节点开始,基于实例的特征值沿树向下遍历至叶节点来决定实例的类别。在每个节点,根据特征值的测试结果选择分支,直至到达叶节点,此时实例被分配到该叶节点关联的类别,叶节点的类型标签就是最终的分类结果。决策树的优点在于其过程的可解释性强,能够处理数值型和类别型特征,且不需要数据预处理。然而,决策树也容易过拟合,且对数据的小变化敏感,可能导致生成完全不同的树结构。通过调整参数如树的深度和最小分割样本数,可以在模型的复杂性和泛化能力之间找到平衡,优化模型性能。

1)选择最佳特征

选择最佳特征是构建决策树时的关键步骤。目标是找到最佳的分割点,以便尽可能准确地分类实例。从当前数据集的特征中选择最佳的分裂特征。这个选择基于特定的标准,比如信息增益(在ID3算法中使用)、信息增益比(在C4.5算法中使用)或基尼不纯度(在CART算法中使用)。

2)分裂节点

在分类问题中,决策树的目标是根据输入特征将数据点分到预先定义的类别中。决策树的核心在于如何选择最佳的分裂属性和分裂点,以便在每个节点上清晰地区分不同类别的数据。决策树构建过程中的关键步骤是确定每个节点上的最佳分裂。这个过程涉及评估每个特征对数据的分割效果,以选择最能提高数据集纯度的特征。构建决策树时,算法会遍历所有可能的特征及其可能的分裂点,根据选定的评判标准(如信息增益或基尼不纯度)来评估分裂的效果。该过程从根节点开始,递归地在每个节点上重复,直到满足停止条件。

3)递归构建树

对每个子节点重复步骤 1)和步骤2),直到满足特定的停止条件,如节点中的所有实例都属于同一类别、达到预设的最大深度、节点中的实例数少于预设的最小分裂数等。

4)剪枝

构建决策树后,可能会出现过拟合的现象,即模型在训练数据上表现很好,但是在未见过的数据上表现不佳。为了降低过拟合的风险,需要对决策树进行剪枝。为了避免过拟合,可以对已经生成的树进行剪枝。剪枝可以是预剪枝(在构建树的过程中提前停止树的增长)或后剪枝(在树完全生成后去除一些子树)。剪枝通过减少决策树的大小来降低过拟合风险,预剪枝是在决策树构建过程中就停止树的进一步分裂。后剪枝是在决策树构建完毕后进行的。一种常见的后剪枝技术是代价复杂度剪枝(Cost Complexity Pruning),该方法考虑到错误率和树的复杂度,通过删除一些子树然后用叶节点替代来减少树的大小。剪枝是提高决策树泛化能力的重要手段。通过合理的剪枝,可以使决策树模型在未知数据上有更好的表现。

可视化决策树代码如下,

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

# 加载iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化决策树分类器
clf = DecisionTreeClassifier(max_depth=3, random_state=42)

# 训练决策树模型
clf.fit(X_train, y_train)

# 使用模型进行预测
predictions = clf.predict(X_test)

# 打印预测结果
print(predictions)

# 可选:查看模型的决策树结构
from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

plt.figure(figsize=(20,10))
plot_tree(clf, filled=True, feature_names=iris.feature_names, class_names=iris.target_names, rounded=True)
plt.draw()
plt.show()

2、熵(entropy)

熵是信息论中的一个概念,用来衡量随机变量不确定性的度量。在决策树中,它用来衡量数据集的纯度(或混乱度)。如果一个数据集内的所有记录都属于同一个类别,则称该数据集为完全纯净,其熵为0;如果数据集中的记录均匀分布在多个类别中,则熵值最大,数据集的混乱度最高。

在构建决策树时,利用熵来评估分裂后数据集的混乱程度。对于每个可能的分裂,计算分裂后各个子集的熵,并利用这些熵值来计算加权平均后的总熵,这个过程称为信息增益(Information Gain)计算。信息增益表示的是分裂前后熵的减少量,也就是说,通过这个分裂我们减少了多少不确定性。公式代码如下,

import math

def calculate_entropy(data):
    """计算给定数据集的熵"""
    label_count = {}
    # 统计每个标签出现的次数
    for record in data:
        label = record[-1]  # 假设标签在每条记录的最后一个位置
        if label not in label_count:
            label_count[label] = 0
        label_count[label] += 1
    # 计算熵
    entropy = 0.0
    total = len(data)
    for label in label_count:
        probability = label_count[label] / total
        entropy -= probability * math.log(probability, 2)  # 以2为底的对数
    return entropy

# 示例数据集:[天气, 是否进行户外活动]
data = [
    ['晴', '是'],
    ['阴', '是'],
    ['雨', '否'],
    ['晴', '是'],
    ['晴', '否'],
    ['阴', '否'],
    ['雨', '是'],
    ['雨', '否'],
]

print(f"数据集的熵: {calculate_entropy(data)}")

3、分裂标准

决策树构建的关键是选择最优特征及其分裂点。为了实现这一点,决策树使用了各种算法来计算特征的选择标准。

1)信息增益(ID3算法)

信息增益是基于熵(entropy)的概念,熵是度量数据集纯度最常用的一种方式。信息增益表示在知道某特征的信息之后使得类别的信息熵减少的程度。选择信息增益最大的特征作为分裂特征。

2)信息增益比(C4.5算法)

信息增益比是信息增益和特征熵的比值。它解决了信息增益倾向于选择取值较多的特征的问题。

3)基尼不纯度(CART算法)

基尼不纯度是衡量数据集的不纯度的一种方法,类似于熵的概念但计算上更简单。基尼不纯度越小,数据集的纯度越高。CART(分类与回归树)算法使用基尼不纯度来选择分裂特征。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 使用不同的分裂标准训练决策树模型
criteria = ['gini', 'entropy']
for criterion in criteria:
    # 初始化决策树分类器
    clf = DecisionTreeClassifier(criterion=criterion, random_state=42)
    
    # 训练模型
    clf.fit(X_train, y_train)
    
    # 在测试集上进行预测
    y_pred = clf.predict(X_test)
    
    # 计算并打印准确率
    accuracy = accuracy_score(y_test, y_pred)
    print(f"Criterion: {criterion}, Accuracy: {accuracy:.4f}")

决策树的结果很容易理解和解释,非专业人士也能理解模型决策逻辑。不需要归一化或标准化数据。既能处理数值型数据,也能处理类别数据。但容易过拟合,特别是当树很深时,模型可能会过于复杂,捕捉到训练数据中的噪声。并且稳定性差,小的数据变化可能导致生成完全不同的树。

以上就是“Python 机器学习 决策树 分类原理”的全部内容,希望对你有所帮助。
​
​关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

二、Python必备开发工具

img

三、Python视频合集

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

img

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

img

五、Python练习题

检查学习结果。

img

六、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

img

最后祝大家天天进步!!

上面这份完整版的Python全套学习资料已经上传至优快云官方,朋友如果需要可以直接微信扫描下方优快云官方认证二维码免费领取【保证100%免费】。

机器学习笔记15——决策树(DT)、ID3算法、C4.5算法原理以及python实现案例 决策树1、概述2、决策树模型3、决策树学习4、决策树构建-三步骤4.1 特征选择4.1.1 熵(entropy)4.1.2 条件熵(entropy)4.1.3 信息增益总结 1、概述 决策树(decision tree): 是一种基本的分类与回归方法,此处主要讨论分类的决策树。 在分类问题中,表示基于特征对实例进行分类的过程,可以认为是if-then的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。 2、决策树模型 定义: 分类决策树模型是一种描述对实例进行分类的树形结构。 决策树由结点和有向边组 阅读详情

相关推荐

【机器学习】九大决策树模型总结

这篇博客深入探讨了九种不同的决策树模型,每种模型都拥有其独特的特点和应用场景。我将带您了解一些经典的模型,让你理解它们的工作原理,并在实践中灵活运用它们。

chunyang的博客 3615

【Python数据分析】数据挖掘建模——分类与预测——决策树

决策树是一种树状结构,它的每一个叶节点对应着一个分类,非叶节点对应着在某个属性上的划分,根据样本在该属性上的不同取值将其划分成若干个子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本做拆分。 常见的决策树算法如下: 决策树算法 算法描述 ID3算法 在决策树各级节点上,使用信息增益的方法作为属性的选择标准 C4.5算法 ID3的改进版,使用信息增益率来选择节点属性。ID3只适用于离散的描述属性,而C4.5算法既能够处理离散的描述属性,也可以处理连续的描述属性 ..

weixin_41168304的博客 5577

机器学习经典算法详解及Python实现--CART分类决策树、回归树和模型树

Classification And Regression Tree(CART)是一种很重要的机器学习算法,既可以用于创建分类树(Classification Tree),也可以用于创建回归树(Regression Tree),本文介绍了CART用于离散标签分类决策和连续特征回归时的原理。决策树创建过程分析了信息混乱度度量Gini指数、连续和离散特征的特殊处理、连续和离散特征共存时函数的特殊处理和后剪枝;用于回归时则介绍了回归树和模型树的原理、适用场景和创建过程。个人认为,回归树和模型树可以被看做“群落分类

Adan 2万+

Python算法:决策树分类

决策树是一种简单高效并且具有强解释性的模型,广泛应用于数据分析领域,如果你将来要从事数据方面的工作,那么就需要来了解一下。

北天的博客 6047

02_05 python机器学习_第二章监督学习_决策树

Pyhton机器学习_决策树

辛欣的博客 408

机器学习之分类算法-决策树

机器学习之分类算法-决策树

学习中 1443

python决策树分类 导入数据集_机器学习算法之——决策树模型(Decision Tree Model)原理讲解及Python实现...

所属分类:机器学习摘要这一篇简单介绍一下使用决策树来进行分类任务, 同时我们会对决策树的结果进行可视化的显示. 这里会使用iris的例子进行分析.文章目录(Table of Contents)简介参考资料模型的训练与可视化导入数据集训练决策树模型模型的评价结果的可视化一些问题Make sure the Graphviz executables are on your systems' PATH简介...

weixin_39626211的博客 894

解析数据结构与算法中的决策树模型

决策树是机器学习中最基础且广泛应用的算法之一,它模拟人类决策过程,通过树形结构对数据进行分类或回归预测。系统性地介绍决策树的核心原理和数学基础深入分析不同决策树算法的实现细节提供可实践的Python代码实现探讨决策树在实际应用中的表现和优化方法首先介绍决策树的基本概念和核心术语然后深入分析决策树的算法原理和数学基础接着通过Python代码实现完整的决策树分类器最后探讨实际应用和未来发展方向决策树(Decision Tree)

AI天才研究院 1015

机器学习基础之决策树算法

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

weixin_48064384的博客 627

决策树入门及Python应用

简介: 决策树是一种非参的监督性机器学习方法。它可以用来做分类判断(classification)和回归预测(regression)。决策树的基本原理是通过学习现有数据的特征,得到简单的决策规律,再根据这些决策规律对目标进行判断。 ...

JanLEE 574

如何用Python爬取中国土地市场网2000-2023年土地出让数据(含经纬度)

本文详细介绍了如何使用Python爬取中国土地市场网2000-2023年的土地出让数据(含经纬度),提供了一套高效的技术方案。通过应对动态加载的反爬机制、优化地理编码数据存储和设计异常处理流程,帮助开发者建立自动化数据采集管道。方案已在商业地产分析项目中验证,可稳定采集超过50万条土地交易记录。

weixin_30566063的博客 176

机器学习(七) 决策树

Python 机器学习 2018年3天快速入门python机器学习【黑马程序员】 机器学习(七) 决策树 认识决策树 类似于if else的判断,一层一层的决定下来 认识信息增益 决策树的划分依据之一—信息增益 决策树对鸢尾花进行分类 def decision_iris(): ''' 用决策树对鸢尾花分类 :return: ''' # 1) 获...

Weary_PJ的博客 464

Zynq7000双核裸机开发实战:如何安全实现共享内存与乒乓RAM设计

本文深入探讨了Zynq7000双核裸机开发中的共享内存与乒乓RAM设计,重点解析了核间通信的Cache一致性处理机制和硬件级实现方案。通过实战代码示例和性能优化技巧,帮助开发者解决双核运行中的访问冲突问题,提升嵌入式系统开发效率。

weixin_29191669的博客 376

EduCoder 机器学习 决策树

决策树说通俗点就是一棵能够替我们做决策的树,或者说是我们人类在要做决策时脑回路的一种表现形式。 本实训项目的主要内容是基于 python 语言搭建出决策树模型对数据分类,并使用 sklearn 的决策时模型对鸢尾花数据进行分类。 第1关:什么是决策树 任务描述相关知识引例决策树的相关概念编程要求测试说明 任务描述本关任务:根据本节课所学知识完成本关所设置的选择题。 相关知识为了完成本关任务,你需要掌握决策树的相关基础知识。 引例在炎热的夏天,没有什么比冰镇后的西瓜更能令人感到心旷神怡的了。现在我要去水果

Alex 9824

手把手实战:快速构建合同智能审查Agent

配置“模型供应商”,选择 “OpenAI-API-compatible”,输入申请到的 “API Key” 和 “URL” 后点击“保存”,如下图示例完成 “AlayaNew/DeepSeek-R1。至此,我们完成了合同智能审核Agent的构建,我们也可以在Dify中把这个智能体发布为API服务,这样企业其它应用如OA就可以通过API集成,在原合同流程中实现智能审核工作。该节点“输入变量”中,配置从“开始”节点中获取上传的文件,输出变量就是合同的内容,配置如下图。接下来我们开始创建智能体。

weixin_46880696的博客 4405

vesta软件_分子动力学计算实战:利用 OVITO 软件找弗伦克尔缺陷和位错环分析

今天继续和大家分享这篇纯分子动力学(MD)的 Nat. Comm. 文章(DOI:10.1038/s41467-018-07102-3)。上期推文(从一篇 Nat. Comm. 学习经典分子动力学基本知识和相关软件基本操作 (一)),我们借用该文章的 fig.1 简单介绍了如何用文中所提到的 LAMMPS 软件来实现材料中级联碰撞过程。但是,想完整的展示类似该文章的 fig.1,单纯利用...

weixin_39524842的博客 5985

小瓜讲机器学习——分类算法(五)决策树算法原理及Python代码实现

5. 决策树 5.1 决策树模型原理 5.2 决策树算法 ① 特征选择问题(节点选择) 特征是描述问题的维度,比如判断瓜甜不甜,可能判断基于瓜的颜色,瓜的根蒂,瓜的敲声等,这一些都是描述问题的维度,都是瓜甜不甜的问题的特征。 对于一个决策树模型,首先要问当然是怎么选择特征作为树节点?然后怎么在这个特征下划分子集呢,判断分叉的方法是什么呢? ② 信息熵 信息论中用熵的概念来度量随机变量的不确定性,设...

u012915522的博客 515

SOEM主站开发篇(1):移植SOEM主站到Linux开发板

详细介绍了SOEM主站源码移植到Linux开发板上的步骤,同时演示了如何使用Linux开发板获取EtherCAT从站的PDO映射信息。

kevin1499的博客 2399

Task02:基于决策树的分类预测(2天)

1.什么是决策树? 决策树是一种非常基础又常见的机器学习模型。一棵决策树(Decision Tree)是一个树结构(可以是二叉树或非二叉树),每个非叶节点对应一个特征,该节点的每个分支代表这个特征的一个取值,而每个叶节点存放一个类别或一个回归函数。使用决策树进行决策的过程就是从根节点开始,提取出待分类项中相应的特征,按照其值选择输出分支,依次向下,直到到达叶子节点,将叶子节点存放的类别或者回归函数的运算结果作为输出(决策)结果。决策树的决策过程非常直观,容易被人理解,而且运算量相对小。它在机器学习当中非常重

weixin_43489260的博客 204

【OpenClaw从入门到精通】第37篇:教育“龙虾”进化论——从答疑助教到全流程智能教学系统(2026实测版)

2026年,教育AI已从被动答疑的L1级进化至主动教学的L4级,清华开源的OpenMAIC平台更是打破传统慕课局限,实现互动式AI课堂。本文基于天津工业大学、西北农林科技大学等高校的真实应用案例,结合腾讯云、天翼云的实操指南,详解OpenClaw在教育场景的四层进化路径。核心内容包括:L1-L4级教育自动化架构解析、清华OpenMAIC L4级AI课堂深度拆解、从零搭建智能答疑(QQ群机器人)+作业批改+学情分析全流程系统,以及高校网络安全合规部署方案。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 815

AWR2243的等效相位中心与虚拟通道

在俯仰维方向上,不重合的虚拟通道有8个,排序为1:4,9:12。每个虚拟阵元之间的间隔为lambda/2。实际y轴方向虚拟阵列只跨越了8*lambda/2的距离。等效相位中心与虚拟通道类似,只是每个相位中心之间间隔为lambda/4,实际y轴方向等效相位中心只跨越了8*lambda/4=7.59mm的距离

qq_50974341的博客 1983

python中决策树分类方法原理_Python机器学习算法库scikit-learn学习之决策树实现方法详解...

本文实例讲述了Python机器学习算法库scikit-learn学习之决策树实现方法。分享给大家供大家参考,具体如下:决策树决策树(DTs)是一种用于分类和回归的非参数监督学习方法。目标是创建一个模型,通过从数据特性中推导出简单的决策规则来预测目标变量的值。例如,在下面的例子中,决策树通过一组if-then-else决策规则从数据中学习到近似正弦曲线的情况。树越深,决策规则越复杂,模型也越合适。决...

weixin_31954813的博客 484

acados安装与调试指南:版本兼容性问题

在计算机编程领域,软件工具和库的安装与调试是每个开发者必经的挑战。最近,在安装和使用acados库时,我遇到了一个有趣的问题,这里我将详细分享我的经验和解决方案。

m0_62153576的博客 741

一文讲透Python机器学习决策树算法的基本概念与原理

决策树算法是一种有监督、非参数、简单、高效的机器学习算法。决策树算法借助树的分支结构构建模型。如果是用于分类问题,则决策树为分类树;如果是用于回归问题,则决策树为回归树。

m0_72274883的博客 1262

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

西南交通大学【机器学习实验4】

使用sklearn中tree.DecisionTreeClassifier构建决策树,设置random_state=1(消除随机性,多次实验结果相同),划分标准依次选择criterion = ‘gini’和criterion = ‘entropy’,决策树最大层数依次设置max_depth = 1,max_depth = 2,max_depth = 3,填写如下实验结果。理解和掌握决策树原理,包括划分选择中三种经典指标信息增益、增益率和基尼指数的优缺点,剪枝处理方法及作用、连续值与缺失值处理等。

W_O_Z的博客 484

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

上一篇: 轻松处理日期与时间:Python的Datetime库指南
下一篇: Python exec() 函数使用记录
壹只小小码农
博客等级 码龄5年 8105粉丝 1333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值