【分类算法】决策树超详细讲解

机器学习第五章之决策树模型 机器学习专题系列 阅读详情

机器学习分类算法——决策树超详细讲解(适合本科/研究生)

决策树是机器学习中最经典、最实用的分类与回归算法之一,核心特点是直观易懂、无需复杂预处理,非常适合算法入门学习。本文会用通俗的语言讲解决策树的核心原理、构建流程、代码实现,还会分析其优缺点和适用场景,适配本科、研究生的学习和科研需求。

一、决策树是什么?通俗理解

简单来说,决策树是一种把复杂决策拆分成多个简单“是/否”判断的工具,整体结构像一棵“倒挂的树”:

  • 根节点/中间节点:一个判断问题(比如“性别是不是女性?”“年龄是否大于18?”);
  • 分支:判断的结果(是/否);
  • 叶子节点:最终的决策结果(比如“泰坦尼克号乘客幸存”“未幸存”)。

生活中的例子:冰淇淋选择决策树

  1. 根节点:你想吃冰淇淋吗?→ 否:结束;是:继续;
  2. 中间节点:想吃巧克力味的吗?→ 是:走巧克力分支;否:走其他分支;
  3. 继续细化判断:要不要加草莓酱?选草莓味还是香草味?
  4. 叶子节点:最终结果(比如“买草莓冰淇淋加草莓酱”)。

机器学习中的作用

面对一堆带标签的数据集,决策树能自动生成判断规则,通过层层条件筛选,实现对新数据的分类(比如判断邮件是否为垃圾邮件)或回归(比如预测房价),本质是把复杂问题拆解为多个简单的二分类/多分类判断。

二、决策树的核心理论基础

决策树的核心是通过特征划分让数据越来越“纯净”:比如原本混合了“幸存”和“未幸存”的乘客数据,经过“性别”特征划分后,女性子集里“幸存”样本占比大幅提高,这就是数据纯度的提升。
为了量化“数据纯度”和“最佳划分特征”,衍生出了信息熵、信息增益、基尼不纯度(分类树)和方差(回归树)四个核心指标。

1. 分类树:衡量数据纯度的3个指标

(1)信息熵(Entropy):衡量数据的混乱程度

信息熵越高,数据越混乱(比如一半幸存、一半未幸存,熵值最大);信息熵为0,数据完全纯净(所有样本属于同一类别)。
计算公式:
H(S)=−∑i=1kpilog2(pi)H(S)=-\sum_{i=1}^{k} p_{i} log _{2}\left(p_{i}\right)H(S)=−i=1∑k​pi​log2​(pi​)

  • SSS:当前节点的样本集合;
  • pip_ipi​:当前节点中,属于第iii个类别的样本比例;
  • kkk:样本的总类别数。

通俗理解:如果一个节点里全是“幸存”样本,p幸存=1p_{幸存}=1p幸存​=1,log21=0log_21=0log2​1=0,信息熵H(S)=0H(S)=0H(S)=0,数据最纯净;如果“幸存”和“未幸存”各占50%,H(S)=1H(S)=1H(S)=1,数据最混乱。

(2)信息增益(Information Gain):选择最佳划分特征的依据

信息增益表示划分后数据混乱程度的减少量,增益越大,说明该特征的划分效果越好,决策树会优先选择信息增益最大的特征作为划分节点。
计算公式:

  1. 划分后的加权信息熵:
    Hsplit(S)=∑j=1m∣Sj∣∣S∣H(Sj)H_{split }(S)=\sum_{j=1}^{m} \frac{\left|S_{j}\right|}{|S|} H\left(S_{j}\right)Hsplit​(S)=j=1∑m​∣S∣∣Sj​∣​H(Sj​)
    • ∣Sj∣|S_j|∣Sj​∣:第jjj个子集的样本数;∣S∣|S|∣S∣:原节点的总样本数;mmm:划分后的子集数。
  2. 信息增益:
    Gain(S,A)=H(S)−Hsplit(S)Gain(S, A)=H(S)-H_{split }(S)Gain(S,A)=H(S)−Hsplit​(S)
    • AAA:用于划分的特征。

通俗理解:用特征A划分后,信息熵下降得越多,说明特征A能更有效地区分不同类别,是更优的划分依据。

(3)基尼不纯度(Gini Impurity):CART树的核心划分指标

基尼不纯度是随机选两个样本,类别不一致的概率,值越小,数据越纯净(0表示所有样本同类别,1表示样本完全混乱)。
CART(分类与回归树)是最常用的决策树类型,优先用基尼不纯度最小化选择划分特征。
计算公式:

  1. 节点的基尼不纯度:
    G(S)=1−∑i=1kpi2G(S)=1-\sum_{i=1}^{k} p_{i}^{2}G(S)=1−i=1∑k​pi2​
  2. 划分后的加权基尼不纯度:
    Gsplit(S)=∑j=1m∣Sj∣∣S∣G(Sj)G_{split }(S)=\sum_{j=1}^{m} \frac{\left|S_{j}\right|}{|S|} G\left(S_{j}\right)Gsplit​(S)=j=1∑m​∣S∣∣Sj​∣​G(Sj​)

信息熵 vs 基尼不纯度:两者趋势一致,基尼不纯度计算更简单(无需对数运算),实际工程中使用更多;信息熵对数据纯度的变化更敏感。

2. 回归树:方差缩减

决策树不仅能做分类,还能做回归(预测连续值,比如房价、销量),回归树用方差衡量数据纯度:方差越小,数据越集中,预测结果越准确。
方差计算公式:
Var(S)=1∣S∣∑i=1∣S∣(yi−y‾)2Var(S)=\frac{1}{|S|} \sum_{i=1}^{|S|}\left(y_{i}-\overline{y}\right)^{2}Var(S)=∣S∣1​i=1∑∣S∣​(yi​−y​)2

  • yiy_iyi​:第iii个样本的目标值(连续值);
  • y‾\overline{y}y​:当前节点所有样本目标值的平均值。

回归树会选择划分后方差缩减最大的特征作为划分节点,最终叶子节点的预测值为该节点样本目标值的平均值。

3. 决策树的构建流程(递归实现)

决策树的构建是自上而下的递归划分过程,直到满足“停止条件”,核心分为初始设置、递归划分、剪枝三步,其中剪枝是为了防止过拟合,是关键步骤。

(1)初始设置
  • 输入:数据集D=(x1,y1),(x2,y2),...,(xn,yn)D={(x_{1}, y_{1}),(x_{2}, y_{2}), ...,(x_{n}, y_{n})}D=(x1​,y1​),(x2​,y2​),...,(xn​,yn​),xix_ixi​为特征(数值/类别型),yiy_iyi​为目标值(分类为标签,回归为连续值);
  • 递归停止条件(满足其一即停止,生成叶子节点):
    1. 当前节点所有样本属于同一类别/目标值几乎无差异;
    2. 没有剩余特征可供划分;
    3. 达到预设的树深度/最小叶节点样本数(预剪枝手段)。
(2)递归划分(核心步骤)
  1. 对每个特征,计算其不同划分方式下的信息增益/基尼不纯度/方差缩减;
  2. 选择最优划分特征(分类树:信息增益最大/基尼不纯度最小;回归树:方差缩减最大)及其划分阈值;
  3. 根据最优特征和阈值,将数据集划分为2个/多个子集;
  4. 对每个子集重复上述步骤,直到满足停止条件。
(3)剪枝:解决过拟合的关键

决策树如果无限制生长,会把训练数据的噪音和细节都学习到,导致“训练集表现极好,测试集表现极差”(过拟合),剪枝就是通过“砍掉无用分支”提升模型的泛化能力,分为两种方式:

剪枝方式操作方法优点缺点
预剪枝树生成过程中,设置最大深度、最小叶节点样本数、最大特征数等限制,提前停止树的生长计算简单,效率高可能欠拟合(限制过严,树生长不足)
后剪枝先生成一棵“完全生长的树”,再通过交叉验证评估每个分支的作用,砍掉对泛化性能无帮助的分支泛化能力更好,不易欠拟合计算量大,效率低

工程常用:预剪枝(简单高效),结合网格搜索选择最优的限制参数。

三、决策树实战:Python实现泰坦尼克号乘客生存预测

以经典的泰坦尼克号数据集为例,用Python的sklearn库实现决策树分类,包含数据预处理、模型训练、模型评估、可视化、超参数调优全流程,代码可直接运行,注释清晰。

1. 实验目标

通过乘客的客舱等级、性别、年龄、票价等特征,预测乘客是否在泰坦尼克号事故中幸存。

2. 所需Python库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 数据划分、网格搜索
from sklearn.model_selection import train_test_split, GridSearchCV
# 决策树分类器、树可视化
from sklearn.tree import DecisionTreeClassifier, plot_tree
# 模型评估指标
from sklearn.metrics import accuracy_score, confusion_matrix, classification_report
# 忽略无关警告
import warnings
warnings.filterwarnings("ignore")

3. 数据加载与探索

数据集特征说明:

  • survived:目标变量,1=幸存,0=未幸存;
  • pclass:客舱等级,1=头等舱,2=二等舱,3=三等舱;
  • sex:性别;age:年龄;fare:票价;
  • sibsp:同船的兄弟姐妹/配偶数;parch:同船的父母/子女数;
  • embarked:登船港口。
# 加载数据集(公众号「深夜努力写Python」后台回复「数据集」获取)
df = pd.read_csv('titanic.csv')
# 查看数据前5行
print(df.head())

4. 数据预处理

原始数据存在缺失值(如年龄)和非数值型特征(如性别),需清洗和编码,决策树无需归一化,这是其一大优势!

# 填充缺失值:年龄用平均值,登船港口用众数
df['Age'].fillna(df['Age'].mean(), inplace=True)
df['Embarked'].fillna(df['Embarked'].mode()[0], inplace=True)

# 类别特征编码:性别和登船港口转为数值型
df['Sex'] = df['Sex'].map({'male': 0, 'female': 1})
df['Embarked'] = df['Embarked'].map({'C': 0, 'Q': 1, 'S': 2})

# 丢弃无意义特征(客舱号、姓名、船票号无明显预测价值)
df.drop(['Cabin', 'Name', 'Ticket'], axis=1, inplace=True)

# 查看预处理后的数据
print(df.head())

5. 划分训练集和测试集

# 划分特征X和目标变量y
X = df.drop('survived', axis=1)
y = df['survived']

# 训练集80%,测试集20%,随机种子保证结果可复现
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

6. 训练基础决策树模型并评估

# 初始化决策树分类器,随机种子保证结果可复现
clf = DecisionTreeClassifier(random_state=42)
# 训练模型
clf.fit(X_train, y_train)
# 测试集预测
y_pred = clf.predict(X_test)

# 输出模型准确率
print("基础模型准确率:", accuracy_score(y_test, y_pred))  # 约75%

# 混淆矩阵(直观看模型分类错误)
cm = confusion_matrix(y_test, y_pred)
sns.heatmap(cm, annot=True, fmt="d", cmap="Blues")
plt.title("Confusion Matrix")
plt.show()

# 分类报告(精确率、召回率、F1值)
print("分类报告:")
print(classification_report(y_test, y_pred))

7. 决策树可视化

直观看到决策树的划分规则,理解每个特征对生存预测的影响:

plt.figure(figsize=(20,10))  # 设置画布大小,避免树结构拥挤
plot_tree(clf, feature_names=X.columns, class_names=['Not Survived', 'Survived'], filled=True)
plt.show()

8. 超参数调优:网格搜索提升模型性能

基础模型未做任何限制,容易过拟合,用网格搜索(GridSearchCV) 遍历超参数组合,选择最优参数,实现预剪枝优化:

# 定义超参数网格
param_grid = {
    'max_depth': [3, 5, 7, 9, None],  # 树的最大深度
    'min_samples_split': [2, 5, 10],  # 节点划分所需的最小样本数
    'min_samples_leaf': [1, 2, 4],    # 叶节点的最小样本数
    'criterion': ['gini', 'entropy']  # 划分准则:基尼不纯度/信息熵
}

# 网格搜索:5折交叉验证,n_jobs=-1利用所有CPU核心,提升速度
grid_search = GridSearchCV(DecisionTreeClassifier(random_state=42), param_grid, cv=5, n_jobs=-1, verbose=1)
grid_search.fit(X_train, y_train)

# 输出最佳超参数
print("最佳超参数:", grid_search.best_params_)

# 用最佳参数训练优化模型
best_clf = grid_search.best_estimator_
best_clf.fit(X_train, y_train)
y_pred_optimized = best_clf.predict(X_test)

# 输出优化后模型准确率
print("优化后模型准确率:", accuracy_score(y_test, y_pred_optimized))  # 约80%

9. 优化后模型的评估与可视化

# 优化后混淆矩阵
cm_optimized = confusion_matrix(y_test, y_pred_optimized)
sns.heatmap(cm_optimized, annot=True, fmt="d", cmap="Greens")
plt.title("Optimized Confusion Matrix")
plt.show()

# 优化后分类报告
print("优化后分类报告:")
print(classification_report(y_test, y_pred_optimized))

# 优化后决策树可视化
plt.figure(figsize=(20,10))
plot_tree(best_clf, feature_names=X.columns, class_names=['Not Survived', 'Survived'], filled=True)
plt.show()

10. 实战结果分析

  1. 基础模型准确率约75%,超参数调优后提升至80%,预剪枝有效解决了过拟合问题;
  2. 从可视化结果能看出,性别(Sex) 是泰坦尼克号乘客生存预测的最核心特征(决策树根节点多为性别划分),符合历史事实;
  3. 客舱等级(pclass)、票价(fare)、年龄(age)也是重要划分特征,头等舱乘客幸存率远高于三等舱。

四、决策树的优缺点

优点(核心优势:简单、灵活、易解释)

  1. 可解释性极强:树结构直观,每个节点的划分规则清晰,非技术人员也能理解(比如“性别为女性→幸存率高”),适合医疗诊断、金融风控等需要解释模型决策的场景;
  2. 无需复杂数据预处理:不需要归一化、标准化,能直接处理类别型特征,对缺失值不敏感;
  3. 兼容多种数据类型:同时支持数值型特征(年龄、票价)和类别型特征(性别、客舱等级);
  4. 能处理非线性数据:无需对特征做复杂变换,通过层次划分自然捕捉特征间的非线性关系;
  5. 训练速度快:基于贪心策略的递归划分,计算复杂度低,适合中小型数据集。

缺点(需通过优化/集成方法弥补)

  1. 极易过拟合:无限制生长的决策树会学习到训练数据的噪音,泛化能力差(核心缺点,需剪枝解决);
  2. 稳定性差:数据的微小变化(比如新增几个样本)可能导致树的结构完全不同;
  3. 偏向支配性特征:优先选择取值多的特征进行划分,可能过度依赖此类特征;
  4. 连续变量预测精度低:回归树对连续变量仅做区间划分,预测值是区间平均值,精度不如线性回归、梯度提升树;
  5. 决策边界僵硬:仅通过垂直/水平划分特征空间,无法处理复杂的非线性决策边界。

五、决策树与其他经典算法的对比

决策树是集成学习的基础(随机森林、梯度提升树均基于决策树),下表将决策树与随机森林、梯度提升树、支持向量机(SVM)、K近邻(KNN)从核心特性、优缺点、适用场景等维度做对比,方便选择算法:

对比项决策树随机森林梯度提升树支持向量机(SVM)K近邻(KNN)
基本概念单棵树的递归划分,实现分类/回归集成多棵独立决策树,投票出结果迭代训练多棵决策树,逐步修正预测误差通过超平面分割数据,最大化分类间隔基于样本相似度,用最近邻样本做预测
主要优势易解释、训练快、无需预处理减少过拟合、模型稳定、泛化能力强预测精度极高、适合复杂数据适用于高维数据、支持非线性分类计算简单、无需训练、适合小数据集
主要缺点易过拟合、稳定性差、偏向支配特征计算量大、可解释性低训练时间长、对超参数敏感、易过拟合计算复杂、难以解释、对核函数敏感大数据集计算慢、易受噪声/特征尺度影响
可解释性🌟🌟🌟🌟🌟(极高)🌟🌟(低)🌟🌟(低)🌟(极低)🌟🌟🌟(中等)
训练速度快中等慢慢无需训练(预测慢)
预测速度快快快慢慢(大数据集)
适合数据类型混合类型(数值+类别)、中小型数据集结构化数据、大数据集结构化数据、高精度需求数据集高维数值型数据(如文本、图像)低维平滑边界数据、小数据集

六、决策树的适用场景与替代方案

1. 决策树的最佳适用场景

如果你的任务满足以下条件,优先选择决策树:

  • ✅ 可解释性需求强:比如金融风控(需要解释为什么拒绝贷款)、医疗诊断(需要解释诊断依据);
  • ✅ 中小型数据集:数据量不大,特征维度适中;
  • ✅ 数据类型复杂:同时包含数值型和类别型特征,存在少量缺失值;
  • ✅ 快速建模/算法入门:快速得到基线模型,为后续优化提供参考。

2. 决策树的替代方案(根据场景选择)

  • 需要更高预测精度,不要求可解释性:选择随机森林、梯度提升树(XGBoost/LightGBM)(集成学习,基于决策树优化,精度大幅提升);
  • 大数据集+高噪音:选择随机森林(多棵树投票,降低噪声影响);
  • 高维数据(如文本、图像):选择支持向量机(SVM)、神经网络;
  • 小数据集+低维平滑边界:选择K近邻(KNN);
  • 回归任务(预测连续值,如房价):基础场景用回归树,高精度需求用XGBoost/LightGBM回归。

七、总结

决策树是机器学习的入门必学算法,也是集成学习的“基石”,核心要点总结:

  1. 核心思想:递归划分数据,让每个子集越来越纯净,通过“是/否”判断实现分类/回归;
  2. 核心指标:分类树用信息熵、信息增益、基尼不纯度,回归树用方差;
  3. 关键步骤:构建时需剪枝(预剪枝/后剪枝),解决过拟合问题;
  4. 核心优势:可解释性强、无需预处理、兼容多类型数据;
  5. 核心缺点:易过拟合、稳定性差,需通过集成学习(随机森林、梯度提升树)弥补;
  6. 工程应用:单独使用时适合快速建模,实际高精度需求中多作为集成学习的基模型。

掌握决策树的原理和实现,是学习随机森林、XGBoost、LightGBM等进阶算法的基础,建议结合本文的实战代码反复练习,理解超参数调优对模型性能的影响。

决策树模型——鸢尾花分类 构建一个决策树分类模型,实现对鸢尾花的分类 1.lris数据集介绍: 鸢尾花数据集是机器学习领域中非常经典的一个分类数据集。数据集全名为:Iris Data Set,总共包含150行数据。 每一行由4个特征值及一个目标值(类别变量)组成。 其中4个特征值分别是:萼片长度、萼片宽度、花瓣长度、花瓣宽度 目标值为3种不同类别的鸢尾花:山鸢尾、变色鸢尾、维吉尼亚鸢尾 2.读取数据 Iris... 阅读详情

相关推荐

决策树全面讲解

更多机器学习方法总结请到我这个博客链接 文章目录6 决策树(Decision Tree)6.1 决策树模型与学习6.1.1 决策树模型6.1.2 决策树与if-then规则6.1.3 决策树与条件概率分布6.1.4 决策树学习6.2 特征选择6.2.1 信息增益(ID3)6.2.2 信息增益比(C4.5)6.2.3 Gini指数(CART法)6.3 ID3算法(决策树的生成)6.3.1 思想6.3.2 ID3算法流程:6.3.3 ID3不足之处:6.4 C4.5算法(决策树的生成)6.4.1 二元分割(连续

weiyaner的博客 1802

参数调优:K折交叉验证与GridSearch网格搜索

本文代码及数据集来自《Python大数据分析与机器学习商业案例实战》 一、K折交叉验证 在机器学习中,因为训练集和测试集的数据划分是随机的,所以有时会重复地使用数据,以便更好地评估模型的有效性,并选出最好的模型,该做法称为交叉验证。具体而言就是对原始样本数据进行切分,然后组合成为多组不同的训练集和测试集,用训练集训练模型,用测试集评估模型。某次的训练集可能是下次的测试集,故而称为交叉验证。 交叉验证的方法有简单交叉验证、K折交叉验证和留一交叉验证3种。其中K折交叉验证应用较为广泛,它是指将数据集随机等分.

m0_46388544的博客 3208

R语言——决策树模型

        决策树(Tree Nodels)是一种创建树状模型的方法,它使用‘基尼不纯度’(Gini Impurity)或信息增益(Information Gain)等标准对节点进行递归分割,以创建树状模型。决策树看起来像是以树状形式排列的一系列的if-else语句,易于理解,执行速度快。并且,它能够很好地表现多个特征之间的相互作用,适用于多种数据类型。(树状模型中,随机森林性能表现卓越) ...

RH_Wang的博客 3万+

决策树详解

其中被称为属性a的“固有值”属性a的取值有,其中表示D中所有在属性a上取值为的样本集合。属性a的可能取值数目越多(V越大),IV(a)的值通常会更大。(1)基尼值Gini(D)反映了从数据集D中随机抽取两个样本,其类别标记不一致的概率。Gini(D)越小,数据集D的纯度越高,不确定性越小。(2)基尼指数。...

tt丫的博客 2万+

机器学习——决策树模型:Python实现

机器学习——决策树模型:Python实现欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你

qq_34357269的博客 8773

【机器学习】九大决策树模型总结

这篇博客深入探讨了九种不同的决策树模型,每种模型都拥有其独特的特点和应用场景。我将带您了解一些经典的模型,让你理解它们的工作原理,并在实践中灵活运用它们。

chunyang的博客 3615

(五)分类算法——决策树

决策树,将大量的样本通过每一次分支后,将数据进行分类,(算是个,让数据按类别进行筛选)而分支上的条件是利用一定的训练样本,从数据中“学习”出决策规则,自动构造出决策树。比如下方的例子。在学习决策树之前, 我们需要先知道几个概念。根据上面的几个概念,我们根据划分标准的不同,衍生出了。具体使用哪个方法,要根据使用场景、样本数量、样本特征等情况进行分析和选择。

weixin_70267340的博客 425

DS&ML_分类算法笔记之决策树模型

对于决策树模型的相关知识点的总结与整理 简单描述一下决策树模型的思想,决策树是什么?

S_gy_Zetrov的博客 3300

决策树详解--最通俗易懂的解释

决策树详解

qq_42003997的博客 4286

文本分类——决策树模型

文本分类——决策树模型   1       决策树模型的训练 一般决策树的训练过程是先建立一棵大规模的树结构,然后再对这个树进行剪枝,知道到达合适的规模和分类效率。 剪枝是决策树不可缺少的一步,否则在一棵大规模的树上进行分类判定,很容易就会出现过适应问题,特别是分类器基于训练集的一些弱属性上做决策时,经常出现过适应问题。 1.1     分支准则 决策树的分支准则是决定当前树节点选择

whatever you do - just have fun! 5484

ENVI:如何进行遥感图像的分类?(决策树模型)

决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-else结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法决策树:是一种树形结构,其中每个内部节点表示一个属性上的判断,每个分支代表一个判断结果的输出,最后每个叶节点代表一种分类结果,本质是一颗由多个判断节点组成的树。对于决策树,大家想象一棵树的生长,是不是先有根(叫作根节点),然后由根继续长大,然后会分叉(即将分叉的位置称为节点),再分叉...最后长出叶子(又叫叶子节点)。那么对于决策树模型,其实按照这种思路进行的分类。

炒茄子的博客 2万+

分类算法系列⑤:决策树

本文介绍机器学习的决策树

逐梦苍穹的博客 1万+

【面试题】MySQL索引相关的面试题(红黑树,hash,B树,B+树)

自己整理了几个面试题分享给大家 问题1:红黑树为什么那样设计? 首先聊一下二叉搜索树,主要特点是左节点比根节点小,右节点比根节点大,并且左右子树都是二叉搜索树。缺点是在极端情况下,比如插入都是有序的,就会出现退化的情况有序序列树退化成链表。 二叉搜索树 退化成链表的二叉搜索树 此时,要想让树的节点平均分布就需要平衡树了,红黑树就是平衡树的一种(平衡二叉搜索树)。然后,一棵树的查询性能取决...

Mr_黑_ 的博客 4046

决策树模型构建+调参Python代码——用决策树模型实现机器学习

决策树模型构建+调参Python代码——用决策树模型实现机器学习。

qq_41698317的博客 3531

从零开始解析N-CMAPSS数据集:航空发动机健康管理的入门指南

本文详细解析了N-CMAPSS数据集在航空发动机健康管理中的应用,从数据集的构成、关键变量到实际数据分析方法,为初学者提供了全面的入门指南。通过Python代码示例,展示了如何加载、探索和建模这一复杂数据集,帮助读者掌握航空发动机性能预测的核心技术。

weixin_29063979的博客 325

SpringCloudGateway网关高频20个面试题整理

Spring Cloud Gateway 是基于 Spring 5、Project Reactor 和 Spring Boot 2 构建的 API 网关,提供动态路由、监控、弹性、安全等核心功能。Spring Cloud Gateway 是 Spring Cloud 生态中的 API 网关,用于微服务架构中的请求路由、负载均衡、限流、鉴权等。实现@Component@Override// 逻辑处理。

u012024132的专栏 1115

【海量数据挖掘/数据分析】之 决策树模型(决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例)

【海量数据挖掘/数据分析】之 决策树模型(决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例) 一、决策树模型 1、常用算法 2、属性划分策略 3、其他算法 三、决策树算法性能要求 四、 决策树模型创建 ( 递归创建决策树 ) 1 、 决策树模型创建 2 、 决策树创建算法 ( 递归 ) 3 、 递归操作 4 、 递归停止的条件 五、 决策树 树根属性 选择 六、信息增益 说明 1、 熵 和 信息 的数据组成 2 、 信息增

仙魁XAN 1万+

【mip-NeRF】使用一组二维图像渲染3D场景视频(mip-NeRF论文复现)

本文对mip-NeRF模型的pytorch实现进行了复现

Ryan2k的博客 1852

决策树模型概述以及实例代码讲解

决策树是一种常见的机器学习模型,广泛用于分类和回归任务。其核心思想是通过一系列规则对数据进行拆分,从而达到预测目的。以下是决策树的基本概念和特性。

2301_80256957的博客 1935

深入解析.Net中SM2与sm-crypto的跨平台加解密实践

本文深入探讨了在.Net平台与前端sm-crypto库之间实现SM2国密算法跨平台加解密的实践方案。针对对接中常见的密钥格式、密文拼接顺序(C1C3C2与C1C2C3)等核心难点,提供了基于BouncyCastle的完整工具类实现、前后端联调示例及问题排查指南,旨在帮助开发者构建安全、兼容的数据加密通道。

weixin_29322855的博客 370

落地实战!Python构建地方政府公开数据爬虫:政策/数据/规划全维度抓取(附反爬适配+数据清洗)

政务公开数据爬虫的核心不是“技术多先进”,而是“适配政务网站的特性”——慢一点、稳一点、合规一点,比追求抓取速度更重要。多地市爬虫集群:通过配置文件管理不同地市的URL规则,实现全省/全国政务数据抓取;图片表格识别:结合OCR工具(如pytesseract)识别政务网站的图片表格,转换为结构化数据;数据可视化:将抓取的统计数据导入PowerBI/Matplotlib,实现区域发展趋势分析。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1802

Decision Tree Model|决策树模型

本文介绍了决策树模型的基本概念和应用实例。决策树通过一系列条件判断对数据进行分类或回归预测,以猫分类为例,展示了决策树从根节点到叶节点的分类过程。文章还比较了四种基于相同特征集但结构不同的决策树,分析其差异原因(数据划分、特征重要性、随机性等),并指出评估决策树优劣的标准包括准确率、泛化能力和解释性。最后建议实践中可采用集成学习方法提升模型性能。更多计算机知识欢迎访问作者博客网站rn.berlinlian.cn。

m0_74462934的博客 1936

高通开发系列 - Camera之摄像头调试记录

记录一些调试内容

fulinux的博客 1220

数据挖掘十大算法之分类算法(决策树模型)

数据挖掘十大算法之分类算法(决策树模型) 接上篇文章分类介绍及评价指标我们讨论了分类算法中,分类模型的选择是非常关键的一步,接下来我们分析常用的分类模型——决策树模型 在本文中没有举例,全部为概念,所有举例都在ID3算法的学习中 1. 决策树的概念 决策树是一种树形结构,决策树包含一系列规则,一般我们使用决策树将大型记录集分割为小记录集,通过每一次连续分割,结果集中的成员彼此变得越来越相似。 例如我们想用决策树来分类下面表中的数据,来分析什么样的人群会购买电脑: 那我们可以生成下图所示的决策树,可以看到,

fengxiandada的博客 3375

关于“为爱发电”的一些说明~~

专栏教学资料+工程文件

数字IC/FPGA杂货铺,找一找,或许有你想要的~ 2678

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【数据挖掘】决策树算法简介 ( 决策树模型 | 模型示例 | 决策树算法性能要求 | 递归创建决策树 | 树根属性选择 )

I . 决策树模型 II . 决策树模型 示例 III . 决策树算法列举 IV . 决策树算法 示例 V . 决策树算法性能要求 VI . 决策树模型创建 ( 递归创建决策树 ) VII . 决策树 树根属性 选择

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 4495

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

上一篇: 【分类算法】高斯混合模型(GMM)超详细讲解
下一篇: 【分类算法】逻辑回归超详细讲解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值