Decision Tree

Decision Tree 及实现 本文基于python逐步实现Decision Tree(决策树),分为以下几个步骤: 1.加载数据集 2.熵的计算 3.根据最佳分割feature进行数据分割 4.根据最大信息增益选择最佳分割feature 5.递归构建决策树 6.样本分类 将分别体现于代码。 阅读详情

在这里插入图片描述
在这里插入图片描述

1 决策树原理

分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合,也可以看作是定义在特征空间划分上的类的条件概率分布。决策树的核心思想是基于树结构对数据进行划分,这种思想是人类处理问题时的本能方法。

决策树学习旨在构建一个与训练数据拟合很好,并且复杂度小的决策树。因为从可能的决策树中直接选取最优决策树是NP完全问题。现实中采用启发式方法学习次优的决策树。

决策树学习算法包括3部分:特征选择、树的生成和树的剪枝。常用的算法有ID3、C4.5和CART。

1.1 特征选择

通常使用信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。决策树的生成往往通过计算信息增益或其他指标,从根结点开始,递归地产生决策树。这相当于用信息增益或其他准则不断地选取局部最优的特征,或将训练集分割为能够基本正确分类的子集。

  • 信息增益
    信息熵是一种衡量数据混乱程度的指标,信息熵越小,则数据的“纯度”越高

Ent ⁡ ( D ) = − ∑ k = 1 ∣ Y ∣ p k log ⁡ 2 p k \operatorname{Ent}(D)=-\sum_{k=1}^{|\mathcal{Y}|} p_{k} \log _{2} p_{k} Ent(D)=−∑k=1∣Y∣​pk​log2​pk​

其中 p k p_k pk​代表了第 k k k类样本在 D D D中占有的比例。

假设离散属性 a a a有 V V V个可能的取值{ a 1 a^1 a1, a 2 a^2 a2,…, a V a^V aV},若使用 a a a对数据集 D D D进行划分,则产生 D D D个分支节点,记为 D v D^v Dv。则使用 a a a对数据集进行划分所带来的信息增益被定义为:

Gain ⁡ ( D , a ) = Ent ⁡ ( D ) − ∑ v = 1 V ∣ D v ∣ ∣ D ∣ Ent ⁡ ( D v ) \operatorname{Gain}(D, a)=\operatorname{Ent}(D)-\sum_{v=1}^{V} \frac{\left|D^{v}\right|}{|D|} \operatorname{Ent}\left(D^{v}\right) Gain(D,a)=Ent(D)−∑v=1V​∣D∣∣Dv∣​Ent(Dv)

一般的信息增益越大,则意味着使用特征 a a a来进行划分的效果越好。

  • 基尼指数

Gini ⁡ ( D ) = ∑ k = 1 ∣ Y ∣ ∑ k ′ ≠ k p k p k ′ = 1 − ∑ k = 1 ∣ Y ∣ p k 2 \begin{aligned} \operatorname{Gini}(D) &=\sum_{k=1}^{|\mathcal{Y}|} \sum_{k^{\prime} \neq k} p_{k} p_{k^{\prime}} \\ &=1-\sum_{k=1}^{|\mathcal{Y}|} p_{k}^{2} \end{aligned} Gini(D)​=k=1∑∣Y∣​k′​=k∑​pk​pk′​=1−k=1∑∣Y∣​pk2​​

基尼指数反映了从数据集 D D D中随机抽取两个的类别标记不一致的概率。

Gini ⁡ index ⁡ ( D , a ) = ∑ v = 1 V ∣ D v ∣ ∣ D ∣ Gini ⁡ ( D v ) \operatorname{Gini}\operatorname{index}(D, a)=\sum_{v=1}^{V} \frac{\left|D^{v}\right|}{|D|} \operatorname{Gini}\left(D^{v}\right) Giniindex(D,a)=∑v=1V​∣D∣∣Dv∣​Gini(Dv)

使用特征 a a a对数据集 D D D划分的基尼指数定义为上。

1.2 决策树的生成伪代码

输入: 训练集D={( x 1 x_1 x1​, y 1 y_1 y1​),( x 2 x_2 x2​, y 2 y_2 y2​),…,( x m x_m xm​, y m y_m ym​)};
特征集A={ a 1 a_1 a1​, a 2 a_2 a2​,…, a d a_d ad​}

输出: 以node为根节点的一颗决策树

过程:函数TreeGenerate( D D D, A A A)

  1. 生成节点node
  2. i f if if D D D中样本全书属于同一类别 C C C t h e n then then:
  3. ----将node标记为 C C C类叶节点; r e t u r n return return
  4. i f if if A A A = 空集 OR D中样本在 A A A上的取值相同 t h e n then then:
  5. ----将node标记为叶节点,其类别标记为 D D D中样本数最多的类; r e t u r n return return
  6. 从 A A A 中选择最优划分属性 a ∗ a_* a∗​;
  7. f o r for for a ∗ a_* a∗​ 的每一个值 a ∗ v a_*^v a∗v​ d o do do:
  8. ----为node生成一个分支,令 D v D_v Dv​表示 D D D中在 a ∗ a_* a∗​上取值为 a ∗ v a_*^v a∗v​的样本子集;
  9. ---- i f if if D v D_v Dv​ 为空 t h e n then then:
  10. --------将分支节点标记为叶节点,其类别标记为 D D D中样本最多的类; t h e n then then
  11. ---- e l s e else else:
  12. --------以 TreeGenerate( D v D_v Dv​, A A A{ a ∗ a_* a∗​})为分支节点

决策树的构建过程是一个递归过程。函数存在三种返回状态:(1)当前节点包含的样本全部属于同一类别,无需继续划分;(2)当前属性集为空或者所有样本在某个属性上的取值相同,无法继续划分;(3)当前节点包含的样本集合为空,无法划分。

1.3 决策树剪枝

  • 预剪枝
    在节点划分前来确定是否继续增长,及早停止增长的主要方法有:
    1 节点内数据样本低于某一阈值;
    2 所有节点特征都已分裂;
    3 节点划分前准确率比划分后准确率高。

预剪枝不仅可以降低过拟合的风险而且还可以减少训练时间,但另一方面它是基于“贪心”策略,会带来欠拟合风险。

  • 后剪枝

在已经生成的决策树上进行剪枝,从而得到简化版的剪枝决策树。

C4.5 采用的悲观剪枝方法,用递归的方式从低往上针对每一个非叶子节点,评估用一个最佳叶子节点去代替这课子树是否有益。如果剪枝后与剪枝前相比其错误率是保持或者下降,则这棵子树就可以被替换掉。C4.5 通过训练数据集上的错误分类数量来估算未知样本上的错误率。

后剪枝决策树的欠拟合风险很小,泛化性能往往优于预剪枝决策树。但同时其训练时间会大的多。

CART采用一种“基于代价复杂度的剪枝”方法进行后剪枝,这种方法会生成一系列树,每个树都是通过将前面的树的某个或某些子树替换成一个叶节点而得到的,这一系列树中的最后一棵树仅含一个用来预测类别的叶节点。然后用一种成本复杂度的度量准则来判断哪棵子树应该被一个预测类别值的叶节点所代替。这种方法需要使用一个单独的测试数据集来评估所有的树,根据它们在测试数据集熵的分类性能选出最佳的树。代价复杂度剪枝算法即总结上的公式所示。

1.4 优缺点

决策树的主要优点:

  1. 具有很好的解释性,模型可以生成可以理解的规则。
  2. 可以发现特征的重要程度。
  3. 模型的计算复杂度较低。

决策树的主要缺点:

  1. 模型容易过拟合,需要采用减枝技术处理。
  2. 不能很好利用连续型特征。
  3. 预测能力有限,无法达到其他强监督模型效果。
  4. 方差较高,数据分布的轻微改变很容易造成树结构完全不同。

2 习题

  • 计算信息增益
    只记录关键代码
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline  
"""%matplotlib inline 可以在Ipython编译器里直接使用,功能是可以内嵌绘图,
并且可以省略掉plt.show()这一步"""
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from collections import Counter
import math
from math import log

# 经验熵
def calc_ent(datasets):
    data_length = len(datasets)  #长度15
    label_count = {}
    for i in range(data_length):
        label = datasets[i][-1]
        if label not in label_count:
            label_count[label] = 0
        label_count[label] += 1
    ent = -sum([(p / data_length) *log(p / data_length, 2) for p in label_count.values()]) #公式计算经验熵
                                 # 或者np.log2(p / data_length) 
    return ent

# 经验条件熵
def cond_ent(datasets, axis=0):    #axis表示第几个特征,并不是什么轴
    data_length = len(datasets)
    feature_sets = {}
    for i in range(data_length):
        feature = datasets[i][axis]
        if feature not in feature_sets:
            feature_sets[feature] = []
        feature_sets[feature].append(datasets[i])
    cond_ent = sum(
        [(len(p) / data_length) * calc_ent(p) for p in feature_sets.values()])
    return cond_ent

### 信息增益
def info_gain(ent, cond_ent):
    return ent - cond_ent
    
def info_gain_train(datasets):
    count = len(datasets[0]) - 1   #共有几个特征
    ent = calc_ent(datasets)
#     ent = entropy(datasets)
    best_feature = []
    for c in range(count):
        c_info_gain = info_gain(ent, cond_ent(datasets, axis=c)) #对每个特征求信息增益
        best_feature.append((c, c_info_gain))
        print('特征({}) - info_gain - {:.3f}'.format(labels[c], c_info_gain))
    # 比较大小
    print(best_feature)
    best_ = max(best_feature, key=lambda x: x[-1])
    print(best_)
    return '特征({})的信息增益最大,选择为根节点特征'.format(labels[best_[0]])

info_gain_train(np.array(datasets))
  • 信息增益比(C4.5生成决策树)
# 数据预处理
le_x = preprocessing.LabelEncoder()
"""LabelEncoder是用来对分类型特征值进行编码,即对不连续的数值或文本进行编码。其中包含以下常用方法:
fit(y) :fit可看做一本空字典,y可看作要塞到字典中的词。
fit_transform(y):相当于先进行fit再进行transform,即把y塞到字典中去以后再进行transform得到索引值。
inverse_transform(y):根据索引值y获得原始数据。
transform(y) :将y转变成索引值。"""
le_x.fit(np.unique(X_train)) #显示唯一值标签
X_train = X_train.apply(le_x.transform)
le_y = preprocessing.LabelEncoder()
le_y.fit(np.unique(y_train))
y_train = y_train.apply(le_y.transform)
# 调用sklearn.DT建立训练模型
model_tree = DecisionTreeClassifier()
model_tree.fit(X_train, y_train)

# 可视化
dot_data = tree.export_graphviz(model_tree, out_file=None,
                                    feature_names=features,
                                    class_names=[str(k) for k in np.unique(y_train)],
                                    filled=True, rounded=True,
                                    special_characters=True)
graph = graphviz.Source(dot_data)
graph

*二叉回归树

3 实践

3.1 重要参数

  • criterion

Criterion这个参数正是用来决定模型特征选择的计算方法的。sklearn提供了两种选择:

输入”entropy“,使用信息熵(Entropy)

输入”gini“,使用基尼系数(Gini Impurity)

  • random_state & splitter

random_state用来设置分枝中的随机模式的参数,默认None,在高维度时随机性会表现更明显。splitter也是用来控制决策树中的随机选项的,有两种输入值,输入”best",决策树在分枝时虽然随机,但是还是会优先选择更重要的特征进行分枝(重要性可以通过属性feature_importances_查看),输入“random",决策树在分枝时会更加随机,树会因为含有更多的不必要信息而更深更大,并因这些不必要信息而降低对训练集的拟合。

  • max_depth

限制树的最大深度,超过设定深度的树枝全部剪掉。这是用得最广泛的剪枝参数,在高维度低样本量时非常有效。决策树多生长一层,对样本量的需求会增加一倍,所以限制树深度能够有效地限制过拟合。

  • min_samples_leaf

min_samples_leaf 限定,一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本,否则分枝就不会发生,或者,分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生。一般搭配max_depth使用,在回归树中有神奇的效果,可以让模型变得更加平滑。这个参数的数量设置得太小会引起过拟合,设置得太大就会阻止模型学习数据。

3.2 算法应用

基于鸢尾花数据集的决策树实战。

# data
def create_data():
    iris = load_iris()
    df = pd.DataFrame(iris.data,) # columns=iris.feature_names iris有feature_names属性
    df['label'] = iris.target
    df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
    data = np.array(df.iloc[:100, [0, 1, -1]])
#     print(data)
    return data[:, :2], data[:, -1]


X, y = create_data()
# print(X,y)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import export_graphviz
import graphviz

clf = DecisionTreeClassifier()
clf.fit(X_train, y_train,)
clf.score(X_test, y_test)

tree_pic = export_graphviz(clf, out_file="mytree.pdf") #训练好fit的模型clf
with open('mytree.pdf') as f:
    dot_graph = f.read()

graphviz.Source(dot_graph)

在这里插入图片描述
参考:graphviz安装入门:https://www.cnblogs.com/onemorepoint/p/8310996.html
代码参考地址:https://github.com/fengdu78/lihang-code
经典问题:https://mp.weixin.qq.com/s/vkbZweJ5oRo4IPt-3kg64g
算法详解:https://mp.weixin.qq.com/s/jj3BtmnWRAwCS56ZU3ZXZA

基于STM32的红外测温系统设计 为了实现本次的毕业设计,我搜集了大量的文献与资料,通过这些资料了解到红外测温的优点,与实现所需的基本器件,并设计了几个方案,最终选择了STM32作为主控芯片,为此还查阅了关于STM32的资料,在此次设计中采用的是MLX90614医用红外测温模块,通过查阅其数据手册了解其测量精度高且自带温度补偿,所以选择了该传感器作为红外测温模块,本次设计到此已经基本完成,硬件部分和软件部分的设计已基本完成。 阅读详情

相关推荐

高效网络流量回放:使用tcpreplay实现多目标IP的pcap重放

本文详细介绍了如何使用tcpreplay工具高效回放网络流量pcap文件,并实现多目标IP发送。通过tcprewrite编辑报文和并行回放策略,可满足安全测试、负载测试等场景需求。文章涵盖安装、基础回放、核心技巧及性能优化,帮助读者构建真实流量压力测试环境。

weixin_29297127的博客 483

【机器学习】07. 决策树模型DecisionTreeClassifier(代码注释,思路推导)

【机器学习】07. 决策树模型DecisionTreeClassifier(代码注释,思路推导)

MZH 2万+

Dify工作流自动化:如何用Trae AI助手10倍提升你的开发效率(含避坑指南)

本文详细介绍了如何利用Trae AI助手自动化生成Dify工作流,实现开发效率的10倍提升。通过构建DSL示例库、精准需求描述和四步实战法,开发者可将重复的配置工作交给AI,快速生成可运行的工作流,并提供了关键的避坑指南。

weixin_29062865的博客 372

【Python机器学习】——决策树DecisionTreeClassifier详解

DecisionTreeClassifier决策树分类器 我们先来调用包sklearn 中的tree我们一点一点学sklearn from sklearn import tree 有人愿意产看源代码可以看下面哈,我觉得来这搜的都不愿意看,我们理论懂就好了,然后用起来 clf=tree.DecisionTreeClassifier() clf 我们一点一点分解DecisionTreeClass...

小猪课堂的博客 5万+

Argoverse轨迹预测实战:从数据加载到地图API应用全解析

本文详细解析了Argoverse数据集在轨迹预测中的应用,从数据加载到地图API的实战技巧全涵盖。通过具体代码示例展示如何高效处理轨迹数据、实现可视化及基础预测模型,帮助开发者快速掌握自动驾驶轨迹预测的核心技术。特别介绍了Argoverse地图API的深度应用和性能优化经验。

weixin_29182481的博客 242

zynq-7000学习笔记(八)——USB摄像头图像采集

PC平台:WINDOWS 10 64位 Xilinx设计开发套件:Xilinx_vivado_sdk_2015.4 开发板:Zed Board USB摄像头:罗技 C270(720P) linux源码:2016_R1 一、配置linux,支持UVC       如果是中星微的ZC3XX系列的芯片,则要进到GSPCA把ZC3XX的驱动选上

luotong86的专栏 1万+

决策树分类器(DecisionTreeClassifier)

决策树 决策树是一种树型结构,其中每个内部节结点表示在一个属性上的测试,每一个分支代表一个测试输出,每个叶结点代表一种类别。 决策树学习是以实例为基础的归纳学习 决策树学习采用的是自顶向下的递归方法,其基本思想是以信息熵为度量构造一棵熵值下降最快的树。到叶子节点的处的熵值为零,此时每个叶结点中的实例都属于同一类。 最近在学习决策树的分类原理(DecisionTreeClassifier),决策树的划分依据之一是信息增益。 决策树的criterion可以选择’gini‘或者是’entropy‘。 基尼系数:

m0_52032201的博客 1万+

ICM42670-P嵌入式开发实战:从寄存器配置到姿态解算全解析

本文全面解析ICM42670-P高性能6轴MEMS运动传感器的嵌入式开发实战,涵盖寄存器配置、数据采集滤波、低功耗优化及姿态解算算法。通过详细代码示例和应用案例,帮助开发者快速掌握从硬件对接到姿态跟踪系统的完整开发流程,适用于可穿戴设备和智能家居等低功耗应用场景。

gold的博客 1071

【决策树分类器(DecisionTreeClassifier)】

是Scikit-learn库中的一个分类器类,它实现了决策树算法,用于处理分类问题。决策树是一种基本的监督学习算法,通过对输入数据集进行递归地划分,每个划分都将数据划分为更具体的类别。在训练过程中,决策树根据数据特征来构建树形结构,每个内部节点代表一个特征,每个叶节点代表一个类别。

武帝为此的博客 2617

宇树G1双足机器人SLAM开发环境搭建实战指南

SLAM(同步定位与建图)是机器人自主导航的核心技术。在双足人形机器人平台上,由于运动模型复杂、机身晃动带来高频IMU噪声,SLAM开发对环境配置和依赖管理提出了更高要求。以宇树G1为例,系统阐述如何通过Ubuntu 20.04、ROS Noetic与Docker容器化方案构建可复现的SLAM开发环境。先介绍依赖分层管理与版本锁定原理,再深入catkin工作空间编译、传感器驱动集成、网络与多机通信配置等工程实践,最后提供常见问题排查与避坑指南。这套方法论不仅适用于G1,也可迁移至其他双足或轮式机器人平台,帮

weixin_32025789的博客 274

64、5G 侧链通信技术详解

本文详细解析了5G侧链通信的关键技术,包括资源感知与选择、UE间协调、混合ARQ、功率控制、信道探测与CSI报告以及侧链同步。资源感知与选择通过周期性或随机方式实现资源分配,UE间协调通过主动或被动方式避免资源冲突。混合ARQ机制确保数据传输可靠性,功率控制和信道探测优化传输质量并减少干扰。侧链同步则通过多种方式确保设备间时间一致性。这些技术相互配合,构建了高效稳定的5G侧链通信体系,适用于智能交通、物联网、应急通信等多个领域,为未来无线通信发展提供强大支撑。

oil88的博客 102

机器学习:DecisionTreeClassifier决策树模型

基本概念: 决策树通过树状结构来表示决策过程,每个节点代表一个特征(属性),每个分支代表特征的一个可能取值,每个叶子节点则代表一个分类结果。优点:直观易懂,易于可视化和解释。可处理数值型和分类型数据。无需特征缩放(如标准化或归一化)。缺点:容易过拟合,特别是在数据量较小或树深度过大时。对噪声敏感,少量噪声可能导致较大的偏差。`DecisionTreeClassifier` 是一种强大且易于使用的分类算法,适用于多种应用场景。通过调整参数,可以有效地控制模型的复杂度,提升预测性能。

Wei_sx的博客 1380

Python 爬虫实战:华尔街见闻精选文章爬取(反反爬 + 投资情绪分析)

Python 爬虫实战:华尔街见闻精选文章爬取(反反爬 + 投资情绪分析)

yansideyucsdn的博客 970

Python小白记录2:Decision Tree中tree.plot_tree参数解释

1.参考网站:sklearn.tree.plot_tree — scikit-learn 1.0 documentationhttps://scikit-learn.org/stable/modules/generated/sklearn.tree.plot_tree.html2. 中英文解释(自己 Parameters: 1. decision_tree:decision tree regressor or classifier #决策树 2. max_depth:int, default=No..

chanwoyee1的博客 7379

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

GBDT(Gradient Boosting Decision Tree) 详解

1

PigLisong的专栏 1087

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

GBDT(Gradient Boosting Decision Tree)

转载:https://www.cnblogs.com/peizhe123/p/5086128.html GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力(gene...

qq_30534935的博客 549

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Gradient Boosting Decision Tree (GBDT)

GBDT也是集成学习Boosting家族的成员,Boosting是各个基学习器之间有很强的依赖关系,即串行。GBDT限定了基学习器只能使用CART回归树。 GBDT是一个加法模型,采用前向分步算法进行求解 GBDT在函数空间利用梯度下降法进行优化,算法原理如下: LLL是损失函数,TTT是想迭代的次数 ...

YQMind的博客 825

Gradient Boosted Decision Tree详解

Gradient  \ Boosted  \ Decision  \ Tree详解 第二次写博客,本人数学基础不是太好,如果有幸能得到读者指正,感激不尽,希望能借此机会向大家学习。这一篇的内容主要来自于《机器学习》和《机器学习技法》,以及自己的一些见解。 预备知识: 这

Ἥλιος 310

GBDT:Gradient Boost Decision Tree算法

GBDT是一个应用很广泛的算法,可以用来做分类、回归。在很多的数据上都有不错的效果。GBDT这个算法还有一些其他的名字,比如说MART(Multiple Additive Regression Tree),GBRT(Gradient Boost Regression Tree),Tree Net等,其实它们都是一个东西

Bixiwen_liu的博客 3821

Gradient Boosting Decision Tree学习

Gradient Boosting Decision Tree,即梯度提升树,简称GBDT,也叫GBRT(Gradient Boosting Regression Tree),也称为Multiple Additive Regression Tree(MART),阿里貌似叫treelink。首先学习GBDT要有决策树的先验知识。Gradient Boosting Decision Tree,和随机森...

weixin_30809173的博客 174

机器学习技法 Lecture11: Gradient Boosted Decision Tree

Adaptive Boosted Decision Tree 回忆一下随机森林算法,它是将bagging与decision tree进行结合得到的。那么如果将boosting与decision tree进行结合也能够得到一个新的算法。 但是adaboost算法需要每次对样本权重进行更新,这就要求每个基函数也就是单个的决策树能够支持添加样本权重作为参数。对于样本有加权系数的情况,一般是将目标函数中...

无所知的博客 641

GBDT(Gradient Boosting Decision Tree) 没有实现只有原理

阿弥陀佛,好久没写文章,实在是受不了了,特来填坑,最近实习了(ting)解(shuo)到(le)很多工业界常用的算法,诸如GBDT,CRF,topic model的一些算法等,也看了不少东西,有时间可以详细写一下,而至于实现那真的是没时间没心情再做了,等回学校了再说吧。今天我们要说的就是GBDT(Gradient Boosting Decision Tree)

DarkScope从这里开始 14万+

Decision tree

决策树(decision tree) 决策树学习主要分为3个步骤:特征选择、决策树生成和修剪策略。 常用的决策树算法有ID3,C4.5,CART等。 特征选择 1.信息增益 ID3决策树学习算法以信息增益为特征选择的准则,信息增益 = 信息熵 - 条件熵。 其中,信息熵代表随机变量的不确定性,其计算公式为: H(p)=−∑i=1Npilog⁡piH(p)=-\sum_{i=1}^Np_i\log...

ChungChinKei' blog 291

GBDT(Gradient Boost Decision Tree)

GBDT,叫法比较多,如Treelink、 GBRT(Gradient Boost Regression Tree)、Tree Net、MART(Multiple Additive Regression Tree)等。GBDT是决策树中的回归树,决策树分为回归树和分类树。GBDT可以用来做分类、回归。GBDT由多棵决策树构成,通常都是上百棵树,而且每棵树规模都较小(即树的深度会比较浅)。模型预测的

I am not a quitter. 9530
上一篇: DW模型搭建和评估
下一篇: 01统计学习概论
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值