sklearn中gbdt源码解读笔记

最新推荐文章于 2020-12-27 16:30:19 发布
原创 最新推荐文章于 2020-12-27 16:30:19 发布 · 3.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博主分享了自己解读sklearn中GBDT代码的进展和挑战，强调了面对困难的决心。文章概述了源码的主要流程，包括数据检查、参数处理、迭代训练阶段以及损失函数的计算。在_fitting_stages过程中，博主发现核心部分是逐次建立决策树并利用残差进行预测。由于涉及Cython代码，理解起来有一定难度，但博主表示会继续深入研究。

这周已经过去了3天，主要精力都是集中在sklearn的gbdt代码解读上，进展肯定是有，但是感觉阻力比较大，但是这又有什么办法呢？人一能之，我十之！但是感觉有时候多花时间的情况下效率很低很低，但是可能也是自己内心浮躁，想回去玩造成了这种效率低下，要看这个算法，只有不到黄河心不死的决心，即便我被迫需要先应用再解读，我也一定要花时间去解读，一定要精通这个算法，排除万难！把前几天关于gbdt的解读再总结一下！

gbdt = GradientBoostingClassifier()
用默认的参数进行一些初始化，生成一些实例变量，这个类主要继承于一个GradientBoostingBase类 

gbdt.fit(x,y)
主要的核心在于这个函数，也是几乎所有sklearn算法的建模接口，跟进去过后

首先进行一些检测是否热启动，检测数据集是否规范，检查因变量是否合格，检查参数是否合规

self._init_state()
然后进行stage统计的初始化 

self.init_.fit(X, y, sample_weight)
y_pred = self.init_.predict(X)
用初始的函数去拟合并计算，fit中就是简单的计算log(odds ratio)，然后predict就用这个值去填充每一个预测，得到F0的预测值y_pred 

        n_stages = self._fit_stages(X, y, y_pred, sample_weight, random_state,
最低0.47元/天 解锁文章
sklearn.GBDT 源码解读（宏观把握）
木琦
01-09 5464
sklearn.GBDT源码解读 最近一直玩数据挖掘，GBDT使用了一点，就想看看源码是怎么实现的。 x当训练一个GBDT模型的时候，gbdt=sklearn.ensemble.GradientBoostingClassifier(param)本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮
sklearn.GBDT 源码阅读（细节掌握）
木琦
01-12 2721
依然是接着上一节的，我们关注每颗树是如何建立的。n_stages = self._fit_stages(X, y, y_pred, sample_weight, random_state, begin_at_stage, monitor, X_idx_sorted) def _fit_stages(self, X, y, y_p
GBDT源代码
12-02
gbdt源码，有一些注释，但代码简单，很容易看懂，是深入学习GBDT的好资料！
GBDT源码剖析
weixin_34202952的博客
04-28 383
     如今，GBDT被广泛运用于互联网行业，他的原理与优点这里就不细说了，网上google一大把。但是，我自认为自己不是一个理论牛人，对GBDT的理论理解之后也做不到从理论举一反三得到更深入的结果。但是学习一个算法，务必要深入细致才能领会到这个算法的精髓。因此，在了解了足够的GBDT理论之后，就需要通过去阅读其源码来深入学习GBDT了。但是，网上有关这类资料甚少，因此，我不得不自己亲自抄刀，索...
GBDT源码
qq_42474336的博客
08-18 375
https://github.com/RRdmlearning/Machine-Learning-From-Scratch/tree/master/gradient_boosting_decision_tree http://www.dmlearning.cn/single/a5bf33e7b2c44e499a1cb7b2d5f8fbfa.html   https://github.com/...
sklearn的GBDT源码笔记
u013615687的博客
07-21 1290
sklearn中GBDT的源码，看了之后对一些概念有了更多理解
sklearn 中的 GBDT 回归
qq_32863339的博客
09-04 5522
sklearn的gbdt回归 GradientBoostingRegressor类构造方法 def __init__(self, loss='ls', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, ...
sklearn中的GBDT模型
guofei_fly的博客
12-16 3358
和随机森林模型类似，scikit-learn中的GBDT模型也是基于决策树模型的集成算法，区别在于前者基于并行的bagging框架，而后者基于串行的boosting框架。 将boosting框架作用于CART树上，分别有适用于分类问题的GBDTClassifier和适用于回归问题的GBDTRegressor。两者在参数设定、调参等方面均极为类似。 1. 模型的主要参数 在GBDT中，存在两大类型...
[机器学习]GBDT源码(python)
weixin_40479663的博客
12-04 2374
GBDT/Adaboost/Xgboost详解可参考前面博文:详解 或者参考李航的<统计学习方法> 代码颗参考知乎:知乎 接下来附上代码片段(主要用于理解算法,没有实现运行): 其中super的继承讲解颗参考之前一篇文章. # -*- coding: utf-8 -*- from __future__ import division, print_function import nu...
sklearn：GBDT
专注计算机体系结构
05-26 2065
一、GBDT分类 （1）模型参数初始化： from sklearn.ensemble import GradientBoostingClassifier gbdt = GradientBoostingClassifier( init=None, learning_rate=0.1, loss='deviance', max_depth=3, max
GBDT源代码分析
12-18
三个台湾人在参加kaggle 2014比赛的时候，自己手撸的一个GBDT的源代码。自己已经完整读了一遍，并且已经标记了注释。
sklearn上手博客里面描述的源代码
11-06
sklearn上手博客里面描述的源代码 sklearn上手博客里面描述的源代码
GBDT单机版Python实现源代码
12-28
GBDT单机版Python实现源代码
两个版本的GBDT（GBRT）源代码
10-23
第一个是完整版的25M（注释很少），第二个是另外一个简化版的146kb（注释比较全）。
机器学习系列--GBDT算法总结与源码分析
horizonheart的博客
12-12 7805
最近在看Kaggle2014年的一个比赛–Display Advertising Challenge。三个台湾人得了比赛的第一名，他们使用的是FFM算法(这个后面再做总结)，在他们比赛的代码中，使用了GBDT算法进行了特征的处理。他们没有使用scikit-learn中封装好的算法，而是自己手撸了一个GBDT的实现。下面就GBDT的一些原理和源码进行分析总结。1. GBDT算法总结  2. GBDT源码分析
GBDT原理与Sklearn源码分析-分类篇
hai008007的博客
04-01 1822
摘要：继上一篇文章，介绍完回归任务下的GBDT后，这篇文章将介绍在分类任务下的GBDT，大家将可以看到，对于回归和分类，其实GBDT过程简直就是一模一样的。如果说最大的不同的话，那就是在于由于loss function不同而引起的初始化不同、叶子节点取值不同。正文：GB的一些基本原理都已经在上文中介绍了，下面直接进入正题。 下面是分类任务的GBDT算法过程，其中选用的loss function是...
Sklearn-GBDT(GradientBoostingDecisonTree)梯度提升树
热门推荐
Cherzhoucheer的博客
02-11 1万+
GBDT类库概述 GBDT有很多简称，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT（Gradient Boosting Regression Tree）,MART(Multiple Additive Regression Tree)，其实都是指的同一种算法。sklearn中称为GradientTree
GBDT原理及开源代码
yuekangwei的博客
12-27 515
https://zhuanlan.zhihu.com/p/91652813?utm_source=wechat_session
GBDT推荐算法源代码
qq_44754035的博客
04-28 1622
# 导入所用到的库 import pandas as pd from IPython.display import display import numpy as np from sklearn.ensemble import GradientBoostingClassifier from sklearn.linear_model import LogisticRegression from sk...
sklearn中GBDT的参数
最新发布
05-11
<think>好的，我需要帮用户理解sklearn中GBDT的参数配置和含义。首先，用户可能已经知道GBDT的基本概念，但需要具体的参数说明，所以应该详细列出每个参数及其作用。 首先，我要回忆一下sklearn中的GradientBoostingClassifier和GradientBoostingRegressor的参数。这两个类别的参数大部分是相同的，可能需要分开说明。不过用户的问题比较笼统，可能指的是通用的参数，所以先整理通用参数。 接下来，参数分为几个类别：基础配置、树结构控制、正则化、训练过程控制和其他参数。例如，n_estimators是基础配置中的重要参数，控制迭代次数。learning_rate和subsample可能需要一起调整，属于训练过程控制。树结构相关的参数包括max_depth、min_samples_split、min_samples_leaf等，这些影响每棵树的复杂度和过拟合情况。 然后，正则化参数如max_features和alpha（对于分位数损失）需要注意。另外，loss函数的不同选择对于分类和回归任务有不同的影响，需要分别说明。 还要考虑参数之间的相互作用，比如learning_rate和n_estimators的权衡，subsample和max_depth的组合对模型的影响。可能需要提醒用户调参时的注意事项，比如网格搜索或随机搜索的方法。 在引用部分，用户提供了GBDT的相关资料，其中引用[3]提到了关键参数调整策略，可以对应到参数说明部分。引用[4]提到了LightGBM的优化，虽然sklearn的GBDT可能没有这些优化，但可以对比说明，比如在计算效率上的差异，但用户的问题集中在参数上，这部分可能不需要深入。 需要确保回答结构清晰，分点列出参数，每个参数有简要说明和示例值。可能还需要指出常用参数和调参建议，帮助用户优先调整哪些参数。 最后，生成相关问题，围绕参数调优、过拟合处理、与其他模型的对比等，确保问题相关且能引导用户进一步学习。</think>以下是对 sklearn 中 Gradient Boosting Decision Tree（GBDT）参数的详细说明，结合分类器 `GradientBoostingClassifier` 和回归器 `GradientBoostingRegressor` 的功能特性： --- ### 一、基础配置参数 1. **`n_estimators`** - **含义**：迭代次数（基学习器数量） - **作用**：控制梯度提升的轮次，值越大模型越复杂，但可能过拟合 - **示例值**：`100`（默认），通常需配合 `learning_rate` 调整[^3] 2. **`learning_rate`** - **含义**：学习率（步长） - **作用**：调节每棵树的贡献权重，值越小需要更多树补偿，但模型更稳定 - **公式**：预测结果 = 初始预测 + $\sum_{i=1}^{n} \text{learning\_rate} \cdot h_i(x)$ - **示例值**：`0.1`（默认） --- ### 二、树结构控制参数 3. **`max_depth`** - **含义**：单棵树的最大深度 - **作用**：限制树的复杂度，防止过拟合 - **示例值**：`3`（默认），常用范围 `3-8` 4. **`min_samples_split`** - **含义**：节点分裂所需最小样本数 - **作用**：值越大限制树生长，防止过拟合 - **示例值**：`2`（默认），分类任务可设为 `10-50` 5. **`min_samples_leaf`** - **含义**：叶节点最小样本数 - **作用**：控制叶节点纯度，值越大泛化性越强 - **示例值**：`1`（默认），回归任务建议 `5-20` --- ### 三、正则化与随机性参数 6. **`subsample`** - **含义**：样本子采样比例 - **作用**：引入随机性增强泛化能力（类似随机森林） - **示例值**：`1.0`（默认），推荐 `0.8-0.9`[^4] 7. **`max_features`** - **含义**：特征选择比例/数量 - **作用**：降低特征相关性，防止过拟合 - **选项**：`'auto'`（默认，全特征）、`'sqrt'`、`'log2'` 或具体数值 --- ### 四、损失函数与优化 8. **`loss`**（分类器） - **选项**： - `'deviance'`：对数似然损失（默认） - `'exponential'`：Adaboost 风格指数损失 - **回归器参数**： - `'ls'`：均方误差（默认） - `'lad'`：绝对误差 - `'huber'`：混合损失（需指定 `alpha`） - `'quantile'`：分位数回归（需指定 `alpha`） --- ### 五、其他关键参数 9. **`init`** - **含义**：初始化预测器 - **作用**：指定初始预测值（如用平均值初始化回归任务） 10. **`warm_start`** - **含义**：热启动开关 - **作用**：允许在已有模型上追加树，避免重复训练 --- ### 参数调优建议 - **基础组合**：优先调整 `n_estimators` + `learning_rate`（小学习率需更多树） - **正则化组合**：`subsample` + `max_depth` + `min_samples_split` - **工具**：使用 `GridSearchCV` 或 `RandomizedSearchCV` 搜索最佳参数 ```python from sklearn.ensemble import GradientBoostingClassifier model = GradientBoostingClassifier( n_estimators=200, learning_rate=0.05, max_depth=5, subsample=0.8, random_state=42 ) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值