关于xgboost的零碎记录

最新推荐文章于 2025-07-21 19:08:46 发布
原创 最新推荐文章于 2025-07-21 19:08:46 发布 · 9.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了DART（Dropout Additive Regression Trees）提升算法的工作原理及其优缺点。DART是一种集成学习方法，通过随机丢弃部分基学习器（树）来达到防止过拟合的目的。相较于传统的GBTree方法，DART训练速度较慢且预测稳定性较差，但在某些场景下能有效提高模型泛化能力。

gbliner gbtree dart

gblinear booster: 线性 弱学习器

gbtree booster： cart树

dart booster: xgboost是一群具备很小学习率权重的树的集合。这种情况下，越早加入的树比后加入的树更重要些。（粗俗：越学，越没什么可学的）
这个新颖在：随机丢弃树。

  • pros：防止过拟合
  • cons：比gbtree训练慢，因为丢弃会不利于prediction buffer，早停也会不稳定。

dart原版信息

安全术语记录（持续记录）
百物易用是苏生
06-12 2620
猫池与猫池黑名单
关于找工作，说点对后人有用的话（内附机器学习算法岗面经）
好想去看海
09-17 3597
作者：理性思考 链接：https://www.nowcoder.com/discuss/123128?type=post&order=time&pos=&page=4&channel=1009&source_id=search_post 来源：牛客网 0、写在前面 大家好，相信大家对于我这个ID并不陌生了，这个ID其实是我硕士论文的题目。过去一年一直在牛客网上看到了很多高质量的面经和一些对自己有用的帖子，受益很多，在这里也要特别感谢下叶神创立的牛客网（这是一件非常有意
一位百度AI工程师的求职经历（offer/面经/干货/感悟）
Java技术江湖
12-13 7353
点击关注并置顶，江湖要事早提醒作者：本体匹配调谐https://www.nowcoder.com/discuss/123128来源：牛客网0、写在前面大家好，相信大家对于...
模型融合---LightGBM总结
dili8870的博客
03-09 2936
一、LightGBM简介： 所属：boosting迭代型、树类算法 适用范围：回归/分类/排序 LightGBM工具包：lightGBM英文文档|lightGBM中文文档 论文链接 优点： 基于Histogram的决策树算法 带深度限制的Leaf-wise的叶子生长策略 直方图做差加速 直接支持类别特征(Categorical Feature) Cache...
树模型特征重要性评估方法
大锅八十小锅四十
05-07 1万+
前言 在特征的选择过程中，如果学习器（基学习器）是树模型的话，可以根据特征的重要性来筛选有效的特征。本文是对Random Forest、GBDT、XGBoost如何用在特征选择上做一个简单的介绍。 各种模型的特征重要性计算 Random Forests 袋外数据错误率评估 RF的数据是boostrap的有放回采样，形成了袋外数据。因此可以采用袋外数据（OOB）错误率进行特征重要...
树模型是如何计算特征重要性的
zhangbaoanhadoop的博客
08-19 7913
前言 在特征的选择过程中，如果学习器（基学习器）是树模型的话，可以根据特征的重要性来筛选有效的特征。本文是对Random Forest、GBDT、XGBoost如何用在特征选择上做一个简单的介绍。 各种模型的特征重要性计算 Random Forests 袋外数据错误率评估  RF的数据是boostrap的有放回采样，形成了袋外数据。因此可以采用袋外数据（OOB）错误率进行特征重要性的...
基于python混合推荐算法的计算机行业招聘信息可视化系统，django后端+MySQL+boostrap+随机森林算法预测薪资
最新发布
bianchengjia2025的博客
07-21 1866
针对当前招聘市场信息不对称、数据利用率低导致的求职者职业决策盲目与企业人才匹配效率不足的问题，本研究构建了基于多维度招聘信息的智能分析系统。以BOSS直聘网数据为基础，后端采用Django，前端结合ECharts图表组件，以图表示薪资、企业、学历与融资情况。对于薪资这一维度，采用了柱状图、漏斗图等不同维度数据的图表，用户可通过维度的比较获取不同学识背景、工作经验的薪资比对分析；企业模块采用了饼图和折线图，以便获取企业行业、城市分布、规模分布的统计。福利词云以可视化形式得到一系列具有代表性标签；
LightGBM算法详解(教你一文掌握LightGBM所有知识点)
热门推荐
GFDGFHSDS的博客
03-10 10万+
LigthGBM是boosting集合模型中的新进成员，由微软提供，它和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。 LightGBM在很多方面会比XGBoost表现的更为优秀。它有以下优势： 更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可处理大规模数据 支持直接使用catego...
微软AI量化平台Qlib：你需要知道的核心知识点
qtbgo的博客
11-11 3052
这些知识点有些散落在互联网零碎的文章中，有些文章还是错误的误导读者，有些知识点还没有出现在现有文章中。为此，我们将这些知识点加以总结，形成较为系统化的课程，知识点总结如下，10.5.2. 实现接口__init__，fit，predict，get_feature_importance（可选）先说一下，不要用pip install pyqlib来安装qlib，他目前会安装0.8.6版，该版运行会出错。交易日历day.txt自动生成，取所有csv文件的日期合集， 制作股票池文件。
HuggingFace学习笔记-零碎记录
gimlet_的博客
08-04 738
例如，如果您使用`from transformers import GPT2LMHeadModel`来加载`distilgpt2`模型，则可能需要将代码修改为`from transformers import AutoModelForCausalLM`或者`from transformers import GPT2LMHeadModel`。您可以使用`transformers`库的`pretrained_models`模块来下载所需的模型权重，具体可以参考相关文档或示例代码。不过有个奇怪的地方。
demos:记录一些学习的零碎的知识点的 demo
05-08
记录一些学习的零碎的知识点的 demo。 每一个文件夹即为一个 demo，cd 到每个具体的文件夹即可。 demo 列表（按入库顺序） test 一些零碎的知识点测试 build 一些构建工具的测试 handwrite 手写一些常见实现的 demo ...
关于C++复杂性的零碎思考
01-20
本文系数月前随手写下的，没有起承转合与段落章法，观点更是未经推敲。仅供参考。 　C++的表面困境来自两方面，一是开发效率低，而是容易犯错，维护难度大。此二者俱是表象，本质是一个——过度复杂。...
2023-简单点-树莓派picamera2介绍和要点
万物琴弦存于你的泡沫之中，光锥之外
11-20 2万+
树莓派picamera2库介绍
2023-简单点-机器学习中的数值计算问题
万物琴弦存于你的泡沫之中，光锥之外
11-28 1万+
当网络层数较深时，梯度可能在传播过程中逐渐消失（变得非常小）或爆炸（变得非常大），导致模型参数更新困难或不稳定。病态条件通常出现在需要求解逆矩阵或进行特征值分解的场合。当矩阵的条件数很大时（即矩阵的最大特征值和最小特征值之比很大），矩阵求逆或特征值分解会变得不稳定，导致数值计算问题。例如，在softmax函数中，当输入的数值很大时，指数运算的结果可能非常大，导致上溢。下溢：相反，当输入值过小，计算结果可能趋近于零，导致下溢。例如，在对数似然损失函数中，当预测概率接近零时，对数运算可能导致下溢。
2023-简单点-yolox-pytorch代码解析（二）-nets/yolo.py
万物琴弦存于你的泡沫之中，光锥之外
11-30 1万+
【代码】2023-简单点-yolox-pytorch代码解析（二）-nets/yolo.py。
2023-简单点-Python中的attr那些事-hasattr,getattr,setattr
万物琴弦存于你的泡沫之中，光锥之外
12-05 1万+
在上面的示例中，我们首先创建了一个Person对象，然后使用setattr()函数来设置对象的属性值。通过调用setattr(person, “name”, “Bob”)，将person对象的name属性设置为"Bob"，类似地，通过调用setattr(person, “age”, 35)，将age属性设置为35。需要注意的是，setattr()函数可以直接设置对象的属性，包括已有的属性和不存在的属性。setattr()函数的工作原理是通过将属性值赋给对象的属性来实现对属性的设置。的特殊方法来实现的。
2023-简单点-proxyPool源码（四)-dbClient.py
万物琴弦存于你的泡沫之中，光锥之外
12-06 9954
【代码】2023-简单点-proxyPool源码（四)-dbClient.py。
2023-简单点-proxyPool源码（三）-proxyApi.py
万物琴弦存于你的泡沫之中，光锥之外
12-06 9883
【代码】2023-简单点-proxyPool源码（三）-proxyApi.py。
爬虫爬取斗鱼小姐姐直播间的封面
万物琴弦存于你的泡沫之中，光锥之外
06-29 9877
# -*- coding: utf-8 -*- """ Created on Wed Jun 23 21:58:40 2021 @author: xfw """ import requests import os from urllib import request import multiprocessing # 定义默认爬取第一页 def get_douyu_pic(page=1): #请求头 headers={ "User-Agent": "Mozilla/5.0 (Windows NT
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

万物琴弦光锥之外

给个0.1,恭喜老板发财

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值