【ML paper】Introduction to Boosted Trees

最新推荐文章于 2023-06-02 09:57:01 发布
原创 最新推荐文章于 2023-06-02 09:57:01 发布 · 807 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ML #paper

本文深入解析Boosted Trees（BT）的学习思路，包括BT模型、目标函数、优化方法，如加性学习、损失函数和树的定义。通过泰勒展开式简化目标函数，探讨树的复杂度和学习过程中的trade-off，如提前停止和剪枝策略。BT的核心在于每轮学习一棵树，通过一阶导和二阶导选择最优目标函数对应的树。

本文是对陈天奇关于Boosted Tree介绍slides的读后梳理。第一次读论文XGBoost: A Scalable Tree Boosting System的时候很懵逼，于是找到了这份slides，这里天奇大佬的介绍很细致，本篇将主要叙述slides中与BT原理直接相关的内容。

 

0.BT的学习思路

1.我们想要学习什么：模型，目标。

2.如何学习：优化方法。

3.trade-off。

4.总结。

 

1.BT的模型和目标

模型

预测值 = 样本输入所有树的输出值之和。

目标函数

目标函数 = 所有样本的loss函数(真实值，模型预测值)之和 + 所有树的复杂度之和。

前项代表模型在样本集上的训练误差（variance），后项代表模型的复杂度（bias）。loss函数可以根据需求取不同函数，如平方差损失、罗辑斯谛损失。

 

2.优化方法

这里要学习的目标与其他算法不同，从参数空间变成了函数空间。参数空间：学习模型中的权重；函数空间：学习函数f，包括函数的结构和其中的权重。因此过去的SGD对f的学习不管用了，于是提出了加性学习(Additive Training (Boosting)）。

加性学习

最低0.47元/天 解锁文章
Awesome R：资源汇总
全网120W+关注AI拉呱，专注人工智能以及科技前沿！
06-17 3206
Awesome R Awesome R 2020 2019 2018 Integrated Development Environments Syntax Data Manipulation Graphic Displays Html Widgets Reproducible Research Web Technologies and Services Parallel Computing High Performance Language API Database Management Machine
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7448
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
Introduction to Boosted Trees
chiechie的博客
10-22 983
none
[阅读笔记]Introduction to Boosted Trees
casmaster的专栏
07-24 575
概念(要学什么)回归树(CART)回归树emsemble模型$$y_i = \sum_{k=1}^{K}f_k(x_i) , f \in F$ $参数GB(如何学习)additve training(boosting)L(t)=∑i=1nl(yi,ŷ (t−1)i+ft(xi))+Ω(ft)L^{(t)}=\sum_{i=1}^n l(y_i, \hat{y}_{i}^{(t-1)} + f_t(
陈天奇《Introduction to Boosted Trees》PPT 缩略版笔记
山上之城
03-06 2557
深入研究了一下陈天奇Boosted Tree的PPT，做了点简单的笔记，可以说是PPT的缩略版： 框架有了，截了些重要的图和公式。 虽然简略，但是足以学习大牛思考问题的方式。 Review of key concepts of supervised learning Elements in Supervised Learning Model Parameters Objective func...
Introduction to Boosted Trees 学习
yuandong_D的博客
03-26 262
今天学习下《Introduction to Boosted Trees》 content Review of key concepts of supervised learning Regression Tree and Ensemble (What are we Learning) Gradient Boosting (How do we Learn) Summary 一、Review...
Gradient Tree Boosting (GBM, GBRT, GBDT, MART)算法解析和基于XGBoost/Scikit-learn的实现
热门推荐
Coding for Dreams
03-16 1万+
1. 概要 Gradient Tree Boosting (别名 GBM, GBRT, GBDT, MART)是一类很常用的集成学习算法，在KDD Cup, Kaggle组织的很多数据挖掘竞赛中多次表现出在分类和回归任务上面最好的performance。同时在2010年Yahoo Learning to Rank Challenge中, 夺得冠军的LambdaMART算法也属于这一类算法。因此Tree Boosting算法和深度学习算法DNN/CNN/RNN等等一样在工业界和学术界中得到了非常广泛的应用。
【阅读笔记】Practical Lessons from Predicting Clicks on Ads at Facebook
SrdLaplace的博客
07-02 3507
作者： Xinran He, Junfeng Pan, Ou Jin, Tianbing Xu, Bo Liu, Tao Xu, Yanxin Shi, Antoine Atallah, Ralf Herbrich, Stuart Bowers, Joaquin Quiñonero Candela Facebook 1601 Willow Road, Menlo Park, CA, Uni...
[翻译] 提升树算法的介绍（Introduction to Boosted Trees）
weixin_30443813的博客
10-27 637
[翻译] 提升树算法的介绍（Introduction to Boosted Trees） 1. 有监督学习的要素 XGBoost 适用于有监督学习问题。在此类问题中，我们使用多特征的训练数据集 \(x_i\) 去预测一个目标变量 \(y_i\) 。在专门学习树模型前，我们先回顾一下有监督学习的基本要素。 Elements of Supervised Learning XGBoost is u...
Python-GradientBoostedTrees的一个简单的纯Python实现
08-11
TinyGBT（Tiny Gradient Boosted Trees）是用200行纯Python代码编写的梯度提升树实现。
XGBoost原理解析1
08-03
XGBoost原理解析1
陈天奇xgboost英文论文
01-06
陈天奇xgboost英文论文，本文详细介绍了xgboost的原理，讲解通俗易懂，深入浅出，不过是英文版，适合有一定英文基础的开发者阅读。
XGBOOST--Introduction to Boosted Trees
The_onlyway的博客
06-02 170
XGBOOST–Introduction to Boosted Trees cite:https://xgboost.readthedocs.io/en/stable/tutorials/model.html Introduction to Boosted Tree XGBoost stands for “Extreme Gradient Boosting”, where the term “Gradient Boosting” originates from the paper Greedy Functi
（XGBoost）提升树入门介绍（Inrtoduction to Boosted Trees）
Minsta's blog
04-23 3329
提升树入门介绍（Inrtoduction to Boosted Trees） Author : Jasper Yang School : Bupt 这是一篇翻译文，翻译的内容是 XGBoost 官网的原理介绍 Introduction to Boosted Trees 这篇文章。如需转载请注明。我自己在做实验中感觉遇到了瓶颈，我认为是我对这个模型的熟悉度太差，因而需要补一补知识，也希望能帮到大家。
【ML paper】XGBoost: A Scalable Tree Boosting System
lemonade13的博客
03-14 1352
本文是对陈天奇论文《XGBoost: A Scalable Tree Boosting System》的解读，也是对上一篇博文关于陈天奇slides：陈天奇slides：Introduction to Boosted Trees解读解读的补充和扩展，本文不赘述重复部分，建议阅读本篇前先阅读上篇博文。 0.学习思路 在论文的初始部分，作者列出的主要贡献： 1.We design and ...
Boosted Trees简介【翻译+自己的理解】
gc.collect()
02-03 3090
原文 https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf 华盛顿大学的 Introduction to Boosted Trees. Tianqi Chen. 本文结合该论文和网上其他资料，在自己理解之后，书写下来~ 文章目录原文监督学习Regression Tree and EnsembleRegression Tree ...
Boosted Trees 是什么？
Leon的专栏
04-12 3532
Boosted Trees　提升树算法，是数据挖掘和机器学习中最常用的算法之一。XGBoost 对提升树的介绍Introduction to Boosted TreesXGBoost is short for “Extreme Gradient Boosting”, where the term “Gradient Boosting” is proposed in the paper Greedy...
机器学习算法中 GBDT 和 XGBOOST 的区别有哪些？
weixin_40835491的博客
06-19 236
转知乎wepon大神帖子：https://www.zhihu.com/question/41354392 看了陈天奇大神的文章和slides，略抒己见，没有面面俱到，不恰当的地方欢迎讨论：传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。传统GBDT在优化时只用到一阶导数信息，xg...
陈天奇详解：XGBoost与Boosted Trees精髓
Boosted Trees是XGBoost的核心组成部分，通过构建一系列弱决策树并逐步优化来形成一个强大的预测模型。这篇资料详细介绍了Boosted Trees以及其在XGBoost中的应用。 首先，我们要理解监督学习的基本概念。监督学习是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值