机器学习中的数学(3)-模型组合(Model Combining)之Boosting与Gradient Boosting

最新推荐文章于 2024-08-10 01:42:23 发布

文宇肃然

最新推荐文章于 2024-08-10 01:42:23 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：手把手教你ML机器学习算法源码全解析

本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/35289631

手把手教你ML机器学习算法源码全解析专栏收录该内容

233 篇文章 ¥49.90 ¥99.00

订阅专栏

本文介绍了Boosting和Gradient Boosting的概念及其数学基础。Boosting是一种通过组合多个弱分类器形成强分类器的算法，每次迭代时提高错误样本的权重。Gradient Boosting则在损失函数的梯度下降方向构建模型，优化过程采用梯度下降，通过多次迭代逐步提升模型性能。文章以数学公式详细阐述了Gradient Boosting的优化过程，并提到了它在实际应用如GBDT中的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：

本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然听说最近Team准备做一套分布式的分类器，可能会使用Random Forest来做，下了几篇论文看了看，简单的random forest还比较容易弄懂，复杂一点的还会与boosting等算法结合（参见iccv09），对于boosting也不甚了解，所以临时抱佛脚的看了看。说起boosting，强哥之前实现过一套Gradient Boosting Decision Tree（GBDT)算法，正好参考一下。

最近看的一些论文中发现了模型组合的好处，比如GBDT或者rf，都是将简单的模型组合起来，效果比单个更复杂的模型好。组合的方式很多，随机化（比如random forest），Boosting（比如GBDT）都是其中典型的方法，今天主要谈谈Gradient Boosting方法（这个与传统的Boosting还有一些不同）的一些数学基础，有了这个数学基础，上面的应用可以看Freidman的Gradient Boosting Machine。

本文要求读者学过基本的大学数学，另外对分类、回归等基本的机器学习概念了解。

本文主要参考资料是prml与Gradient Boosting Machin

了解本专栏