组合模型——Tree models、Boosting、 Committee

最新推荐文章于 2025-01-31 12:29:58 发布

gaochang21

最新推荐文章于 2025-01-31 12:29:58 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：决策树 boosting averaging

本文链接：https://blog.youkuaiyun.com/gaochang21/article/details/78503330

组合模型通过tree models、boosting和models averaging提高表达能力。tree model利用决策树对输入空间划分，boosting关注残差逐步优化，models averaging则通过多个模型的平均值作预测。决策树的Hunt's algorithm用于找寻最优划分结构，而boosting以弱分类器为基础构建强分类器。

组合模型简介

组合模型产生的原因
组合模型产生的原因是现有的简单的模型的表达能力不够，不能对复杂的问题进行很好的建模（拟合），比如简单的线性模型很难对复杂的非线性函数进行拟合。
组合模型的作用
组合模型的作用就是通过“组合”的方式把模型变得更为复杂（增加模型复杂度），从而能够有更好的表达能力。
组合模型的作用方式
组合模型的主要形式有tree model、boosting以及models averaging三种方式。这三种模型从不同的角度在简单的模型基础上进行优化。
1） tree model：通过对输入空间的划分，使得各个小的输入空间更为简单，然后利用简单的base model进行分类或回归。
2） boosting：boosting实质上是利用贪心算法，在已有的模型的基础上更关注“残差”并对其进行建模。
3） models averaging：通过多个模型获得的结果然后进行平均作为最后的结果。

tree model

决策树基本概念
决策树有一系列的决策条件（conditions）和一系列的基础模型（base model）组成。

每个internal node代表一个condition，一个condition也就表示对input space的一次划分。

每个leaf node代表一个base model。在分类问题中就是一个class或者classifier，在回归问题中就是一个constant（常数）或者regressor。
决策树的思想
决策树的思想就是我的方法（base model）不能解决复杂的问题（original input space），而且我没有更好的方法解决，那么我就通过一种手段（condition）把复杂的问题划分为很多个简单的问题（simple