MATLAB算法实战应用案例精讲-【决策树学习】随机森林（RF）（附MATLAB、Python和R语言代码）

目录

前言

 几个相关概念

随机森林、梯度提升决策树和决策树的区别与联系

决策树

随机森林

梯度提升决策树 (GBDT)

 知识储备

1.袋外错误率

2.集成学习

3.Bagging算法

4.Out-of-Bag（OOB）误差

算法原理

随机抽样训练观测数据

用于拆分节点的随机特征子集

算法思想

抗过拟合

特征选取

 森林选取

随机森林的基尼系数

性能对比

随机森林超参数调整

sklearn内置随机森林函数的超参数

超参数调整

算法特点

算法步骤

算法流程图

伪代码

优缺点

优点

缺点

应用案例

1.随机森林在阿里云中的应用

组件配置

示例

 2.预测收入层次

问题描述

代码实现

结果展示 

 与其他算法对比

应用场景

知识拓展

 1.基于随机森林的特征选择算法

算法描述

时间复杂度分析

代码实现

Python

回归代码

分类代码

MATLAB

1.计算当前自身gini系数

2.求最优划分点及其gini系数

3.对data中按decision属性值从小到大排列

4.生成结点

5.生成随机采样样本数据

6.生成决策树

7.评价函数

8.随机森林

9.样本决策函数

10.正确率计算函数

11.主函数

R语言

---

前言

随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。该分类器最早由Leo Breiman和Adele Cutler提出，并被注册成了商标。

关于决策树，详见【数模应用】决策树（附MATLAB、Java和Python代码）

在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 "Random Forests" 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合 Breimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace method"以建造决策树的集合。