随机森林和决策树调参

 

 

随机森林

随机森林的“随机”体现在两个部分：

• 使用boostrap随机抽样（通俗点说就是有放回的随机抽样），假设原先数据集有N个样本，每次仍然抽出来N个样本，进行M次抽样，组成M个数据集（也就是抽M次，每次抽N个），每个单独的数据集都用来训练一颗单独的决策树T
• 选取特征进行分裂的时候,随机选取 k 个特征(k是一个小于所有特征总数 P 的值),进行分裂

选取k值的时候,发明随机森林的人推荐如下的取值:

• 回归:  k = √p
• 分类: k = p/3

决策树

决策树停止分裂的常用条件:

1.树的深度到达指定最大值

2.损失函数已经到达指定的最小值

3.节点包含的样本数量已经到达指定的最小值

• 回归: 5个
• 分类: 1个

转载于:https://www.cnblogs.com/yuuken/p/8715157.html