随机森林 & bagging袋装法(基于bootstrap重抽样自举法)的原理与python实现——机器学习笔记之集成学习 Part 1

* * *  The Machine Learning Noting Series  * * *

导航

1 Bootstrap重抽样自举法

2 袋装法（Bagging）

3 随机森林

4 python实现——一个实例

⚫袋装法和随机森林过程基本一样，都是根据bootstrap的一系列样本分别建立决策树，然后用这些决策树投票出结果。最大区别，也就是随机森林更好的原因在于：随机森林在建立决策树时的分组变量存在随机性。

⚫建立大量模型进行投票得出的估计为真值的无偏及一致估计，由此得到的测试误差也是泛化误差真值的无偏估计。

1 Bootstrap重抽样自举法

🍿🍿🍿Bootstrap重抽样自举法的原理与python实现的详细说明，点击参考我的这篇文章。简单介绍：

概念：重抽样自举法（Bootstrap）也叫做自助抽样法或者0.632自举法。

方法：对N个样本，进行B次有放回的重抽样形成B个样本，每个样本包含N个数据。

0.632？：每个样本，每次抽样被抽到的概率为1/N，抽不到的概率为1-1/N，因此N次均未被抽到的概率为，故整体上也有1-36.8%=63.2%的样本可作为自举样本。

作用：用于估计统计量的标准误