吴恩达机器学习笔记 二十八 使用多个决策树 树集合 有放回抽样 随机森林算法

使用一个决策树对数据的小变化非常敏感，这时可以使用多个决策树，称树的集合（tree ensemble）。如下图，猫猫分类问题中，若改变一只猫的特征，得到的将是两种完全不同的决策树，这使算法没那么健壮。

使用一个树集合(tree ensemble)，集合中每个树预测的结果可能不同，由每个树进行投票，最多的是 cat， 所以结果就是cat。

 

有放回抽样(sampling with replacement)，这里 replacement 指的是抽一次之后把抽出来的放回去再继续抽。构建随机训练集，如下图，每次从十个样本里抽一个直到抽够十个，是有放回抽样，所以抽出来的可能有重复。

随机森林算法

假设有一个大小为 m 的训练集，做 B 次这样的操作：有放回抽样重建一个大小为 m 的训练集（随机训练集），然后根据这个训练集训练出一棵决策树，总共得到 B 棵这样的决策树。B越大越好，但好到一定程度之后再增大，实际上没有变好多少，尤其是当 B 远大于100时。