11、随机森林与提升算法：原理、实现与应用

随机森林与提升算法：原理、实现与应用

1. 随机森林

1.1 基本原理

通过有放回地从 $n$ 个数据点中随机抽取 $m$ 个数据点生成新样本（可能会有重复），为每个新样本拟合一棵树，从而生成更多的树，最后将这些树的结果进行组合。其中，$s$ 和 $m$ 是超参数。

当有新的案例需要预测时，会对每棵树进行预测，然后根据不同的情况组合这些预测值得到最终预测结果：
- 数值型 $Y$ ：将所有预测值取平均值。例如在出租车数据中，每棵树会给出一个预测的行程时间，最终的预测行程时间就是所有这些单个预测值的平均值。
- 分类问题 ：可以使用投票的方式。对于每棵树，找出预测的类别，然后查看哪个类别在不同的树中获得的“票数”最多，该类别就是预测的类别；或者找出每棵树对这个新案例的估计类别概率，然后对这些概率取平均值，预测的类别就是平均概率最大的那个。

这种先进行自助采样（bootstrap）然后聚合（aggregation）的方法简称为装袋（bagging），也常被称为随机森林，这是 Leo Breiman 的一种具体实现。该方法在每个节点分裂时会限制考虑的特征数量，每次使用不同的候选特征集。普通的装袋方法可能会导致树之间存在显著的相关性，因为它往往每次都选择相同的特征。而限制候选特征集的方法有望降低方差，因为正相关数字的平均值比独立数字的平均值具有更高的方差。

1.2 qeRF() 函数

qe* 系列函数中有几个用于随机森林的函数，对于给定的应用，其中一个可能比其他的更准确或更快，但它们都使用前面描述