文章介绍了使用多个决策树以提高算法的鲁棒性，包括有放回抽样、随机森林算法的原理及其改进方法。XGBoost作为优化的梯度提升框架，强调了错误案例的优先处理，防止过拟合并提供高效的实现。决策树和树集合适合结构化数据的分类，但可能不适用于非结构化数据，如图像和文本。
树集合
3.1 使用多个决策树（Using multiple decision trees）
使用决策树进行分类时，会出现这样的情况：如果把一个猫[尖耳朵、圆脸、无胡子]数据换成另一个猫[松软耳朵、圆脸、有胡子]，那么第一个分支节点的特征有可能从耳朵形状直接变成有无胡子；这样因为一个数据改变就使节点的特征类型改变的现象导致决策树算法不够鲁棒。因此采用**树集合(Tree Ensembles）**的方式改善，通过集合不同节点特征的多个树，每个树会对一个位置数据做出判断（prediction），再通过每个数的投票结果（vote）最初最后的判断。
3.2 有放回抽样（Sampling with replacement）
3.3 随机森林（Random Forest Algorithm）
原理：给出一组包含m个案例的数据集；从中有放回抽样m次，组成新的数据集；重复上个步骤B次（b=1,…,B），得出一组决策树；这个方法称为bag decision tree或随机森林Random
最低0.47元/天 解锁文章
扫一扫
975
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
